Pierwsza, drewniana strażnica krzyżacka stanęła około 1335 r. u wypły­wu Węgorapy z jeziora Mam­ry, najprawdopodobniej w miej­scu pruskiego grodziska Angete­te, wspomnianego przez Piotra z Dusburga. Drewniany zameczek, wy­stawiony przez wielkiego mistrza Dietry­cha von Altenburga, był kilkukrotnie zdo­bywany i niszczony przez wrogów, m.in. w 1356 r. przez Litwinów pod wodzą księ­cia Kiejstuta.

Kiejstut (Wielki Książę Litewski 1381-1382)

Około 1398 r. lokalizację zmieniono, budując murowany zamek na wyspie w rozwidleniu Węgorapy, około 2 km na północny wschód. Nowy zamek, wystawiony przez wielkiego marszałka i komtura królewieckiego Wernera von Tettingena, był siedzibą krzy­żackiego prokuratora.

Werner von Tettingen

Budowla dostoso­wana została do kształtu wyspy, stąd nie­regularny obrys na planie wydłużonego trapezu. Otoczona była murem z trzema okrągłymi basztami oraz fosą, w części stanowiącą naturalne odnogi Węgorapy. Dostęp do zamku umożliwiały dwa mo­sty zwodzone. Najstarszymi, zachowany­mi do dzisiaj, fragmentami zamku są fun­damenty piwniczne w skrzydle północno­-wschodnim, ułożone z granitowych gła­zów i kamieni narzutowych oraz część murów obwodowych od strony północ­no-zachodniej, ze ściętym narożem, pod­partym szkarpą.

Zamek w Węgorzewie - Panorama miasta z 1684 roku według Christopha Johanna Hartknocha

Na najstarszym wizerun­ku, miedziorycie z publikacji „Altes und Neues Preussen”, autorstwa toruńskiego historyka Christopha Hartknocha (1644 – 1687), zamek węgorzewski prezentuje się niezwykle okazale – z wysokimi mu­rami obronnymi i narożnymi basztami, ale w rzeczywistości pełnił bardziej rolę administracyjną i gospodar­czą, niż obronną. W 1508 r. jego załogę stanowiło zaledwie dwóch braci zakon­nych oraz sześciu służebnych. Ze spisów inwentarzowych z przełomu XV i XVI stulecia wynika, że oprócz trzykondy­gnacyjnego, podpiwniczonego domu za­konnego z refektarzem i izbą prokurator­ską, w obrębie murów zamkowych znaj­dowała się też kaplica pod wezwaniem św. Katarzyny oraz skrzydło gospodar­cze, mieszczące: kuchnię, spiżarnię, pie­karnię, browar w piwnicach, zbrojownia i komora prochowa. Przy zamku działał również młyn wodny, a na pod­zamczu zlokalizowany był folwark.

Hans Heinrich von Katte

W latach 1718 – 1741 rozpoczęła się generalna przebu­dowa zamku, zainicjowana przez starostę węgorzewskiego i jednocześnie dowódcę tutejszego garnizonu – Hansa Heinricha von Katte. Zasypano wówczas jedną z od­nóg Węgorapy i wyburzono młyn zamko­wy, zaś sam zamek przebudowano w sty­lu barokowym. W części gospodarczej zbudowano magazyn solny, zwany także starym browarem. Dzisiaj w tym miejscu znajduje się budynek szkolny. W pierwszej połowie XX w. na byłej wyspie znajdowały się także boiska sportowe oraz willa przedsiębiorcy budowlanego Thielego. Na jej dachu umieszczono metalową chorągiewkę w kształcie komety. Była to pamiątka roku 1910, kiedy na mazurskim nocnym niebie pojawiła się kometa Halleya.