W połowie XV wieku Waniewo należało do Wielkich Książąt Litewskich. Istniał tu już wtedy most na Narwi. Na początku XVI wieku król Aleksander Jagiellończyk nadał Waniewo wojewodzie wileńskiemu Mikołajowi Radziwiłłowi. W 1510 roku Radziwiłł otrzymał przywilej na lokowanie miasta na prawie chełmińskim oraz na pobór myta na nowo wybudowanym moście. Rok później miasteczko wg zachowanej wzmianki posiadało: most, zamek i kościół. W 1513 roku wybuchł spór sąsiedzki między rodami Gasztołdów i Radziwiłłów. Doprowadził on do spalenia zamku Gasztołdów w Tykocinie ok. roku 1519 przez dowódcę zamku w Waniewie. Litewski możnowładca Olbracht Gasztołd ledwie uszedł z życiem podczas najazdu i stracił sporą część majątku, ale nie zamierzał Radziwiłłom puścić tego wydarzenia płazem. Rok lub dwa później najechał Waniewo i doszczętnie spalił most oraz zamek, które nie zostały już odbudowane. Waniewo podupadło i w XVII wieku było wymieniane jako wieś. Po zamku w Waniewie nie ma dziś śladu, a w dokumentach zachowała się tylko jedna wzmianka. Budowla istniała jednak w legendach i podaniach ludowych jako strażnica przy przeprawie na Narwi (od XV wieku rzeka graniczna między Polską a Litwą).                                     
    Doniesienia o zamku zweryfikowała w 2009 roku ekspedycja archeologiczna pod kierownictwem prof. Marii Dąbrowskiej z Instytutu Etnologii i Archeologii PAN w Warszawie. Inicjatywa wyszła od wójta gminy Sokoły dr inż. Józefa Zajkowskiego i dyrektora Narwiańskiego Parku Narodowego mgr Ryszarda Modzelewskiego. Rok wcześniej na Narwi wybudowaną kładkę turystyczną łączącą wsie Waniewo i Śliwno. Prace archeologiczne skupiono na miejscu przy tej kładce po środku rzeki, gdzie widoczna była kępa. Okazało się, że wybór był trafny. Wykonano dwa wykopy, które potwierdziły istnienie siedziby obronnej. Natrafiono na skorupy naczyń ceglastych, glinianych patelni i butli, fragmenty pięknie zdobionych kafli płytowych (m.in. z herbem Radziwiłłów), fragmenty wyrobów metalowych i szklanych. Duże ilości kości zwierzęcych oraz ślady rzadkich wtedy szyb sugerują, iż nie była to mała strażnica obronna lecz całkiem bogato wyposażony zamek. Zbudowany był z drewna. Dokładnego kształtu i wielkości nie da się już odtworzyć, ale przypuszczalny obszar zamczyska to 1 hektar. Jego brzegi były umocnione kamieniami polnymi. W najwyższym punkcie zamczyska odkryto dwie warstwy płytek ceramicznych ustawionych na gruzie ceglanym - jest to przypuszczalnie pozostałość chodnika. Tyle badania archeologiczne. 
Mimo, że zamku nie zobaczymy, kładka Śliwno - Waniewo jest fantastycznym miejscem i warto ją odwiedzić ze względu na jej atrakcyjność turystyczną. Pokonuje się ją nie tylko na piechotę ale i za pomocą przeciągania własnymi rękami ruchomych, pływających platform. Zamczysko to kępa przy wieży widokowej, na środku trasy. Widać tam wysokie krzaki wyrastające z mokradeł.