Atrakcją Jeleniowa, owianą legendami i tajemnicą, są pozostałości dworu, którego fragmenty murów i piwnic kryje podworski park. W Jeleniowie urodził się i mieszkał we dworze Kazimierz Konarski - archiwista, pisarz i historyk. W swych wspomnieniach zawartych w książce "Dalekie a bliskie" pisał o jeleniowskim dworze: "Ogromny dwór, jak głosiło podanie, zbudowany dla arian lub przez arian, służył im za zbór i dworem stał się o wiele później, kto wie, czy nie dopiero w XIX wieku" . Kazimierz Konarski w swoich wspomnieniach podaje, że gościł we dworze malarz Władysław Podkowiński. Przez kolejne dziesięciolecia Jeleniów należał do potomków Kazimierza Kiniorskiego i Szymona Konarskiego. W 1941 roku część dworu zajęli Niemcy. Spłonął prawdopodobnie we wrześniu 1944 roku, gdy Jeleniów znalazł się na linii frontu.