Pierwszy pałac na jednym ze wzgórz w pobliżu Klimontowa wzniósł na początku XVII w wojewoda sandomierski Jan Zbigniew Ossoliński. Na przestrzeni lat, zmieniając właścicieli, wieś przeszła w ręce Kalinowskich potem Morsztynów i księcia Janusza Aleksandra Sanguszki.
Od 1760 r przez ponad wiek wieś była we władaniu Ledóchowskich. Prawdopodobnie wg projektu Henryka Marconiego, Julian Ledóchowski rozpoczął rozbudowę rodzinnej rezydencji. Po śmierci Ledóchowskich dobra nabył Stanisław Karski, dziedzic Włostowa pod Opatowem. W latach 1895-96 rezydencja została gruntownie przebudowana przez architekta Władysława Marconiego syna Henryka.
Popadający w ruinę obiekt, staraniem obecnych właścicieli został w latach 90 XX w odrestaurowany. Nie jest udostępniony do zwiedzania.
zobacz : You Tube pałac w Górkach Klimontowskich
W Górkach urodził się Mieczysław Ledóchowski - kardynał, metropolita poznańsko-gnieźnieński, prymas Polski oraz Stanisław Szwarc-Bronikowski - publicysta, podróżnik i filmowiec.
Na zasadzie kontrastu z bryłą, parkiem i otoczeniem pałacu, skrzynka ukryta iest w ruinach młyna gospodarczego, tuż za ogrodzeniem stawów w parku pałacowym, w jdnym z otworów drzwiowych.
W skrzynce logbook w strunówce, ołówek, znaczek Zamku Krzyżtopór