Ratusz w Kargowej wzniesiony został w 1745 roku, połowie XIX wieku budynek został uszkodzony w pożarze i w roku 1856 rozbudowany. W latach późniejszych był kilkakrotnie przerabiany, obecnie jest siedzibą władz miasta.
Decyzją wojewódzkiego konserwatora zabytków z dnia 30 maja 1963 roku ratusz został wpisany do rejestru zabytków.
Rynek, układ urbanistyczny i zabudowa pochodzi z XVIII i XIX wieku.