Zwinger został zbudowany etapowo w latach 1709–1732 na terenach mieszczących się niegdyś poza obrębem średniowiecznych, wewnętrznych fortyfikacji Drezna, na których w XVI wieku prowadzono rozbudowę tychże fortyfikacji, zahamowaną przez powódź z 1570 roku na rzece Weißeritz, dopływie Łaby. Zaprojektował go znany architekt Matthäus Daniel Pöppelmann na zlecenie Augusta II Mocnego, elektora Saksonii, który w 1697 roku został wybrany na króla Polski. Król August II, słynący z zamiłowania do przepychu i luksusu odbył w latach 1687–1689 podróż po Francji i Włoszech, podczas której miał okazję podziwiać m.in. pałac w Wersalu, do którego kilka lat wcześniej król Ludwik XIV przeniósł swój dwór. Po powrocie do Drezna saski monarcha zapragnął czegoś podobnie okazałego i spektakularnego dla siebie. W odpowiedzi na jego oczekiwania Pöppelmann z pomocą rzeźbiarza Balthasara Permosera stworzył późnobarokowy reprezentacyjny kompleks z otwartym w kierunku późniejszego Placu Teatralnego dziedzińcem (otwarcie to miało umożliwić ewentualną rozbudowę w przyszłości). Oficjalne zainaugurowanie działalności obiektu miało miejsce 20 sierpnia 1719 roku, kiedy to w Zwingerze pomimo zaawansowanych prac budowlanych odbył się ślub syna Augusta II, królewicza Fryderyka Augusta II (od 1733 króla Polski Augusta III) z Marią Józefą. August II szczodrze finansował budowę Zwingeru mając nadzieję na objęcie tronu niemieckiego po śmierci cesarza Józefa I. Gdy okazało się, że nadzieja ta się nie ziści, jego zainteresowanie obiektem spadło. Drezdeński władca wolał skierować swoją uwagę na łatwiejszych do sfinansowania projektach, takich jak pałac w Pillnitz czy pałac Moritzburg.

W czasie wojny siedmioletniej budynki Zwingeru służyły jako pruski magazyn wojskowy. W 1813 roku i podczas Wiosny Ludów Zwinger doznał znacznych uszkodzeń. W latach 1847–1854 po niezabudowanej północno-wschodniej stronie kompleksu wzniesiono monumentalny, neoklasycystyczny budynek według projektu architekta Gottfrieda Sempera. Po ukończeniu w Sempergalerie – jak nazwano ten budynek, ulokowano zgromadzoną w Zwingerze kolekcję cennych obrazów i w 1855 roku udostępniono ją do zwiedzania w ramach Muzeum Królewskiego (Neues Museum). Po II wojnie światowej w budynku tym utworzono również Galerię Obrazów Nowych.

Podczas bombardowania w 1945 roku Zwinger został prawie całkowicie zniszczony. Jego odbudowa rozpoczęła się jeszcze w tym samym roku, gdy Drezno znajdowało się pod radzieckim zarządem okupacyjnym. W 1951 roku otwarto dla zwiedzających dziedziniec i pierwszą odbudowaną część kompleksu. Całość prac rekonstrukcyjnych została zakończona w 1963 roku.