Osiedle Madera powstało w byłych koszarach pułku piechoty przy ul. Hallera (nr 45-51). Zostały one zbudowane w latach 1896-1898 dla 141 Infanterii Regiment, jednakże w 1929 r. oceniono, że nie spełniają one wymagań militarnych dla wojska polskiego i oddano je Dyrekcji Kolei Państwowych, które zasiedliły swoimi pracownikami tylko budynki leżące bezpośrednio przy ul. Hallera.

Wobec narastającego kryzysu gospodarczego nie tylko w Grudziądzu, ale całej Polsce, powstawały liczne rzesze bezrobotnych, a tym samym bezdomnych. Już w 1926 r. pierwsi „dzicy osadnicy” zajmowali puste obiekty pokoszarowe. Madera  z pozostałymi budynkami stała się dzielnicą nędzy i rozpaczy, pijaństwa i bandytyzmu, prostytucji i innych patologii. W budynkach brak było okien, łazienek, wody bieżącej, energii elektrycznej, kuchni. Panował brud, nieład, szerzyły się choroby. Na osiedlu były tylko dwie latryny zbiorowe i korzystali z nich razem mężczyźni, kobiety i dzieci.

Mieszkańcy „Madery” składali się w 80 % z uczciwych ludzi, którym należałoby pomóc. Byli to przeważnie bezrobotni wyeksmitowani. Pozostałe 20 % to ludzie podejrzani ludzie, utrzymujący się z nieokreślonych źródeł dochodów. 10 IX 1934 r. stwierdzono, że w tej dzielnicy, składającej się z 4 dużych budynków, 4 ustępów, dawnej kuźni i budynku gospodarczego mieszkało 495 rodzin, składających się z 2053 osób, w tym 962 dzieci. Z pracy stałej utrzymywało się 129 osób, 166 mieszkań znajdowało się na strychach., 26 w korytarzach, 42 w piwnicach i 13 w ustępach.

W 1931 r. oszacowano budynki na 95 805 zł a w 1943 r. ich wartość spadła do około 60 000 zł., a to ze względu na zniszczenie budynków, nadawały się one do rozbiórki. Postulowano, aby otoczyć osiedle parkanem, co zapobiegałoby napływowi bezdomnych. Miała być tylko jedna brama od ul. Hallera a wpuszczano by mieszkańców tylko za okazaniem legitymacji. Ustalono też etat przewodniczącego osiedla, 4 porządkowych z każdego bloku i 5 dozorców bram. Niestety do II wojny światowej zdarzały się liczne rozróby, bunty, a nawet morderstwa. Często musiała interweniować policja a nawet groziło interwencją wojska (64 pułku piechoty), ale w porę incydent ten  załagodzono.

Obecnie na tym terenie mieści się osiedle „Kawalerii Polskiej”, pozostały tylko budynki przy ul. Hallera nr 45, 47 i 50. Ocenia się, że w 1939 r. zamieszkiwało na całym osiedlu około 5000 osób zarówno meldowanych i mieszkających „na dziko”. Nazwa osiedla pochodzi od nazwy wyspy na Oceanie Atlantyckim, na której spędzał wakacje marszałek Józef Piłsudski.

Ludzie mieszkający w lochach i norach, gdy dostali się do koszar, mówili, że czują się jak marszałek w apartamentach na Maderze.