Legenda głosi, że nazwa przysiółka Kozie powstała od bodących się kozłów. Według przekazu ustnego nocami, w tej okolicy było słychać szczęk rogów walczących zajadle kozłów. Hałas był tak przykry, że ludzie mieszkający w pobliskich zabudowaniach nie mogli spać po nocach. Wierzono, że walczącymi kozłami byli zmarli kuźnicy (tereny te powstały przy kuźniach), którzy za życia byli ze sobą skłóceni. Nie przebaczywszy sobie nawzajem, toczyli po śmierci walki w nocy, przybierając postać kozłów. Postawiono w tym miejscu kapliczkę. Wówczas zmarli odnaleźli spokój i duchy nie pojawiły się już w tej okolicy. Jak znamy z przekazów ustnych, kapliczka była poświęcona Św. Florianowi – patronowi m.in. hutników. W miejscu dawnej kapliczki stoi dzisiaj, któraś z kolei.
Obecna została wybudowana z cegieł pozostających z budowy przedwojennego domu i stoi na terenie posesji prywatnej.