Pierwsi Żydzi przybyli do Sokół prawdopodobnie pod koniec XVII wieku. Wiadomo, że w 1764 roku w miasteczku mieszkało 163 osób wyznania mojżeszowego. Na pewno istniał już wówczas cmentarz i prawdopodobnie synagoga. W latach sześćdziesiątych XIX wieku, wraz z rozwojem kolei warszawsko-petersburskiej, miasto przeżywało gwałtowny rozwój. Wówczas w Sokołach mieszkało około tysiąca czterystu Żydów. Gmina żydowska posiadała trzy synagogi, w tym jedna murowana. Popowstaniowe represje rządu carskiego doprowadziły do utraty praw miejskich, które przywrócone zostały dopiero w 1915 roku przez okupanta niemieckiego. Szacuje się, że w dwudziestoleciu międzywojennym Żydzi stanowili około 70% mieszkańców Sokół. Mimo to, trudne warunki gospodarcze końca XIX wieku oraz pierwszych dekad kolejnego stulecia, pierwsza wojna światowa, nasilenie nastrojów antysemickich, które zaowocowały kilkukrotnymi rozruchami antyżydowskimi czy też działalność syjonistów, przyczyniły się do opuszczenia miasta przez wielu Żydów. Część z nich wyjechała do Palestyny, inni - jak między innymi Froim i Jankiel Kopytowscy, Moszek Biednowicz - w poszukiwaniu lepszych perspektyw wyemigrowała do Ameryki.

We wrześniu 1939 roku Sokoły zostały zajęte przez wojska sowieckie, a w czerwcu 1941 miasteczko dostało się pod okupację niemiecką. Już w sierpniu Niemcy utworzyli w Sokołach getto, które istniało do dnia 1 listopada 1942 roku. Jego mieszkańców wywieziono do Białegostoku, skąd później trafili do komór gazowych Treblinki. Podczas likwidacji getta w Sokołach, na miejscowym kirkucie rozstrzelano czternastu (według innych źródeł - dwudziestu) psychicznie chorych Żydów. Tuż po zakończeniu działań wojennych, garstka ocalałych z holocaustu żydowskich mieszkańców Sokół wróciła do miasteczka. W lutym 1945 roku siedmioro z nich - Szamaj Litwak, Szyjke Litwak, Tolka Żytawer, Dawid Żółty, Basia Wajnsztajn, Dawid Kaszczewski, Szajna Olszak - zostało zamordowanych przez działający w okolicy oddział zbrojnego podziemia. Najmłodsza z ofiar miała cztery lata. Więcej informacji o tym mordzie można znaleźć w opracowaniu Anny Pyżewskiej "Tragedia w Sokołach - 17 lutego 1945 roku". W następstwie tych wydarzeń reszta sokolskich Żydów  na zawsze opuściła swój rodzinny sztetl.

Gmina wyznaniowa w Sokołach posiadała dwa cmentarze. Najstarszy z nich - założony w XVIII wieku przy obecnym placu Mickiewicza - został zamknięty pod koniec dziewiętnastego stulecia. W "Księdze Pamięci Sokół" zamieszczono kilka zdań, dotyczących zapewne tej właśnie nekropolii: "Macewy na starym cmentarzu były tak wiekowe, że niektóre zapadły się już pod ziemię, a litery na nich były zatarte. Kilka nagrobków było wykonanych z marmuru, a obramowania grobów zbudowano z kamieni i betonu. Jeden z tych pomników stał przy wejściu do budynku. Był to grób sprawiedliwego rabina Jony Gutmana, o którym jedynie najstarsi mieszkańcy mogli coś opowiedzieć". Do dziś po tym cmentarzu nie pozostał nawet najmniejszy materialny ślad, w jego miejscu wybudowano przychodnię.

W latach drugiej wojny światowej na cmentarzu dokonywano pojedynczych i zbiorowych egzekucji miejscowych Żydów. Przytoczmy tu urywki zeznań sądowych, dotyczących procesu policjanta z Sokół, Józefa J., który "starców bił i kopał nogami, a następnie kazał im wchodzić na fury, gdzie poszczególni gospodarze wieźli ich na cmentarz żydowski, a J. uzbrojony w pistolet pilnował ich. (....) Doły już były wykopane, ustawiono po kilku ludzi, a następnie strzelano im z tyłu w głowę. W powyższej egzekucji brał również udział J., który sam osobiście strzelał" (źródło: A. Żbikowski "Pogromy i mordy ludności żydowskiej w Łomżyńskiem i na Białostocczyźnie latem 1941 roku w świetle relacji ocalałych Żydów i dokumentów sądowych" w "Wokół Jedwabnego").

Warto wiedzieć, że cmentarz był miejscem kaźni nie tylko osób pochodzenia żydowskiego. Świadczy o tym fragment referatu Waldemara Monkiewicza, opracowanego w 1970 roku na zlecenie Okręgowej Komisji Badania Zbrodni Hitlerowskich w Białymstoku: "W 1943 roku nasiliła się na terenie Amtskomisariatu Sokoły fala terroru. Miały miejsce liczne aresztowania i egzekucje. Żandarmi zamordowali na cmentarzu żydowskim Antoniego Perkowskiego w wieku 50 lat, Kłoska Bolesława, Roszkowskiego, Stefana Klepackiego z (nazwa miejscowości nieczytelna), Czesława Roszkowskiego z Roszek Leśnych, Ignacego Roszkowskiego z Roszek Chrzczon, Franciszka Dworakowskiego z Perk Wypych, Krystynę Wasilewską w wieku 13 lat z Kruszewa Wypych, Jana Nitę z Porośli Wojsławy, Franciszka Szalewskiego z Dworak, Kalinowskiego z Sokół i Czesława Dworakowskiego s. Tomasza z Perk Wypych.

Jeszcze do lat pięćdziesiątych na jego terenie znajdowały się nagrobki. Zdewastowany, służył do pozyskiwania kamienia budowlanego, jako pastwisko dla bydła oraz wysypisko śmieci, w późniejszych latach zamieniony został na boisko do piłki nożnej. Jedna z mieszkanek Sokół, w wypowiedzi udzielonej red. Julicie Januszkiewicz z dziennika "Kurier Poranny", tak opowiada o powojennych losach nekropolii: "Miejscowi porozciągali gdzieś macewy. Ludzie nawet z daleka przyjeżdżali po te kamienie. Były wartościowe, z granitu. Zabierali, bo widać były do czegoś potrzebne. Krowy też tam wypasano. A teraz? Nie ma nic. Aż w sercu ściska, jak się na to wszystko patrzy. Dzieci biegają po ludzkich szczątkach, ale skąd one mogą to wiedzieć".

W 1991 roku na mocy decyzji komunalizacyjnej wydanej przez Wojewodę Łomżyńskiego, teren cmentarny został przekazany na własność Gminie Sokoły. W 2002 roku Związek Gmin Wyznaniowych w RP wystąpił o zwrot działki, na której znajduje się nekropolia. Do dziś sprawa nie została sfinalizowana. Obecnie znajduje się tu boisko piłkarskie.