Pod koniec XIX w., z powodu przepełnienia cmentarza przy ul. Rybaki, gmina żydowska w Łomży została postawiona przed koniecznością organizacji kolejnego miejsca pochówku. Nowy cmentarz żydowski powstał przy obecnej ul. Bocznej i funkcjonował do czasów Zagłady. Pochowano na nim m.in. przodków prezydenta Izraela Chaima Herzoga oraz ojca znanej aktorki – Idy Kamińskiej.

Dawniej w niektórych społecznościach żydowskich wierzono, że zorganizowanie na cmentarzu ślubu może zażegnać epidemię. Wiadomo, że takie wydarzenie miało miejsce także na cmentarzu w Łomży. Rivke Schiller w artykule Ceremonia „czarnego wesela” i jej opisy w Księgach Pamięci napisała: „Malkiel Tannenbaum [rabin Łomży], znany jako twardy racjonalista, poprowadził »szwarce chasene« na łomżyńskim cmentarzu w 1906 r. Nowożeńcami była para biedaków. Początkowo Tannenbaum nie chciał się na to zgodzić – cmentarne wesele wydawało mu się pogańską praktyką. Ustąpił, gdy grupa »zelotów i chasydów« zaczęła mu grozić, krzycząc: »Rebe, całą gminę wystawiasz na niebezpieczeństwo!«”[1.1].

Nie znamy historii cmentarza podczas II wojny światowej. Wiadomo, że rozstrzelano na nim grupę harcerzy, w tym także osoby pochodzenia żydowskiego. Jeszcze w latach 60. XX w. grób harcerzy był oznakowany wysokim, czterometrowym krzyżem i otoczony drewnianą barierką, a opiekę nad nim sprawowała drużyna harcerska działająca przy Szkole Podstawowej nr 6. Dziś lokalizacja grobu uległa zatarciu. Innym wspomnieniem tragicznych lat wojny jest napis wyryty na podstawie nagrobka Cwi Hirsza Truskiera zmarłego w 1906 r.: „Miejsce kaźni ludności żydowskiej, wymordowanej przez hitlerowców w latach 1941–1945”.

Po zakończeniu II wojny światowej cmentarz uległ zniszczeniu. W 1986 r. Roman i Stefan Weinfeldowie, po odwiedzeniu tego miejsca, wysłali list do Żydowskiego Instytutu Historycznego w Warszawie, w którym opisywali stan nekropolii: „Cmentarz [...] był po wojnie zabezpieczany i być może restaurowany. Dowodem tego jest obelisk wzniesiony ku czci ludności żydowskiej wymordowanej przez hitlerowców oraz ogradzający teren cmentarny płot z elementów prefabrykowanych, przed wojną niestosowanych. Obecnie płot ten jest w dużej mierze zniszczony, a porzucone elementy nagrobków marmurowych nie pozostawiają wątpliwości, że zły stan ogrodzenia jest efektem działalności złodziei. O działalności hien cmentarnych świadczą także macewy z wydartymi tablicami. [...] Część cmentarza od strony domków jednorodzinnych jest zarośnięta gęstymi krzakami olchowymi. [...] Stan dewastacji jest znaczny”.

Kilkanaście lat później Joanna Gospodarczyk na łamach czasopisma „Kontakty” (nr 34/981) również opisała jego ówczesny stan: „Kirkut tonął w śmieciach, zielsku i chaszczach. Zdewastowane żydowskie nagrobki przedstawiały przygnębiający widok. Całości cmentarnego obrazu dopełniało prowizoryczne boisko i końskie łajno między macewami”.

Pod koniec lat 90. XX w. na cmentarzu rozpoczęto prace porządkowe, prowadzone przez Łomża Jewish Cemetery Foundation, której współzałożycielem jest pochodzący z Łomży Marek Kamiński. Wykarczowano zarośla, ustawiono część przewróconych macew. Przystąpiono także do inwentaryzacji zachowanych nagrobków. Prace te są do dziś kontynuowane.

Cmentarz zajmuje działkę w kształcie prostokąta, o przybliżonych rozmiarach 80 x 240 m (zatem 1,92 ha), łagodnie opadającą w kierunku południowo-wschodnim. Na osi alei głównej zachował się dawny dom przedpogrzebowy. W latach 90. XX w. lokalni społecznicy postulowali urządzenie w budynku muzeum historii Żydów łomżyńskich. Planów tych nie udało się jednak zrealizować.

Brama cmentarna znajdowała się prawdopodobnie przy domu przedpogrzebowym. Obecnie wejścia na cmentarz znajdują się do ul. Bocznej (furtka) i ul. Wąskiej (brama). Od strony ul. Bocznej znajduje się niewielki parking.

Na terenie cmentarza przetrwało ponad 600 nagrobków, przy czym – według szacunków Antoniego Dudo z Łomża Jewish Cemetery Foundation – znajduje się na nim ok. 4 tys. grobów. Największa koncentracja nagrobków występuje w części południowo-zachodniej. Sektory od strony ul. Górnej charakteryzują się znacznym stopniem dewastacji. Można dostrzec podział na kwatery męskie i kobiece.

W kwietniu 2004 r. w ramach prac inwentaryzacyjnych Antoni Dudo i Edward Stefanowicz sporządzili opis stanu zachowania dwóch kwater położonych w północno-wschodnim narożniku cmentarza: „W sektorze pierwszym na 144 mogiły zachowało się do chwili obecnej zaledwie 26 macew z kamienia piaskowego bądź tylko ich szczątki. W okresie powojennym widziałem ich w tym miejscu bardzo dużo. Masowe ginięcie płyt nagrobnych zbiegło się z rozbudową jednorodzinnego budownictwa mieszkaniowego na terenach przyległych do cmentarza. Obrobione płyty nagrobne w kształcie płaskich prostopadłościanów były dogodnym materiałem budowlanym fundamentów domów. Sektor pierwszy ma wymiary 16,4 x 30 m, co stanowi powierzchnię 495 m kw. Zlokalizowany jest w północnej części cmentarza na lekko opadającym zboczu. Groby można zlokalizować na podstawie wzniesień ziemnych porośniętych trawą. Z obu stron sektora istnieje mur ogrodzeniowy cmentarza z licznymi fragmentami zniszczonego ogrodzenia”.

Opis sektora drugiego według stanu z kwietnia 2004 r.: „Społeczność żydowska w Łomży zdecydowanie kultywowała swoje poczucie tożsamości, ukształtowane na gruncie religii, własnego języka hebrajskiego, tradycji i obyczajów. Istniały wyraźne skupiska tradycjonalistów (ortodoksów), ale i grup dążących do asymilacji z rdzenną ludnością danego miejsca zamieszkania. Nie dostrzega się zróżnicowania religijnego na miejscowym kirkucie. Zachowane płaskorzeźby na płytach nagrobnych różnicują społeczność żydowską ze względu na wykonywany zawód, działalność charytatywną czy społeczną wśród własnych grup narodowościowych. Informacje o zmarłym można zaobserwować na płaskorzeźbach macew na terenie całego cmentarza, jak i w sektorze II. Na 156 nagrobków w sektorze, przetrwały do chwili obecnej tylko 44 płyty z kamienia piaskowego. Pozostałe mogiły są bez obudowy kamiennej i płyty nagrobnej. Można je rozpoznać po wzniesieniu ziemnym w kształcie grobu, obrośniętego trawą. Całkowicie obudowanych grobów z kamienną płytą nagrobną z napisami w sektorze pozostało tylko 7. Pod względem rozmieszczenia kamiennych płyt nagrobnych w sektorze II występuje wyraźne zróżnicowanie. Najbardziej zabudowaną częścią jest pierwszy rząd przy głównej alejce cmentarnej. Na 26 grobów aż 18 posiada kamienne macewy, ustawione napisami w kierunku zachodnim i tyłem do alei. Kierunek ułożenia zmarłego i jego zamożność w budowie kamiennego pomnika nie jest przypadkiem na tym cmentarzu. Szczególny brak kamieni występuje w części zachodniej zbliżonej do muru ogrodzeniowego i części północnej sektora. Mniejsza ilość macew nagrobnych sugeruje na kradzież kamieni w pobliżu zrujnowanego muru bądź wybór uboższej grupy zmarłych. Obecnie za zachodnim murem znajduje się szereg działek z budynkami mieszkalnymi jednorodzinnymi, gospodarczymi i ogrodami. Zabudowa chroni przed dalszą dewastacją cmentarza i wejścia od strony zachodniej. Pod względem pola powierzchni sektor II jest dłuższy od sektora I o 3 m. Wymiary sektora 16,5 x 33 m, co stanowi powierzchnię 544 m kw. Różna powierzchnia sektorów wynika zapewne z braku wcześniejszego rozmieszczenia ścieżek podczas jego zakładania”​.

Pod wieloma względami nagrobki na tym cmentarzu różnią się od macew zgromadzonych na starym cmentarzu żydowskim przy ul. Rybaki. Proste kamienie granitowe ustępują miejsca piaskowcom i marmurom; tradycyjne macewy stoją tu obok pomników w kształcie kolumn i obelisków, a hebrajskie inskrypcje sąsiadują z epitafiami w jęz. polskim. Wspomniane różnice są wynikiem m.in. rozwoju techniki kamieniarskiej oraz procesów asymilacyjnych miejscowej społeczności żydowskiej.

Nie zachowały się oryginalne polichromie, jakimi przed wojną powszechnie zdobiono żydowskie nagrobki. Jedynie na niektórych macewach widać śladowe resztki barwnika.

Po prawej stronie głównej alei zwraca uwagę niewielki budynek z białej cegły, w otoczeniu grobów zmarłych z rodu Kohenów. Oryginalne tablice epitafijne zostały stłuczone, jednak – dzięki pomocy p. Szoszany Donin z Domu Łomży w Tel Awiwie – udało się ustalić, że jest to ohel wspomnianego już rabina Malkiela Tannenbauma, urodzonego w Motolu na Białorusi, w latach 1887–1910 głównego rabina Łomży. Tannenbaum zmarł w Witebsku, w drodze powrotnej z Kongresu Rabinów w Sankt Petersburgu. Jego ciało zostało sprowadzone do Łomży i tu pochowane.

Spis macew z cmentarza żydowskiego w Łomży jest dostępny na stronie Fundacji Dokumentacji Cmentarzy Żydowskich [dostęp: 07.04.2023].