W sierpniu 1941 r. Niemcy utworzyli w Grajewie getto. Obejmowało ono rejon ulic Dolnej, Rudzkiej oraz Łaziennej. Do getta grajewskiego poza miejscowymi Żydami trafili również Żydzi z Augustowa, Szczuczyna i Rajgrodu. Szacuje się, że mogło w nim przebywać nawet 4,5 tys. osób.

Getto w Grajewie miało charakter zamknięty. Było otoczone płotem i chronione przez niemieckich strażników. Można było z niego wyjść tylko na podstawie imiennej przepustki lub w ramach całej kolumny kierowanej najczęściej do pracy. Przetrzymywani Żydzi byli zmuszani do świadczenia pracy na rzecz okupanta oraz poddawani licznym represjom.

Getto posiadało Judenrat, na czele którego stał przewodniczący Grossman.

Likwidacja nastąpiła 2 listopada 1942 roku. Jego mieszkańcy zostali wywiezieni do obozu przejściowego w Boguszach. W tym czasie w obozie znalazło się ok. 9 tys. Żydów z okolicznych miasteczek (m. in. Augustowa, Goniądza, Szczuczyna), a także z dalszych rejonów. Obóz w Boguszach funkcjonował do przełomu 1942 i 1943 roku. Wówczas to Niemcy przeprowadzili akcję likwidacyjną. W jej trakcie wiele osób zginęło już na terenie obozu, a część w drodze na stację kolejową. Pozostałych przy życiu wywieziono do komór gazowych Treblinki.