Cmentarz żydowski znajdujący się przy rogu ul. Konopnickiej i pl. Domańskiego (przed wojną Karlstraße 13) został założony prawdopodobnie w 1627 r. w pobliżu ówczesnej dzielnicy żydowskiej. W początkach XX w. obejmował obszar o powierzchni ok. 0,8 ha. Nekropolia miała kształt płaskiego i równego prostokąta.

W 1896 r. na cmentarzu wybudowano kaplicę pogrzebową, która w 1924 r. została powiększona. W okresie międzywojennym istniała jeszcze spora liczba nagrobków z okresu staropolskiego, z których w latach dwudziestych XX w. ustawiono piramidę.  W drugiej połowie lat dwudziestych wzniesiono także pomnik Żydów poległych na frontach I wojnie światowej. Projekt wykonał prof. Liebermann z Berlina. Pomnik składający się z trzech obelisków wykonano w pilskim zakładzie kamieniarskim Wilhelma Peglowa. Na pomniku znajdował się napis „Für die Mütter der Zehntausend” (niem. Matkom dziesięciu tysięcy) oraz nazwiska poległych Żydów z Piły[1.1].

Cmentarz został zniszczony przez Niemców podczas II wojny światowej. Na jego terenie po 1945 r. wzniesiono budynki przedszkola i ośrodka szkoleniowego dla milicjantów, obecnej Szkoły Policji w Pile[1.2]. 

W 2013 r. podczas rozbudowy bazy dydaktycznej Szkoły Policji natrafiono na kości. Policja przystąpiła do rozmów m. in. z Naczelnym Rabinem Polski Michaelem Schudrichem, przewodniczącą poznańskiej Gminy Wyznaniowej Żydowskiej Alicją Kobus oraz Komitetem Ochrony Cmentarzy Żydowskich w Europie.

Szkoła Policji w Pile uzyskała zgodę na rozbudowę placówki. Jednocześnie podjęto decyzję o ufundowaniu przez Policję i władze miasta pomnika, który uczci dawnych żydowskich mieszkańców miasta.

Pomnik w kształcie gwiazdy Dawida zaprojektował Janusz Marciniak z Uniwersytetu Artystycznego w Poznaniu. Ascetyczny w swej wymowie monument skupia uwagę na przesłaniu zawartym w napisie umieszczonym na granitowej płycie: „Jak pamiętamy, tak będziemy pamiętani”.

Ceremonia odsłonięcia pomnika odbyła się 2 czerwca 2015 roku.