Historia osadnictwa na ziemi augustowskiej sięga wczesnego średniowiecza, kiedy zamieszkiwały tu plemiona Jaćwingów. Po zagładzie Jaćwingów, od lat 80. XIII wieku aż do lat 20. XV w. tereny te były przedmiotem sporów pomiędzy Zakonem Krzyżackim, Wielkim Księstwem Litewskim i książętami mazowieckimi. W 1422 r. w wyniku ustaleń traktatu melneńskiego, ziemia augustowska została włączona do Wielkiego Księstwa Litewskiego. Stabilizacja polityczna przyczyniła się do znacznego wzrostu osadnictwa i ożywienia gospodarczego w XVI wieku.

W 1496 r. w miejscu dzisiejszego miasta działała komora celna, pobierająca opłaty przy przeprawie rzecznej. W 1546 r. król Zygmunt August podjął decyzję o założeniu osady nad rzeką Netta, nazwanej na jego cześć „Zygmuntowo”; jednak faktyczna lokacja miała miejsce dopiero w 1550 roku. W maju 1557 r. osada zyskała prawa miejskie magdeburskie pod nazwą „Augustów”. Wytyczono wówczas drogi i ulice, niemal 600 placów pod zabudowę, a także rynek główny oraz drugi, mniejszy rynek zwany „wołowym”. Król ustanowił też prawo do dwóch jarmarków w ciągu roku oraz dwóch targów tygodniowo, obdarzył również mieszkańców przywilejem wolnego połowu ryb, zaś w 1564 r. – dodatkowo – przywilejem wyłączności na warzenie piwa, sycenie miodu i palenie wódki.

Dobrze uposażone miasto królewskie, leżące przy szlaku handlowym prowadzącym z Litwy i Białorusi do Prus, Wielkopolski, Krakowa i Warszawy, zasiedlone w znacznym stopniu przez rzemieślniczą ludność polską, litewską i ruską, szybko rozwijało się pod względem demograficznym i ekonomicznym. Choć zachowane źródła odnotowują obecność ludności żydowskiej w Augustowie dopiero od lat 60. XVII wieku, przypuszcza się iż niewielka grupa osadników żydowskich zamieszkała tu już co najmniej w roku 1577, lub wcześniej – w roku 1564.

Dynamiczny rozwój ośrodka został zahamowany po spaleniu przez Tatarów w 1656 roku. W okresie wojny północnej (1704–1721) miasto było kilkakrotnie niszczone i grabione przez wojska szwedzkie, brandenburskie, saskie oraz rosyjskie. Do dalszego upadku w drugiej połowie XVII w. przyczyniła się epidemia, która w 1710 r. zdziesiątkowała miejscową ludność. Odrodzenie nastąpiło dopiero w drugiej połowie XVIII w., kiedy Augustów stał się największym ośrodkiem miejskim na terenie obecnej Suwalszczyzny i odzyskał swe dawne znaczenie ekonomiczne.

Po trzecim rozbiorze Rzeczpospolitej, tj. w 1795 roku, Augustów znalazł się pod panowaniem pruskim, stając się częścią Prus Nowowschodnich. Na mocy ustaleń traktatu pokojowego w Tylży w 1807 r., ziemia augustowska weszła w skład Księstwa Warszawskiego, a po Kongresie Wiedeńskim w 1815 r. – Augustów stał się częścią Królestwa Polskiego. Miasto zyskało wówczas rangę stolicy nowo utworzonego województwa augustowskiego, a w 1837 r. zostało stolicą guberni augustowskiej. Począwszy już od 1825 r., w związku z rozpoczęciem prac nad budową Kanału Augustowskiego i przeprowadzeniem szosy warszawsko-petersburskiej, miasto przeżywało ponownie okres dynamicznego rozwoju. W połowie XIX w. Augustów był wieloetnicznym, wielowyznaniowym ośrodkiem, zamieszkałym przez Polaków, Rosjan i Żydów, w którym na lokalną skalę rozwijał się przemysł i handel. W 1899 r. doprowadzona została linia kolejowa.

W 1915 r. w okolicach miasta miały miejsce walki pomiędzy wojskami rosyjskimi i pruskimi. Następnie okupowany przez Niemców Augustów, wraz z Puszczą Augustowską, był silnie eksploatowany gospodarczo. W rok po wycofaniu się wojsk niemieckich, od lipca do września 1920 r., był okupowany przez bolszewików.

W okresie międzywojennym miasto przeżywało okres prosperity, co było związane m.in. z rozwojem przemysłu drzewnego w regionie, a także wzrostem znaczenia Augustowa jako modnego ośrodka wypoczynkowego i uzdrowiskowego.

Po wybuchu II wojny światowej, we wrześniu 1939 r. miasto znalazło się pod okupacją radziecką, a w czerwcu 1941 r. wkroczyli tu Niemcy. Wkrótce w masowej egzekucji zamordowanych zostało ok. 800–900 żydowskich mężczyzn. W 1941 r. Niemcy utworzyli getto, którego więźniowie zginęli w niemieckich nazistowskich obozach zagłady Treblinka i Auschwitz-Birkenau w grudniu 1942 i styczniu 1943 roku. W okresie od października 1944 r. do stycznia 1945 r. leżące blisko linii frontu miasto zostało zrujnowane w 70%.

W lipcu 1945 r. miała miejsce „obława augustowska” – operacja przeprowadzona przez oddziały Armii Radzieckiej i NKWD oraz wydzielone oddziały LWP i UB, mająca na celu rozbicie i likwidację oddziałów podziemia niepodległościowego i antykomunistycznego w rejonie Suwałk i Augustowa. Wskutek tego tzw. „Małego Katynia”, uprowadzono ok. 600 osób, po których wszelki ślad zaginął.

W latach powojennych Augustów odrodził się jako ośrodek turystyczny i przemysłowy.