Staverns opprinnelse vet man ikke med sikkerhet, men man kan lese om Stavern fra 1200-tallet, da kjent som et fiskersted med god havn. I 1788 til 1790 ble det bygget blokkhus på de høyeste punktene rundt Stavern, disse blokkhusene ble bygget som utkikksposter og skytestillinger og inngikk i forsvarsannlegget rundt Fredriksvern og Stavern.
Blokkhusene er bygget av tømmer, og var mer eller mindre lenket sammen med doble palisader i 2-3 meters høyde av spisse tømmerstokker. Disse gikk mellom blokkhusene og hadde ganger ned til sjøen. Palisadene kom aldri til rette nytte, så forfallet startet raskt, og befolkningen antas startet nedrivingen tidlig på 1800-tallet. Siden den gang har et av blokkhusene forsvunnet, men det står fremdels to godt bevart igjen i Stavern. Fyrdirektøren og departementet mente at de ikke var så viktige som sjømerker, Oldermannen (los) protesterte på dette , og bevarte to av dem. Man kan se Blokkhusene når man nærmer seg Stavern, enten langs veien eller til vanns. Blokkhusene har også figuert på kommunevåpenet i Staverns historie som egen kommune, og er et symbol for Stavern den dag i dag.
