Elsfleth blev officielt nævnt førstegang omkring 1220, men var beboet længe før. Tidspunktet for bygrundlæggelsen er ubekendt. Måske går det tilbage til det 9. århundrede, da Biskop Ansgar formodentlig omkring 860 grundlagde den første kirke.
I midten af det 14, århundrede kom Elsfleth under Grevskabet Oldenburg. 1504 blev St.-Nicolai-Kirken bygget og i 1690 blev deen ombygget til sin nuværende form. Fra 1624 til 1820 var byen en af Wesers 24 skibstoldstationer. Byrettighederne fik byen 1. maj 1856.
Den gunstige beliggenhed ved Weser og Hunte og ved Nordsøen er grunden til byens tilknytning til søfart og skibsbyggeri.
Venskabskommune
Marstal Kommune indgik venskabssamarbejde med Elsfleth Kommune den 13. marts 1999. Med kommunesammenlægningen på Ærø blev Ærø Kommune den 1. januar 2006 venskabskommune i stedet for Marstal Kommune. Venskabsaftalen har bl.a. udgangspunkt i den fælles maritime profil og samarbejdet mellem navigationsskolerne i Elsfleth og Marstal.