Människor har levt i Salzburg sedan den nya stenåldern och fram till idag. Det äldsta fyndet i stadsområdet är daterat till omkring 4500 f.Kr. Från och med 15 f.Kr. och framåt efter den romerska ockupationen kallades staden Iuvavum. Den romerska staden låg i dagens gamla stad kring Waagplatz. Staden blev en viktig plats från öster till provinsen Germania. Romarna lämnade staden i början av barbarinvandringen omkring år 500. Fram till 696 kan endast lite sägas om historien. 696 gavs staden till biskop Rupert av hertig Theodo II av Bayern. Rupert fick order av hertigen att föra in kristendomen i östra och sydöstra delen av sitt land. Rupert grundade klostret St Peter och för kvinnor klostret Nonnberg. 739 blev Salzburg biskopssäte och 774 byggdes den första katedralen. 998 Salzburg blev ärkebiskopsstift som styrde hela det bayerska området.
Under medeltiden blev Salzburg rik genom handel med salt från det närliggande Dürnberg i Hallein. Fram till 1300-talet blev Salzburg självständigt från Bayern och var en stat inom det heliga romerska riket. Salzburgs invånare stod under ärkebiskopens befäl till skillnad från andra städer i riket. Under barocken formades utseendet på dagens stad. Katedralen byggdes om i barockstil. De flesta arkitekterna kom från Italien. 1622 grundades ett universitet. På grund av att det var en katolsk stat hade protestanter en svår ställning i Salzburg. Men 1731 var protestanter som inte återvände till den katolska tron tvungna att lämna Salzburg inom åtta dagar.
I början av 1800-talet främjade Napoleon Bonaparte hertigdömet Salzburg, som senare blev en del av kungariket Bayern. Därefter annekterades Salzburg av Österrike, återgick till Bayern och delades mellan Bayern och Österrike. 1918 blev Salzburg en delstat i den nya republiken Österrike. År 1938 annekterade Tyskland Österrike och Salzburg blev en del av Tyskland. År 1945, när Österrike var självständigt från Tyskland, blev Salzburg återigen en delstat.