Jerusalem är en mycket gammal stad. Den har stor betydelse för tre religioner: Judendom, kristendom och islam. Bibeln berättar att kung David, Israels andra kung, tog staden från hedningarna och slog upp sitt palats där. Kung Salomon, Davids son och nästa kung, byggde Salomons tempel i Jerusalem. Senare förstördes Jerusalem som Juda huvudstad av Nebukadnessar II, Babylons kung. Kung Davids palats och Salomos tempel brändes, och judarna tillfångatogs och fördes till Babylon. Sjuttio år senare tillät den persiske kungen Cyrus dem att återvända till Jerusalem och återuppbygga templet.
Senare ockuperades området av romarna. Kung Herodes den store, som regerade för den romerske kejsarens räkning, gjorde templet större för att försöka vinna judarnas gunst. Templet var berömt för sin storhet och skönhet.
Jesus dog i Jerusalem omkring år 33 e.Kr. År 70 gjorde judarna uppror mot romarna, men romarna förstörde staden och templet. Judar som bodde i Jerusalem fångades och blev slavar. Romarna döpte om Jerusalem till ett latinskt namn. Sedan dess har templet inte återuppbyggts och endast en del av dess mur finns kvar fram till idag.
Efter att romarriket delades i två delar styrde det bysantinska riket Jerusalem. Senare tog muslimerna över staden från dem. Muslimerna trodde att Muhammed kom till himlen från Jerusalem.
Senare skickade påven i Rom korsfararna från Västeuropa för att försöka ta tillbaka Jerusalem. De lyckades ett tag, men så småningom föll staden återigen till saracenerna. Fram till 1900-talet var Jerusalem en del av det osmanska riket. Det fanns några judar i Jerusalem hela tiden, även om de styrdes av andra människor.
Jerusalems "nya stad" är den del som ligger utanför de gamla stenmurarna. Man började bygga den nya staden på 1800-talet. Mishkenot Sha'annanim, Mea Shearim och Bukharankvarteren är några av de första kvarteren i den nya staden.
Efter första världskriget hade det osmanska riket besegrats. I juni 1922 godkände Nationernasförbund det brittiska mandatet för Palestina. Därmed fick Storbritannien kontroll över området. Landet väster om Jordanfloden blev känt som Palestina. Det stod under direkt brittisk kontroll fram till 1948. Landet öster om Jordanfloden kallades Transjordanien och styrdes av den hashemitiska familjen. Transjordanien blev självständigt 1946.
Mandatet i Palestina upphörde vid midnatt den 14 maj 1948. Dagen därpå inleddes 1948 års arabisk-israeliska krig. Israel förklarade sig självständigt, Västbanken annekterades av Jordanien och Egypten tog kontroll över Gazaremsan.
1949, i slutet av det första arabisk-israeliska kriget, delades Jerusalem mellan Israel och Jordanien. Israel kontrollerade den västra delen av staden. Jordanien kontrollerade den östra delen, inklusive Gamla staden, en muromgärdad del av Jerusalem från biblisk tid. Israel tog kontroll över hela staden under sexdagarskriget 1967.
Staten Israel hävdar idag att Jerusalem är dess huvudstad. Förenta nationerna godkänner inte att Israel säger att Jerusalem är Israels huvudstad.