Vid Sorbonne-kongressen 1894 föreslogs ett stort antal idrotter för programmet i Aten. I de första officiella tillkännagivandena om vilka idrottsevenemang som skulle hållas presenterades sporter som fotboll och cricket, men dessa planer blev aldrig slutgiltiga och dessa sporter kom inte med på den slutliga listan för spelen. Rodd och segling planerades, men fick ställas in på grund av dåligt väder under den planerade tävlingsdagen.
Friidrott
Friidrottstävlingarna hade det mest internationella fältet av alla idrotter. Den stora höjdpunkten var maratonloppet, som för första gången hölls i internationell konkurrens. Spyridon Louis var den ende grekiske friidrottsmästaren och en nationalhjälte. Även om Grekland hade varit favorit att vinna diskus- eller kulstötningen, slutade de bästa grekiska idrottarna strax bakom amerikanen Robert Garrett i båda tävlingarna.
Inga världsrekord sattes, eftersom få internationella toppkonkurrenter hade valt att delta. Dessutom var kurvorna på banan mycket snäva, vilket gjorde det svårt att ta snabba tider i löptävlingarna. Trots detta vann Thomas Burke från USA 100 meter på 12,0 sekunder och 400 meter på 54,2 sekunder. var den enda som använde sig av "crouch start" (sätter knät på marken), vilket förvirrade juryn. Till slut fick han tillåtelse att starta från sin "obekväma position".
Cykling
Internationella cykelförbundets regler användes för cykeltävlingarna. Bancyklingstävlingarna hölls i den nybyggda Neo Phaliron Velodrome. Endast en tävling på väg hölls, ett lopp från Aten till Marathon och tillbaka (87 kilometer).
På banan var den bästa cyklisten fransmannen Paul Masson, som vann tidskörningen på ett varv, sprinten och 10 000 meter. I 100 kilometer tävlingen gick Masson in som pacemaker för sin landsman Léon Flameng. Flameng vann tävlingen efter ett fall och efter att ha stannat för att vänta på att hans grekiske motståndare Georgios Kolettis skulle åtgärda ett mekaniskt problem. Den österrikiske fäktaren Adolf Schmal vann 12-timmarsloppet, som endast två cyklister genomförde, medan vägloppet vanns av Aristidis Konstantinidis.
Staket
Fäktningstävlingarna hölls i Zappeion, som byggdes för pengar som Evangelos Zappas hade gett för att återuppliva de gamla olympiska spelen, och som inte använts tidigare. Till skillnad från andra sporter (där endast amatörer fick delta i de olympiska spelen) fick professionella tävla i fäktning, dock i ett separat evenemang. Dessa yrkesmän betraktades som gentlemannaidrottare, precis som amatörerna.
Fyra tävlingar var inplanerade, men epée-tävlingen ställdes in av okända skäl. Florettävlingen vanns av en fransman, Eugène-Henri Gravelotte, som slog sin landsman Henri Callot i finalen. De andra två tävlingarna, sabel och florett för herrar, vanns av grekiska fäktare. Leonidas Pyrgos, som vann den sistnämnda tävlingen, blev den första grekiska olympiska mästaren i modern tid.
Gymnastik
Gymnastiken ägde rum på Panathinaiko-stadionens innerplan. Tyskland skickade ett 11-mannalag som vann fem av de åtta tävlingarna, inklusive de båda lagtävlingarna. I lagtävlingen på ribban var det tyska laget ohotad. Tre tyskar lade till individuella titlar: Hermann Weingärtner vann på ribbstången, Alfred Flatow vann på parallellstången och Carl Schuhmann, som också tävlade framgångsrikt i brottning, vann på volten. Louis Zutter, en schweizisk gymnast, vann pommelhästen, medan grekerna Ioannis Mitropoulos och Nikolaos Andriakopoulos segrade i ringarna respektive i repklättring.
Skjutning
Skyttetävlingen hölls på en skjutbana i Kallithea och bestod av fem tävlingar - två med gevär och tre med pistol. Den första tävlingen, militärgeväret, vanns av Pantelis Karasevdas, som var den enda tävlande som träffade målet med alla sina skott. Den andra tävlingen, för militärpistol, dominerades av två amerikanska bröder: John och Sumner Paine blev de första syskonen som slutade på första och andra plats i samma tävling. För att undvika att skämma ut sina värdar beslutade bröderna att endast en av dem skulle tävla i nästa pistoltävling, den fria pistolen. Sumner Paine vann den tävlingen.
Bröderna Paine tävlade inte i 25-meterspistolen, eftersom domarna ansåg att deras vapen inte hade den kaliber som krävdes. I deras frånvaro vann Ioannis Phrangoudis. Det sista tävlingsmomentet, fritt gevär, inleddes samma dag. Tävlingen avslutades dock inte på grund av mörkret utan avslutades nästa morgon, då Georgios Orphanidis kröntes till mästare.
Simning
Simtävlingen hölls i öppet hav. Nästan 20 000 åskådare stod i Zeabukten utanför Pireus kust för att titta på tävlingarna. Vattnet i bukten var kallt och deltagarna led under tävlingarna. Det fanns tre öppna tävlingar (100 meter fristil för män, 500 meter fristil för män och 1200 meter fristil för män), förutom en särskild tävling som endast var öppen för grekiska seglare, som alla hölls på samma dag (11 april).
För Alfréd Hajós från Ungern innebar det att han bara kunde tävla i två av tävlingarna på samma dag. Han vann de två tävlingar han simmade i, 100 och 1200 meter fristil. Hajós blev senare en av endast två olympier som vann en medalj i både de idrottsliga och konstnärliga tävlingarna, när han vann en silvermedalj för arkitektur 1924. 500 meter fristil vanns av den österrikiske simmaren Paul Neumann, som besegrade sina motståndare med mer än en och en halv minut.
Tennis
Trots att tennis redan var en viktig sport i slutet av 1800-talet kom ingen av de främsta spelarna till turneringen i Aten. Tävlingen ägde rum på tennisbanorna i Athens Lawn Tennis Club och på innerplanen i den velodrom som användes för cykeltävlingarna. John Pius Boland, som vann tävlingen, anmäldes till tävlingen av en av sina studiekamrater i Oxford. I den första omgången besegrade Boland Friedrich Traun, en lovande tennisspelare från Hamburg, som hade blivit utslagen i sprinttävlingen på 100 meter. Boland och Traun bestämde sig för att gå ihop i dubbeltävlingen, där de nådde finalen och besegrade sina grekiska och egyptiska motståndare efter att ha förlorat det första setet.
Tyngdlyftning
Tyngdlyftningssporten var fortfarande ung 1896 och reglerna skilde sig från dem som används idag. Tävlingarna hölls utomhus, på huvudstadionens innerplan, och det fanns inga viktgränser. Den första tävlingen hölls i en stil som nu är känd som "clean and jerk". Två tävlande utmärkte sig: Skotten Launceston Elliot och Viggo Jensen från Danmark. Båda lyfte samma vikt, men juryn, med prins George som ordförande, beslutade att Jensen hade gjort det i en bättre stil. Den brittiska delegationen, som inte kände till denna regel för att avgöra om det var lika, lämnade in en protest. Lyftarna fick till slut göra ytterligare försök, men ingen av dem förbättrade sig och Jensen förklarades mästare.
Elliot vann i enhandslyftningen, som hölls omedelbart efter tvåhandslyftningen. Jensen hade skadat sig något under sitt senaste tvåhandsförsök och var ingen match för Elliot, som vann tävlingen lätt. Den grekiska publiken charmades av den skotska segraren, som de ansåg vara mycket attraktiv. En märklig incident inträffade under viktlyftningstävlingen: en tjänare beordrades att ta bort vikterna, vilket verkade vara en svår uppgift för honom. Prins George kom till hans hjälp; han tog upp vikten och kastade den med lätthet en avsevärd sträcka, till publikens förtjusning.
Brottning
Det fanns inga viktklasser i brottningstävlingen, som hölls på Panathinaiko Stadium, vilket innebar att det bara skulle finnas en vinnare bland tävlande av alla storlekar. De regler som användes liknade den moderna grekisk-romerska brottningen, även om det inte fanns någon tidsgräns och alla bengrepp inte var förbjudna (till skillnad från dagens regler).
Med undantag för de två grekiska deltagarna hade alla tävlande tidigare varit aktiva inom andra idrotter. Tyngdlyftningsmästaren Launceston Elliot mötte gymnastikmästaren Carl Schuhmann. Den senare vann och gick vidare till finalen, där han mötte Georgios Tsitas, som tidigare hade besegrat Stephanos Christopoulos. Mörkret tvingade finalmatchen att avbrytas efter 40 minuter; den fortsatte dagen därpå och Schuhmann behövde bara en kvart för att avsluta matchen.