Kuten tarkkasilmäiset heti arvaavat, Ateena on saanut nimensä Athene- jumalattaren mukaan. Kaupungin nimihistoria liittyy läheisesti Athene- ja Poseidon-jumalten väliseen tahtojen taisteluun, sillä molemmat havittelivat paikkaa Ateenan suojelusjumalana. Athene toi lahjanaan kaupungille viisautta, sotataitoja, sankaruutta ja käsitöitä. Poseidon puolestaan halusi lahjoittaa ateenalaisille merta, tulvia, maanjäristyksiä ja hevosia. Jumalten välinen kilpailu päättyi lopulta Athenen selkeään voittoon, sillä Poseidonin lahjoittamat lähteet pulppusivat kaupunkilaisille hyödytöntä suolavettä. Suojelusjumaluuden ratketessa myös kaupunki sai yhä edelleen kantavan nimensä.

Antiikin ajan katsotaan alkaneen noin 700-luvulla eaa. Historian kirjat kertovat Ateenan olleen sekä länsimaisen sivilisaation että demokratian syntypaikka. Ateenan demokraattinen järjestelmä oli varsin ainutlaatuinen, ja vaikka monet kreikkalaiset kaupungit seurasivatkin sen mallia, ne eivät koskaan yltäneet Ateena demokratian tasolle. Tuolloin Ateenaa koskevista päätöksistä arvattavasti vastasivat ainoastaan miespuoliset henkilöt. Päätöksen tekoa ei kuitenkaan evätty edes kaupungin köyhimmiltä ja näin ollen mahdollisuus vaikuttamiseen oli aivan kaikilla köyhistä rikkaisiin. Päätösoikeus oli kuitenkin evätty naisilta, maahanmuuttajilta ja orjilta.

Kreikka saavutti itsenäisyytensä vuonna 1829, jolloin se irtautui Ottomanien valtakunnasta. Maansa pääkaupungin tittelin Ateena sai virallisesti vuonna 1834. Alkuaikoina kaupungissa asusteli n. 5 000 ihmistä, ja vaikka Ateena oli kooltaan tuolloin vielä nykyisessä mittakaavassa mitattuna pieni, se saavutti pääkaupungin asemansa pitkälti historiallisista ja sentimentaalisista syistä. Ateena alkoi kuitenkin kasvaa nopeaan tahtiin Turkin kanssa käydyn sodan jälkeen. Tuolloin kaupunkiin virtasi massoittain pakolaisia Vähä-Aasian alueilta. Toisen maailman sodan päätyttyä kreikkalaisetkin alkoivat muuttaa maaseudulta kaupunkiin työn perässä, ja väkiluku koki jälleen erityisen nopeaa kasvua.

Kreikka liittyi Euroopan unioniin vuonna 1981. Siinä missä jäsenyys EU:ssa toi maahan runsaasti investointeja, se toi myös omat ongelmansa. Ateena oli tuolloin yksi maailman saastuneimmista kaupungeista ja sen ympäristöongelmien taso oli erityisen vakava,  mutta ongelmaan kuitenkin haettiin ratkaisua vuoden 1996 evättyjen olympialaisten takia. Selkeiden parannusten myötä Ateena sai vihdoin olympialaisensa vuonna 2004. Kisat olivat erityisen merkittävät kaupungin kannalta, sillä ne toivat maahan runsaasti positiivista julkisuutta ja lisäsivät turismia. Turismi onkin maan merkittävimpiä elinkeinoja ja vuosi toisensa jälkeen maahan virtaavien vierailijoiden määrä on lisääntynyt tasaiseen tahtiin.