Dejiny Toweru siahajú do 11. storočia., kedy Viliam Dobyvateľ v rokoch 1066 až 1087 dal postaviť z bieleho mramoru dnešnú White Tower – Bielu vežu, ktorá je jeho historickým jadrom. V 12, storočí bola okolo pevnosti vybudovaná vodná Prokopa. V 13. Storočí za vlády Henricha III. Sa Tower stal rezidenciou britských panovníkov. Oliver Cromwell však dal tieto palácové budovy zbúrať v časoch revolúcie. Tower sa taktiež preslávil jako väzenie. Boli tu uväznené a neskôr popravené 2 ženy Henrich VIII.: Anna Boleynová, matka kráľovnej Alžbety I. v roku 1536 a Katarína Howardová v roku 1542. Boli tu väznení i Thomas Bore, škótsky králi John Baliol a Dávid II. , francúzsky kráľ Ján II. Dobrý jako aj anglický kráľ Henrich VI. Od roku 1303 slúži Tower of London tiž jako kráľovská klenotnica, v ktorej sú uschovávané britské korunovačné klenoty.
V roku 1988 bol Tower zapísaný do záznamu svetového kultúrneho dedičstva UNESCO jako symbol britskej monarchie.
Ľudia sem chodia aj kvôli havranom, ktorí sú tu už celé stáročia. Charles II. ich chcel v 17. storočí odstrániť, lebo rušili jeho astronóma, ale nepodarilo sa mu to. Je tu však jedna legenda, ktorá praví, že ak havrani opustia Tower, kráľovstvo padne. Takže si tu teraz nažívajú v pokoji. počas druhej svetovej vojne ich mnoho zahynulo pri bombových útokoch, no ešte stále ich tu dosť zostalo. Majú pristrihnuté krídla, čiže nemôžu odletieť. A kráľovstvo je zachránené!