Eine Legende besagt das Toledo von den nachkommen Noahs gegründet wurde. Wie dem auch sei, dauerhaft besiedelt wurde Toledo wohl von den Kelto-Iberern, genauer dem Stamm der Karpentaner, von deren Leben einige archäologische Funde erhalten geblieben sind. Im Jahre 192 v.Chr. eroberten die Römer den Ort des heutigen Toledo und nannten ihn Toletum. Das hier gefundene Eisenerz ließ die Siedlung gedeihen, die schon bald das Recht hatte, Münzen zu prägen. Villen entstanden und ein Aquädukt (das heute vollkommen verschwunden ist) belieferte die Bewohner mit Wasser. Das Ende des römischen Reiches und der Einfall der Barbaren konnte noch durch verstärkte Schutzmauern herausgeschoben, aber nicht verhindert werden. Doch für die Stadt war die nachfolgenden Herrschaft der Westgoten kein Unglück, sondern ein Glücksfall, denn seinen ersten historischen Höhepunkt erlebte Toledo 554 bis 712 als es Königsresidenz der westgotischen Herrscher, die Stadt wurde so etwas wie das Rom Spaniens. Den Reichtum der gotischen Oberschicht lässt sich im Staatlichen Archäologischen Museum im Madrid nachvollziehen, denn dort ist der „Schatz von Guarrázar“, die gotischen Weihekronen ausgestellt. Da die westgotischen Herrscher zum Katholizismus konvertierten wurde Toledo auch zu einem religiösen Zentrum seiner Zeit. Von den insgesamt 18 Konzillen, die hier in knapp 300 Jahren stattfanden, wurde beispielsweise das 4. vom Enzyklopädisten Isidor von Sevilla geleitet, einer der herausragendsten Persönlichkeiten der Spätantike.

712 eroberten die muslimischen Mauren die Stadt und behielten sie für 373 Jahre in ihrem Besitz. Fortan wurde, der nun Tulaytula genannte Ort, Teil des Kalifates von Cordoba und später Hauptstadt eines eigenständigen Taifas. 1085 eroberte der kastillischen König Alfons VI. Toledo. Obwohl aus dieser Zeit fast keine Bauten mehr übrig sind, ist die Stadtstruktur doch von ihrem orientalischen Charakter geprägt. Kurz nach seiner Wiedereingliederung in die christliche Welt wurde Toledo von Papst Urban II. als „primatus in totis Hispaniarum regni“ bestätigt, daher als wichtigster Ort der Kirche auf der iberischen Halbinsel. Jedoch war dieser Titel lange Zeit umstritten, erst im 13.Jahrhundert fand ein verstärkter Ausbau der Stadt statt. Diese Zurückhaltung, die sich auch im stark verspäteten Bau einer Kathedrale ausdrückt (erst 1226 legte man den Grundstein für eine Kathedrale, da Toledo Sitz eines Erzbistums wurde) ist wohl der politischen Situation der Reconquista (der Wiedereroberung der muslimischen Gebiete durch christliche iberische Truppen) geschuldet. Toledo lag lange Zeit an der südlichen Grenze der christlichen Gebiete. Man empfand es wohl als zu unsicher, größere Projekte in der Stadt zu starten.

Für das Zusammenleben von Christen, Mauren und Juden bis in das 15. Jahrhundert hinein hatte dies jedoch keine Konsequenzen, galt die Stadt als gelungenes Beispiel für religionsübergreifende Verständigung und deren wechselseitiger, kultureller Durchdringung. Im 12. und 13. Jahrhundert waren Toledo ein Zentrum für die Übersetzung arabischer Schriften ins Lateinische und Romanische und damit ein wichtiger Ort der Wissensverbreitung vom Morgen- ins Abendland. Mit der Ausweisung der Juden 1492, im sogenannten Alhambra-Edikt und der Taufe bzw. Vertreibung der Mauren 1502 ging diese Ära zu Ende.

Architektonisch jedoch reichte der orientalische Einfluss weiter. Zum einen haben sich Bauten aus maurischer Tradition erhalten, wie die im 13. und 14. jahrhundert gebauten ehemaligen Synagogen St. Maria la Blanca und El Tránsito. Zum anderen sind die charakteristischen Neubauten jener Tage im Stil des Mudejar gehalten, womit man eine Bauepoche bezeichnet, die sich aus dem Traditionen der islamischen Architektur speist und diese in das Bauen der christlichen Welt aufnimmt. Toledo ist noch heute ein Zentrum dieses typisch iberischen Baustils.

Durch die Verlegung der Hauptstadt nach Madrid im Jahre 1561 büßte die Stadt naturgemäß an Bedeutung ein, blieb zwar Sitz der Generalinquisition (ein zweifelhafter Ruhm), verlor aber die Beachtung für das spanische Herrscherhaus, was mit dem heutigen Vorteil verbunden ist, keine gravierenden stadtplanerischen Veränderungen seit mehr als 400 Jahren erfahren zu haben. Künstlerischen Ruhm verdankt die Stadt ihrem wohl prominentesten Zugezogenen, dem Maler El Creco, der von 1577 bis zu seinem Tode im Jahre 1614 in Toledo lebte. Die Stadt geriet danach langsam in Vergessenheit und erst in der Zeit der Romantik, mit ihrer Rückbesinnung auf mittelalterliche Tradition und Kultur geriet Toledo wieder in den Fokus der ersten neuen Bewunderer. So ist zum Beispiel die Eröffnung des „El Greco-Museums“ um 1905 ein zeichen für diese Wiederentdeckung.

Zeitgeschichtliche Bedeutung erlangte Toledo im Jahre 1936, als im beginnenden spanischen Bürgerkrieg ein franquistisches Militärkommando das Alcázar einnahm, sich dort verschanzte und den Angriffen der republikanischen Truppen standhaft erwehrte. Diesen gelang es nicht, dass Alcázar zu erobern. So mussten sich die Republikanischen Truppen nach 70 Tagen Belagerung aus der Stadt zurückziehen, da die Truppen Francos den Aufständischen zur Hilfe gekommen waren. Die erfolgreiche Belagerung des Alcázars von Toledo galt später als Gründungsmythos, der auf den Bürgerkrieg folgenden Diktatur Francos in Spanien.

In den letzten Jahren erlebte Toledo einen starken Zuzug, was wohl auch in der Nähe und der guten Anbindung an Madrid zu tun hat, auch wenn die Stadt schon lange ihr Stadtgebiet erweitert hat und sich insbesondere entlang des Tajos nach Nordwesten hin ausdehnt.
Heute ist Toledo nicht nur ein Touristenmagnet, der aber trotz zahlreicher Besucher immer noch ruhige Ecken bieten kann und der eine Unmenge an architektonischen Schmuckstücken zählt und der nicht zuletzt auch durch einladende Bars und Restaurants kulinarische Genüsse offeriert.