Bereits der Urbau des Doms wurde unter Erzbischof Willigis (975-1011) im Stil der Romanik ausgeführt. Auch bei späteren Veränderungen behielt man den Stil bei, sogar über die eigentliche Kunstepoche hinaus. Deshalb ist Entwicklung der romanischen Architektur am Mainzer Dom deutlich ablesbar: So steht die frühe schlicht-monumentale Bauweise aus der ottonischen und salischen Kaiserzeit der reich gegliederten, spätromanischen Architektur der Stauferzeit gegenüber.
Die ältesten sichtbaren Bauteile sind die unteren vier Geschosse der beiden seitlichen Treppentürme der Ostgruppe sowie Wandteile des nördlichen Querbaus. Sie stammen aus der Phase der Domgründung (um 1000).
Nach dem Dombrand von 1081 wurden im 12. Jahrhundert die monumentale Ostgruppe mit der halbrunden Apsis und der Zwerchgalerie sowie das dreischiffige Langhaus mit den wuchtigen Pfeilern gebaut. Die romanische Ostkrypta wurde entweder nicht fertig gestellt oder nach 1200 bis auf die Umfassungsmauern beseitigt. Als Privatkapelle des Erzbischofs entstand 1137 die Gotthard-Kapelle.
Rund einhundert Jahre später wurde der Aufbau der Westgruppe im formenreichen spätromanischen Stil vollendet. Davon erhalten sind der Westchor, das große Querhaus sowie die unteren Stockwerke des Vierungsturms und der Seitentürme. Weiterhin stammt die Memorie aus dieser Bauphase.
Mit der Weihe am 4. Juli 1239 war der Aufbau des Mainzer Doms in seiner bis heute erhaltenen Grundform und wesentlichen Gestaltung vollendet.