Schon die alte Römerstadt Moguntiacum war Sitz eines Bischofs. Eine christliche Gemeinde ist seit dem 4. Jahrhundert bezeugt. Die spätantike Hauptkirche lag mit großer Wahrscheinlichkeit westlich des heutigen Dombaus an der Stelle der jetzigen Johanniskirche.
Um das Jahr 900 ließ Erzbischof Hatto (891-913) die alte Kathedrale neu gestalten; Teile dieses Neubaus haben sich in den Wänden des Mittelschiffs der Johanniskirche bis heute erhalten.
Bereits der alte Dom war dem heiligen Martin von Tours geweiht. Mit dem Bau einer neuen Kathedrale nach 975 verlor die alte Hauptkirche ihre Bedeutung und übernahm die Funktion einer Stiftskirche. Sie blieb baulich mit der neuen Kathedrale über einen Gang verbunden. Kirchenpatron ist seither Johannes der Täufer.
Nach seinem Märtyrertod wurden Reliquien des heiligen Bonifatius (Mainzer Bischof 747-754) in einer angrenzenden Kapelle des alten Doms aufbewahrt und später in Fulda bestattet. Das Bonifatius-Denkmal von 1357 befindet sich seit 1823 im Dom.