In Mogontiacum, der Hauptstadt der römischen Provinz Germania superior, gab es seit dem späten 2. Jahrhundert eine christliche Gemeinde. Etwa seit dem 4. Jahrhundert ist Mainz Bischofssitz.
Der Missionar Winfried Bonifatius (ca. 672/75 - 754) aus dem südenglischen Wessex, seit 732 Erzbischof, übernahm um 745/48 das Bistum Mainz und schuf die Grundlage, dass Mainz Sitz einer der größten und angesehensten Diözesen des Abendlandes werden konnte. Unter seinem Amtsnachfolger Lullus wurde das Bistum zum Erzbistum erhoben.
In den folgenden Jahrhunderten reichte der Einfluss von Mainz zeitweise von Straßburg über Chur bis nach Olmütz, Prag, Brandenburg und Havelberg.
Seit Erzbischof Willigis (975-1011), dem Erbauer des Mainzer Doms, blieb das Amt des Mainzer Erzbischofs mit dem des Erzkanzlers des Heiligen Römischen Reiches Deutscher Nation verbunden. Der Mainzer Erzbischof war der erste der sieben Kurfürsten des Reiches und beeinflusste entscheidend die Königswahl.
1514 wurde Albrecht von Brandenburg (1514-1545), der bereits Oberhirte des Erzbistums Magdeburg und Administrator des Bistums Halberstadt war, zum Erzbischof von Mainz gewählt. Für die Erlaubnis dieser Kumulation von Ämtern hatte er der Kurie in Rom erhebliche Gebühren zu entrichten. Das nötige Geld wurde durch den Verkauf von Ablässen (zum Nachlass von Sündenstrafen) beschafft: Dieser Handel war 1517 Anlass für einen Protest von Martin Luther, Augustinermönch und Theologieprofessor in Wittenberg, und damit einer der Auslöser der Reformation in Deutschland.
Die Französische Revolution und ihre (kriegerischen) Folgen brachten Ende des 18. Jahrhunderts den Zusammenbruch des Erzbistums Mainz und seines Metropolitanverbands.
1801 wurde Mainz Sitz eines linksrheinischen französischen Departments-Bistums. Nach dem Ende der Napoleonischen Herrschaft wurde das Gebiet des Bistums 1821/27 neu umschrieben. Es umfasst seither das Gebiet des damaligen Großherzogtums Hessen-Darmstadt mit den Provinzen Rheinhessen, Starkenburg und Oberhessen, das heute zu den Bundesländern Hessen und Rheinland-Pfalz gehört. Seit 1821 gehört Mainz zur Oberrheinischen Kirchenprovinz und ist als Suffraganbistum dem Erzbistum Freiburg im Breisgau zugeordnet.
Bischof Wilhelm Emmanuel von Ketteler (1811-1877; Bischof von Mainz seit 1850) wurde durch seinen Einsatz für soziale Fragen und die Freiheit der Kirche zu einem der bedeutendsten Bischöfe seines Jahrhunderts.
In der Zeit des nationalsozialistischen Regimes (1933 - 1945) erlitt auch das kirchliche Leben im Bistum Mainz vielfache Einschränkung, Zerschlagung und Verfolgung.
Bischof Albert Stohr (Amtszeit: 1935 - 1961) sprach öffentlich deutliche Worte gegen die Angriffe auf die Kirche und ihre Einrichtungen, aber auch gegen die Ermordung des sogenannten „lebensunwerten Lebens". Nach dem Krieg stellte sich dem Bistum die Aufgabe des Neuaufbaus (die Stadt Mainz wurde 1945 weitgehend zerstört) und der Integration vieler Heimatvertriebener.
Über die Grenzen des Bistums Mainz hinaus bekannt wurde der Nachfolger von Bischof Stohr, Bischof Hermann Kardinal Volk (Amtszeit: 1962-1982). Er spielte zusammen mit seinem Weihbischof Josef Maria Reuß eine wichtige Rolle beim Zweiten Vatikanischen Konzil in Rom (1962 - 1965) und setzte sich besonders für das ökumenische Gespräch ein.
Von 1983 bis 2016 war Prof. Dr. Dr. Karl Lehmann Bischof von Mainz. Von 1987 bis 2008 war er Vorsitzender der Deutschen Bischofskonferenz. Herausragende Ereignisse für das Bistum Mainz in dieser Zeit waren unter anderem der 93. Deutsche Katholikentag 1998 in Mainz und die Feiern zur Kardinalserhebung des Bischofs 2001.
Im Jahr 2009 feierte das Bistum das 1000-jährige Bestehen des Mainzer Domes.
Die Mainzer Heiligen bieten immer wieder Anlass zur besinnenden und vergegenwärtigenden Rückschau, so etwa 2004 der 1250. Todestag des Heiligen Bonifatius. 2012 hat Papst Benedikt XVI. Hildegard von Bingen in das Verzeichnis der Heiligen der Gesamtkirche aufgenommen und zur Kirchenlehrerin erhoben.
Seit 2017 ist Prof. Dr. Peter Kohlgraf der 88. Nachfolger des heiligen Bonifatius auf dem Mainzer Bischofsstuhl. Bischof Kohlgraf ist Vorsitzender der Pastoralkommission der Deutschen Bischofskonferenz und Präsident der deutschen Sektion von Pax Christi. Unter dem Motto „Eine Kirche, die teilt“ hat er seit 2018 den Pastoralen Weg initiiert, der die Weiterentwicklung und Erneuerung der Kirche im Bistum Mainz in geistlicher wie organisatorischer Hinsicht anstrebt.
Veröffentlichungen zur Geschichte des (Erz-) Bistums Mainz und nützliche online-Angebote finden sich auf den Seiten des