Der 1844 als Antwort auf die anti-katholische Politik der preußischen Regierung ins Leben gerufene Verband hob in vielen Orten katholische Volksbüchereien aus der Taufe und entwickelte sich zum Träger des katholischen Büchereiwesens.
1918 verzeichnete der Erbacher Ableger bei einem Bestand von 475 Büchern eine Ausleihe von 90 Exemplaren. 1930 erfolgte eine Neuordnung der Bücherei durch Kaplan Strigler. Mit der Machtergreifung lösten die Nationalsozialisten 1933 auch die Borromäus-Vereine auf. Erst fünf Jahre später erfolgte mit dem Einzug von Pfarrer Alois Rudershausen in die Pfarrei eine erneute Neuordnung und Aufstockung auf rund 1300 Bände. Die Bücherei schlüpfte in eine Rolle als christliche Orientierungsmöglichkeit in der Zeit der braunen Diktatur.
Nach dem Ende des Zweiten Weltkriegs wurden ab dem ersten Advent 1947 Bücherspenden angenommen und durch den ersten Bibliothekar, Hans Burz, hergerichtet. Am 13. Juni 1948 erfolgte die Wiedereröffnung.
Bis Anfang der 50er Jahre betreuten Hans Burz, Nikolaus Kelbert und Walter Plöger die Bücherei. 1952 wurden 3846 Ausleihen von 206 Lesern bei einem Bestand von 1439 Bänden registriert. Als Leser kamen überwiegend Schüler und Jugendliche, um ihre Neugierde an Sachthemen und der technischen Entwicklung zu stillen. Mitte der 50er Jahre übernahm die Gemeindehelferin Cäcilia Sachs die Betreuung der Pfarrbücherei, die Schülerinnen als Hilfskräfte hinzuzog. 1963 kostete die Ausleihe 10 Pfennige. Die Bücher waren noch in blaues Packpapier eingebunden. 1968 nahm die Büchereifachstelle im Bistum Mainz ihre Arbeit auf. Von den damals 199 Büchereien bestehen aktuell noch 140. Mit der Verbreitung der Fernsehapparate in die Wohnstuben veränderte sich auch das Leseverhalten und die Bücherei wurde 1972 vorübergehend geschlossen. Die Wiedereröffnung erfolgte am 15. Februar 1973. Im Jahr darauf gründete sich der Büchereiring der Katholischen Öffentlichen Büchereien im Dekanat Erbach. In dieser Phase übernahm 1985 Elke Buhl die Bücherei, dies bis 1991. Seitdem ist die Ausleihe kostenlos.
Zum Jahreswechsel 1991/92 übernahm das derzeitige Bücherei-Team die "Kath. Öffentliche Bücherei St. Sophia", unter diesem Namen sie seitdem firmiert. Zur Leiterin wurde Luzia Scharf gewählt; die Aufgabenverteilung erfolgt seitdem in Teamarbeit. 1997 erfolgte der Umzug vom Pfarrsälchen in das benachbarte Palais.
Heute verzeichnet die Bücherei jährlich rund 22 000 Ausleihen bei einem Bestand von 4100 Medien. 16 Teammitglieder engagieren sich ehrenamtlich und pflegen im Jahr den Kontakt zu 11 000 Büchereibesuchern. Hinzu kommen 111 Veranstaltungen, darunter 15 Jahre lang das kulinarisch-literarische Ereignis und etliche Aktionen an Schulen und in Kindergärten in Erbach und Mossautal. Das besondere Engagement wurde 2003 und 2010 mit dem Hessischen Bibliothekspreis sowie 2009 mit der Ehrenurkunde des Hessischen Lese-Förderpreises ausgezeichnet. Maßstäbe setzte die KÖB auch in der technischen Entwicklung und beim Service: Als erste Katholische Öffentliche Bücherei ist sie seit 1995 im Internet weltweit und jederzeit präsent sowie seit 1997 Referenzbibliothek für Bibliotheks-EDV. Als erste Bibliothek im Odenwaldkreis richtete die KÖB im Dezember 2014 die Onleihe (Ausleihe von eBooks) ein.