Begründet wurde die Vadianische Sammlung durch Joachim Vadian (1484-1551). Als Humanist, Stadtarzt, Reformator und Bürgermeister war er der berühmteste und einflussreichste St.Galler seiner Zeit. Kurz vor seinem Tod vermachte er seine reichhaltige Privatbibliothek der Stadt, die sie als Studienbibliothek für Geistliche, Lehrer und gebildeten Bürger einrichtete.
Der Kaufmann Jakob Studer reorganisierte und modernisierte 1615 die Bibliothek. Er schenkte ihr 100 wertvolle Handschriften und Drucke aus seiner privaten Sammlung und regte seine Mitbürger an, seinem Beispiel zu folgen und der Bibliothek Bücher oder Geld zu verehren. Derartige Geschenke gehörten bis zum Ende der Stadtrepublik (1798) zu den Ehrenpflichten der begüterten St.Galler Bürger. Er legte auch den Grundstein für die Sammlung von Chroniken, historischen Dokumenten und Nachlässen von St.Galler Gelehrten, indem er der Bibliothek den handschriftlichen Nachlass Vadians mitsamt dessen Briefen zuführte.
Die Bibliothek war über Jahrhunderte das kulturelle Zentrum der Stadtrepublik. Hierher führte man die fremden Besucher, um ihnen mit Stolz die Kostbarkeiten zu zeigen, hier traf sich auch die kulturelle Elite zu Vorträgen über historische und literarische Themen.