Clădirea a fost construită pe locul cumpărat de regele Carol I şi a fost proiectată de arhitectul francez Paul Gottereau. Construcţia clădirii a fost finalizată în 1893 iar în următorii doi ani aşezământul, numit Fundaţia Universitară Carol I, a fost dotat şi amenajat. Inaugurarea a fost făcută de regele Carol I la 14 martie 1895. În 1911, sub conducerea aceluiaşi arhitect, edificiul este extins şi este dat în folosinţă la 9 mai 1914.
Prin Decretul nr. 136, la 12 iulie 1948, Biblioteca Fundaţiei Universitare devine Biblioteca Centrală a Universităţii „C.I. Parhon” din Bucureşti.
În timpul Revoluţiei din 1989, clădirea a fost incendiată şi s-a pierdut fondul bibliotecii alcătuit din cărţi rare. Au fost distruse peste 500.000 de volume, hărţi rare, aproape 3.700 de manuscrise care aparţineau unor personalităţi marcante ale culturii române, printre care Eminescu, Maiorescu, Caragiale, Coşbuc, Blaga, Eliade.Începând din aprilie 1990, sub egida UNESCO, a început reconstrucţia şi modernizarea bibliotecii.
Exteriorul clădirii a fost restaurat iar la 20 noiembrie 2001 s-a făcut redeschiderea oficială.
Pe locul în care astăzi este ridicat edificiul a fost amplasată casă lui Grigore Peucescu, redactor al ziarului Timpul. Aici, Mihai Eminescu a citit pentru prima oară poezia Scrisoarea a III-a.