早在京师大学堂成立之初,原强学会和官书局的藏书归入京师大学堂,这是京师大学堂的第一批藏书,可惜这批图书多毁于庚子事变。
1902年10月,京师大学堂藏书楼成立。第一任馆长——京师大学堂提调梅光羲到任, 从各地官书局征调的第一批图书到京。藏书楼设于京师大学堂(今景山东街,原地安门内马神庙前和嘉公主旧第)中心大殿后方的一座楼房,相传为和嘉公主的梳妆楼。藏书楼成立之初,藏书约78000余册。同文馆并入京师大学堂,其藏书成为京师大学堂复校后的第一批藏书。
1904年,接受巴陵方氏碧琳琅馆藏书捐赠,这是北京大学图书馆接受的第一批重要个人捐赠,成为馆藏善本图书的基础。
1906年3月,图书馆经理官王诵熙主持制订了《大学堂续订图书馆章程》,并整理编订《大学堂汉文图书草目》。
1909年9月22日,京师大学堂咨请各省提学使购书寄京文称:“本堂开办分科,遵照奏定章程设立图书馆,广置中外各种图书,以备学生参考之用。查江苏、江宁、江西、浙江、广东、湖南、湖北诸行省,向有官书局,并省城内外各书局、书坊出售各种图书。兹特开章寄呈,敢祈照章饬购,觅便寄京,或由委员携解来京交本堂查收……惟须九月运解到京,以为开学之用。”
自1905年至1911年,藏书楼用于购置图书经费总计25000余两白银。
1912年5月3日,国民政府批准教育部呈请京师大学堂改称为北京大学校,藏书楼也因此正式更名为北京大学图书馆。
1914年1月,图书馆主任徐鸿宝主持对馆藏图书进行了全面清查整理,并编制了供读者查阅的中文书出借草目和西文书分类目录。
民国初年,得益于校友周慕西博士、日本阪谷男爵、英国教授亚当士、黄树因讲师等具有很高学术价值的赠书,馆藏得到很大补充。
1916年4月,图书馆制订借书规则8条,对借书手续、出借书籍范围、出借册数限额、借阅时间,以及损坏遗失图书的赔偿等均有规定;图书馆制订阅览室规则7条,对入室阅览人员及阅览时间、取阅图书手续、室内秩序、损坏图书赔偿、违规处理等均作规定。
1918年1月,经章士钊推荐,蔡元培校长任命李大钊为图书馆主任,并推动北京大学评议会通过了“图书馆主任改为教授”之决议;李大钊在其任内,使馆藏以年均1万册左右的速度增长,并通过一系列改革和整顿,将北大图书馆建成为居全国领先地位、具有重大影响的一流大学图书馆,被美国ALA“World Encyclopeadia of Library and Information Services”称为“中国现代图书馆之父”。4月,图书馆制定《修正图书馆借书规则》,完善借阅制度。当月亦延长了开馆时间,使北大图书馆成为当时开馆时间最长的图书馆之一。
1920年5月,李大钊主持制定的《北京大学总务处图书部试行条例》经校图书委员会通过实行。条例吸取了国外图书馆的管理方法,规定了职责分工和工作要求。是月,在李大钊主持下,对图书馆机构进行了调整,设立了登录课、购书课、编目课、典书课四个业务部门。
自1920年起,北京大学图书馆同时使用“北京大学图书部”的名称,直至1930年。
1923年6月,美国国会图书馆寄赠了该馆全套目录卡片近百万张给北大图书馆,之后每年寄赠新卡片约四、五万张,是当时东亚地区唯一的一份美国国会图书馆完整卡片目录。
1927年,军阀张作霖将北大在内的北京九所高等院校合并为“京师大学校”,北京大学遭受摧残,图书馆业务处于停顿状态。
1930年12月,蒋梦麟任北京大学校长,主持一系列改革,包括将图书馆改为由校长直接领导,正式取消“图书部”,采用“北京大学图书馆”统一名称;以全校经费的五分之一作为图书仪器购置费,使得馆藏增长较快,此次发展的黄金时期因1937年抗战全面爆发而被迫中断。
1937年8月,因抗战爆发,图书馆开始南迁,藏书全部沦陷北平。10月,由北大、清华、南开三校组建的长沙临时大学正式开学。三校图书馆与迁长沙的北平图书馆和中央研究院历史语言研究所合作,成立临时大学图书馆,北平图书馆馆长袁同礼兼任馆长。1938年4月,长沙临时大学迁至昆明,更名为国立西南联合大学,图书馆也更名为国立西南联合大学图书馆,袁同礼任图书馆馆长,严文郁任主任。
1945年抗战胜利后,袁同礼作为政府代表到北平接收北京大学图书馆,并暂代馆长之职。
1948年12月,为庆祝北京大学建校五十周年,在图书馆举办的展览有:校史及已故教授著作展览、馆藏古籍善本展览、《水经注》版本展览(善本及《水经注》展览图书编成《北京大学图书馆善本书录》)等。
1946年至1949年期间,藏书又一次较快增长,成为仅次于北平图书馆的全国第二大图书馆。