中国音乐学院图书馆的前身为1956年建立的北京艺术师范学院图书馆，后经北京艺术学院图书馆的变迁，于1964年4月正式成立，馆址位于北京西城李广桥（现前海西街17号）恭王府旧址院内，馆藏各种艺术类图书近8万册。1980年，随着中国音乐学院的复建，图书馆重新开馆。

图书馆现有馆舍面积3351㎡，阅览座位292个，设有资源建设部、流通部、特藏部、学科服务部、技术部、校史与博物部六个部门，充分发挥职能作用，积极开展文献资源建设，坚持纸质文献、视听资料与电子文献共同发展的原则，本着突出音乐专业特点，兼顾其它文化门类的原则，全面系统地收藏文献资料，为学院的教学、科研提供优质服务。截至2023年底，图书馆实体藏书35万余册/件，中文纸刊 122种，中文数据库36个，外文库17个，电子图书乐谱期刊134万余册，另有自建数据库和其它特藏资源等。

中国音乐学院图书馆围绕为教学、科研服务的主题，不断提高文献资源共建共享的水平，以人为本，优质服务，努力向馆藏数字化、管理自动化、资源特色化、服务网络化方向发展，将图书馆建设成现代化的文献信息中心。