Музей засновано Постановою Ради Міністрів УРСР від 5 серпня 1981 року. Для відвідувачів музей відкрився 2 липня 1986 року. Музей розташовано у центрі Києва, на розі вулиць Б.Хмельницького та Терещенківської, за адресою вул. Б.Хмельницького, 11, у приміщенні пам’ятки архітектури кінця ХІХ ст. (арх. О.Я.Шілле). Тут з 1871 року діяв один з кращих приватних навчальних закладів – Колегія Павла Галагана, заснована громадським діячем і меценатом Григорієм Галаганом. Гордістю і окрасою Колегії була велика фундаментальна бібліотека, меморіальне приміщення якої чудово збереглось у первісному вигляді і відкрите для огляду. Тут у 1885 та 1886 роках працював видатний український письменник Іван Франко. У церкві Святого Павла, яка була при Колегії, у травні 1886 року Іван Франко вінчався з Ольгою Хоружинською.
Нині у бібліотеці розгорнуто постійнодіючу експозицію, матеріали якої розповідають про історію цього навчального закладу. Колегія Павла Галагана ввійшла в історію вітчизняної культури і освіти як „школа академіків”. З Колегією пов’язані імена відомих діячів науки, освіти, літератури, серед яких А.Кримський, П.Житецький, М.Мурашко, М.Пимоненко, М.Драй-Хмара, П.Филипович та багато інших митців та науковців.
В експозиції представлено понад 5000 цікавих і цінних експонатів, серед яких – унікальні стародруки, рукописи, першодруки та прижиттєві видання, меморіальні речі, фотографії, твори образотворчого та декоративного прикладного мистецтва. Колекція музею, що налічує понад 100 тисяч експонатів, є скарбницею національних цінностей. Серед реліквій – стародруки ХVІІ-ХVШ ст., прижиттєві видання творів класиків української літератури та сучасних письменників, часописи та альманахи ХІХ – поч. ХХ ст., твори відомих художників, документальні матеріали. У музеї постійно проводяться літературні зустрічі, фестивалі культури, вручення літературних премій, презентації книжкових і періодичних видань, вечори за участю письменників, вчених, художників, майстрів мистецтв.
Музей має філію – Київський літературно-меморіальний музей-квартиру Миколи Бажана.