Библиотека получила имя по фамилии дарителей — графов фон Валленродтов: «Род Валленродов, ведущий начало от славных предков, создает ныне эту библиотеку для потомков. Читатель, пользуйся прилежно книгами и поклонись памяти моих предков», — гласит надпись на экслибрисе Валленродтской библиотеки.

Книжное собрание размещалось в двух небольших залах, расположенных в западной части Собора. В библиотеку из центрального притвора вела построенная в XVI веке винтовая лестница с изящными колоннами и арками у основания, которая сегодня ведёт в музей. В середине XVII века помещение библиотеки было оформлено в стиле северо-немецкого барокко голландским художником Христофом Грегором Сангкнехтом и кёнигсбергским резчиком по дереву Исааком Ригой. Реконструкция выполнена мастерами мебельной фабрики «Максик» (руководитель М. Ибрагимов).

Начало библиотеке положила коллекция книг и рукописей канцлера (руководителя канцелярии герцога) Мартина фон Валленродта (1570–1632). Согласно завещанию библиотеку унаследовал его третий сын — Иоганн Эрнст (1615–1697). Как и его отец, он много путешествовал и приобретал редкие книги и рукописи. Другие члены семьи также заботились о пополнении коллекции. Иоганн Эрнст фон Валленродт почти 37 лет занимал пост ландгофмейстера, вторую по значимости должность в герцогстве, и после смерти, как и его отец, был похоронен в Кафедральном соборе.

5 октября 1650 года был подписан договор, согласно которому городской совет Кнайпхофа передал под библиотеку комнату над входом в Собор, а в 1688 году добавилась комната с крестовым сводом под звонницей южной башни. Публичной библиотека стала с 1673 года, но её содержание по-прежнему обеспечивали Валленродты, а должность библиотекаря мог занимать только профессор университета. Окончательно в ведение города библиотека перешла в 1721 году.

В период, когда по итогам Семилетней войны часть Пруссии входила в состав Российской империи (1758–1762), была составлена опись важнейших книжных собраний Кёнигсберга, в том числе Валленродтской библиотеки. Каталог датирован 28 февраля 1758 года и содержит 4855 пунктов: по теологии — 1467, по праву — 548, по философии — 1237, по истории — 1207, по медицине — 371, по полонистике — 25, рукописей — 107. Сейчас этот каталог хранится в Центральном государственном архиве древних актов в Москве.

К середине XIX века Валленродтское книжное собрание насчитывало уже около 10 тысяч томов. В 1909 году библиотека была включена в Единую университетскую и городскую библиотеку, и большую часть книг перевезли в здание на Миттельтрагхайме (ныне угол ул. Пролетарской и Сергеева). В башне Кафедрального собора оставались только наиболее ценные и редкие книги.

В настоящее время самыми крупными хранилищами книг и рукописей Валленродтской библиотеки являются Библиотека Академии наук в Санкт-Петербурге (около 5 тысяч томов), Академическая библиотека Вильнюса и библиотека Торуньского университета, также есть книги в Москве, Варшаве, Минске, Новосибирске и других городах. Часть коллекции (около 300 наименований) собрана в отделе редких книг Балтийского федерального университета имени Канта.