Історія Харківської державної наукової бібліотеки ім. В. Короленка починається з 1830 р., коли було засновано Харківську губернську громадську бібліотеку. Її відкрили завдяки пожертвуванням та підтримці меценатів. У 1834 р. у фондах було 846 томів.
У 1886 р. було створено Харківську громадську бібліотеку, яка спочатку розташовувалася у флігелі у дворі Міської думи на Миколаївській площі.
У 1899-1901 р. для бібліотеки було збудовано нову будівлю в стилі неоренесанс (сучасна адреса – пров. Короленка, 18) за проєктом арх. А. Бекетова. Він був одним із членів правління бібліотеки та за свою роботу отримав звання академіка архітектури. Також участь у проєкті брали архітектори В. Величко, В. Кричевський, О. Якобс. Хоча сама будівля – двоповерхова (з цокольним поверхом), у старому книгосховищі 9 ярусів. Для пожежної безпеки книгосховище було виконане з металевих ферм за проєктом А. Комарова за аналогією зі Страсбурзькою бібліотекою.
У 1902 р. у бібліотеці з’явився музичний відділ, у 1903 – відділ бібліотекознавства (ініціатива створення обох належить Л. Хавкіної). Також у 1903 р. було відкрито відділ єврейської літератури Yudaica.
У 1905 р. бібліотека взяла участь у Всесвітній виставці у Льєжі та отримала почесний диплом. Л. Хавкіна була нагороджена золотою медаллю за книгу «Бібліотеки, їхня організація та техніка».
1906 року з ініціативи Д. Багалія в бібліотеці з’являється український відділ, який збирав твори українських письменників, томи з українського краєзнавства, історії, культури, займався науковою роботою. У складі Української комісії бібліотеки були М. Міхновський, Д. Багалій, Х. Алчевська, Г. Хоткевич та ін. З 1910 р. відділ був названий на честь ім. Т. Шевченка.
У 1922 р. бібліотека була названа на честь письменника В. Короленка, у 1930 р. їй було надано статус наукової.
Під час німецької окупації у 1941-43 pp. бібліотека була розграбована та втратила 600 тис. томів.
У 1986 р. будівля бібліотеки була відреставрована під керівництвом арх. І. Малакової.
Зараз у бібліотеці – 12 читальних залів на 524 місця. Фонди налічують 7 206 942 томи.
12 березня 2022 р. будівля бібліотеки постраждала від російського ракетного удару.