Харківський художній музей розташований у двох сусідніх будинках на вул. Жон Мироносиць.

Вулиця була одним із рекордсменів за кількістю перейменувань ще за царських часів: Цвинтарний провулок, вул. Садово-Куликівська, пров. Старокладбищенський, вул. Садова, пров. Касперівський, Сердюківська вулиця, Мироносицький провулок.

Називалася вона також пров. Свідомості, пров. Рівності та Братства, Раднаркомівська вулиця (з 1930-х до 2015).

Основна будівля музею по вул. Жон Мироносиць, 11 було збудовано у 1912-1914 рр. за проєктом арх. О. Бекетова для пивного магната Івана Ігнатіщева, який володів пивзаводом “Росія” по вул. Великій Панасівській, 76.

У декорі будівлі збереглися барельєфи з немовлятами-путті, які вирощують хміль та збирають урожай.

У роки Перших визвольних змагань у ​​будівлі перебували різні органи влади, якийсь час – представництво Центральної ради.

У 1922-1928 рр. у будівлі розташовувався Раднарком (уряд) УРСР.

Після переїзду уряда до Держпрому будинок передали проєктному інституту “Укр-Діпромез”, деякі кімнати займала Харківська консерваторія, у класах навчали обдарованих дітей.

З 1932 р. у будівлі розмістилася Картинна галерея ім. Т. Шевченка.

Під час німецької окупації галерею було перейменовано на Будинок ім. Т. Шевченка, він перебував під керівництвом Художнього інституту. 6 вересня 1942 р. тут відбулася виставка 220 репродукцій картин Шевченка.

25.03.1944 року на основі колекції Української державної картинної галереї (УДКГ), яка повернулася з евакуації, було створено Державний музей українського мистецтва.

Т.к. довоєнна будівля галереї на вул. Ярослава Мудрого, 18 згоріла разом з експонатами у серпні 1943 р., УДКГ віддали Будинок картинної галереї ім. Т. Шевченка. Будівля була пошкоджена – в неї був зруйнований дах, вибиті вікна та пробиті стіни, але його відновили в короткі терміни.

Музей було відкрито 23.06.1946 р. на другому поверсі будівлі. Перший поверх до початку 1950-х займав Художній інститут та училище, майстерня художнього фонду, обласне правління Спілки художників тощо.

Основу колекції музею складали вивезені в евакуацію картини та скульптури, але це була лише мізерна частина втраченої колекції (4700 експонатів із 75000).

Проте колекція продовжувала поповнюватись після Другої Світової війни. Музей стикається з дефіцитом приміщень для експозицій, тому час від часу робить тематичні виставки на основі колекцій своїх фондів, наприклад виставки гравюр Дюрера або творів Пікассо.

Сама ж колекція музею бере свій початок із 1805 р., від колекції Харківського університету та дарів його випускників, якими вона поповнювалась у XIX столітті (при Університеті був Музей красних мистецтв та старожитностей).

У 1886 р. у Харкові було організовано Міський художньо-промисловий музей. Внаслідок їх об’єднання у 1920-му р. виник Центральний художньо-історичний музей державного значення. У 1930-х фонди музею поповнилися частиною колекції П. Харитоненка з садиби “Наталівка”.

Спочатку садиба Ігнатищева мала форму у плані у вигляді літери “П”, але після передачі музею її “закільцювали” додатковою галереєю для зручності відвідування експозиції. На жаль, інтер’єри здебільшого було втрачено, зокрема, розписи художника Васильківського, який виконав в інтер’єрах зменшені копії своїх розписів із дому Полтавського земства.

Друга будівля музею знаходиться по сусідству з головним корпусом та використовується як виставкова зала для тимчасових виставок.

Будівлю на вул. Чернишевській 18/9 було збудовано також за проєктом арх. А. Бекетова в 1896 р. для недільної жіночої школи, організованої Христиною та Олексієм Алчевським.

Особливістю жіночої школи було викладання української літератури та народної пісенної творчості.

Внаслідок російських ракетних ударів 7 березня 2022 р. обидві будівлі постраждали.

Було пошкоджено фасад, вибито вікна та вітражі.