Губернаторский дворец в Харькове был построен в 1770-1777 г., по проекту неизвестного архитектора (проект прислали из Петербурга), он был доработан архитектором П. Ярославским. Строился он как путевой дворец для путешествия Екатерины II, она бывала в этом дворце один раз — в 1787 г. во время поездки в Крым. Позже в здании дворца разместилась резиденция губернатора.

С 1805 г. здание было передано Харьковскому университету, а после переезда последнего на текущее место — Инжинерно-Педагогической академии. Это один из редких сохранившихся образцов стиля ампира с элементами елизаветинского барокко в Харькове.

В 1805 г. для расширения университета с двух сторон дворца были построены дополнительные корпуса арх. Е. Васильев). Физический корпус сгорел в августе 2018 г.