Губернаторский дворец в Харькове был построен в 1770-1777 г., по проекту неизвестного архитектора, который был прислан из Петербурга.
Проект был доработан в Харькове архитектором П. Ярославским. Это один из редких сохранившихся образцов стиля ампир с элементами елизаветинского барокко в Харькове.
Дворец использовался императрицей Екатериной II в 1787 г. во время ее поездки в Крым.
С 1805 г. здание было передано Харьковскому университету, сразу же после этого для расширения университета с двух сторон дворца были построены дополнительные корпуса (проект арх. Е. Васильева).
После переезда Харьковского университета в бывший Дом проектов в 1960х гг., комплекс старых зданий университета передали Украинскому заочному политехническому институту (УЗПИ), которое перестроило и увеличило в объеме правый (физический) корпус. С 1994 г. учебное заведение стало называться Украинской инженерно-педагогической академией (УИПА). В 2018 г. этот корпус сгорел вследствие ремонтных работ в чердачных помещениях (по официальной версии).
Остальные корпуса университета также пострадали от близких российских ракетных ударов в 2022 г. и лишились части остекления.
В 2024 г. УИПА присоединили к ХНУ им. В. Каразина — корпуса вновь вернулись «под крыло» Харьковского университета, которому они служили более 150 лет.