Строительство его было начато в 1777 г. по указанию генерал-фельдмаршала Петра Александровича Румянцева. К его созданию привлекались видные архитекторы своего времени: Я.Н. Алексеев, К.И. Бланк, Ю.М. Фельтен, М.К. Мосцепанов. Удачно было выбрано место для строительства - крутой берег р. Сож, открывавший красивые виды на заречные горизонты.
После смерти П.А. Румянцева гомельский дворец унаследовал его сын Николай Петрович Румянцев. При нём были пристроены два двухэтажных флигеля. Уже тогда дворец начинал приобретать черты присущие музею.
Дворец, его богатые собрания, редкие коллекции впоследствии и стали основой для создания Художественно-исторического музея, который был официально открыт 7 ноября 1919 года.
Большой урон нанесли дворцу-музею и целостности его коллекций годы Великой Отечественной войны, в период которой музейные ценности были эвакуированы, а в июне 1946 г. фонды были возвращены в Гомель, но их оказалось всего 200, хотя было около 8 тысяч.