Сад был заложен в 1804—1805 годах Василием Назаровичем Каразиным — основателем Харьковского университета. Разбивка сада проводилась в существовавшей естественной дубовой роще на окраине города. На верхней террасе расположен ландшафтный парк, на нижней — ботанический. С момента своего основания сад назывался Университетским. В 1808 году в саду была построена астрономическая обсерватория. В 1896 году на западной оконечности парка был открыт старейший на Украине, третий по возрасту в Российской империи Харьковский зоопарк.

В 30-е годы XX века была проведена реконструкция парка. Её проводил архитектор В. П. Ширшов, профессор А. И. Колесников и дендролог К. Д. Кобезский. Были построены новые аллеи, высажены деревья и кустарники, появился фонтан. После открытия памятника Тарасу Григорьевичу Шевченко в 1935 году сад был переименован в честь поэта.