Construit vers 980 par l'Évêque de Metz, Thierry 1er de Hamelant, il n'était à l'époque, qu'une simple tour en bois. Il se nommait d'ailleurs "La Tour du Voué" et servait à surveiller la Moselle, ainsi que les vallons d'Ambrail et de St Michel.
Au XIIIè siècle, un nouveau château est construit sur l'épine rocheuse qui surplombe la Moselle, sous les ordres de l'Évêque Jacques de Lorraine.
Au début des années 1800, Christophe Doublat rachète les ruines du château et le parc qui l'entoure. De 1804 à 1827, il transforme progressivement le parc : jardin paysager à l'anglaise, une serre et une tour chinoise.
Cette dernière, construite en 1809, permet à l'aide de ces 80 marches, d'accéder aux jardins entourant le pavillon nouvellement construit.
Le site est ensuite légué à la Ville d'Épinal en 1857, qui ouvrit le parc au public.
Les anecdotes
Saviez-vous que :
Des écrits de l'époque appellent le château "Castrum Superius" ou "Haut Château", qui se retrouve au XIIIè siècle exposé dans les nouvelles fortifications de la ville.
La représentation du château tel qu'il était autrefois fut notamment possible grâce à un tableau de Nicolas Bellot réalisé en 1626.
Suite à diverses attaques portées sur le château, qui le laissait en ruines, le lieu se couvrit de ronces et d'épines. De cette particularité, lui est venu plus tard le nom de "Spinalium", "d'Espinal", "d'Epineaux" et enfin "d'Épinal", tel que nous le connaissons aujourd'hui.