La Tour Chinoise, construite à partir de 1804 s'inspire de l'architecture chinoise très en vogue à l'époque. La tour d'Epinal accolée à l'éperon rocheux du château avait une fonction bien précise : pendant trente ans, elle a servi d'escaliers à son riche propriétaire de l'époque Christophe Doublat, receveur général du département. Elle lui permettait d'accéder au jardin du parc du château depuis sa demeure située dans l'ancienne Trésorerie Générale du faubourg d'Ambrail.