Il Palazzo fu edificato nel corso del Settecento (a partire da un primitivo nucleo edilizio del XV secolo) in riva al Brenta dalla famiglia Ferrari, industriali tessili. L’edificio è costituito da un insieme di costruzioni successive ed era adibito a sede di industria tessile e concia di pellami di proprietà della famiglia stessa. L’edificio presenta al suo interno notevoli affreschi di Giorgio Anselmi raffiguranti temi mitologici la caduta dei Giganti, la Fecondità, Venere dà le armi a Enea, l’Aurora che scaccia le tenebre, tele con soggetti biblic(Abramo e gli angeli, il ritrovamento di Mosè, Rebecca al pozzo, la benedizione di Giacobbe), ricchi stucchi con decorazioni zoomorfe, fiori, frutti, vasi, ritratti femminili e finti marmi.

Nel 1812 il Palazzo passò in proprietà ai Vanzo Mercante e nel 1911 al barone Giovan Battista Sturm von Hirschfeld. Quest’ultimo nel 1943 lo lasciò al Comune di Bassano del Grappa per adibirlo a sede museale.