Il nucleo più antico del Palazzo fu eretto in epoca medievale. Fu acquistato da Antonio Grimani e rimase proprietà della famiglia fino al 1865. Negli anni, i Grimani, restaurarono e ampliarono la struttura, ispirandosi a modelli dell’architettura classica. Nel palazzo erano sistemate raccolte d’arte e di archeologia del cardinale Domenico Grimani e di Giovanni, patriarca d’Aquileia, che donarono, anche, parti consistenti delle loro collezioni alla Repubblica di Venezia.
