Il nucleo più antico del Palazzo fu eretto in epoca medievale, acquistato da Antonio Grimani rimase proprietà della famiglia fino al 1865.
Negli anni, i Grimani, restaurarono e ampliarono la struttura, ispirandosi a modelli dell’architettura classica.
Nel palazzo erano sistemate raccolte d’arte e di archeologia del cardinale Domenico Grimani e di Giovanni, patriarca d’Aquileia, che donarono,
anche, parti consistenti delle loro collezioni alla Repubblica di Venezia.
