Il palazzo, fatto erigere dai conti Zanardi, è immerso in un secolare parco di faggi e platani. Le varie stanze che lo compongono sono ornate da decori rappresentanti personaggi, animali e piante.

La villa detta Canaro dal "luogo da canne palustri adiacente alla fossa Madama", viene costruita nel 1468 probabilmente da Luca Fancelli per i marchesi di Gonzaga come palazzo di rappresentanza.

È stata abitata fino ai primi anni 2000 dalla famiglia omonima proveniente da Padova. Stefano, pittore, si era trasferito a Mantova, lavorando con Giulio Romano al Palazzo Te.

Esistente ad un solo piano nel 1582, viene ristrutturata e sopraelevata dopo la metà XVII dando vita ad ambienti singolari.