Palazzo affacciato sull'attuale piazza Rey a Vinovo ed eretto tra il 1480 ed il 1517 in sostituzione di un palazzotto più piccolo utilizzato come fortezza difensiva. L'attuale edificio, più moderno e razionale, venne invece progettato secondo alcuni dall'architetto Baccio Pontelli e secondo altri studiosi da Meo Del Caprino.
In entrambi i casi si trattò di architetti indicati dai Della Rovere nella persona del cardinale Domenico della Rovere, originario di Vinovo. Recentemente restaurato, il castello è decorato nelle sue stanze con pregevoli stucchi e dipinti a grottesca della scuola del Pinturicchio e presenta un chiostro con decorazioni in cotto. Con l'estinzione della famiglia Della Rovere, il castello passò nel 1692 alla corona sabauda e Carlo Emanuele II, assegnando il titolo di conte di Vinovo al figlio (illegittimo) che aveva avuto nel 1712 da Gabriella di Mesmes des Marolles, Francesco Agostino, gli diede in concessione anche il castello.
Il Castello in origine aveva un solo piano oltre a quello terreno; dopo la seconda metà del XVIII venne costruito il secondo piano. Dal 30 settembre 2006 è sede della biblioteca comunale di Vinovo.
