Il Marchese del Monferrato aveva fatto costruire, addossata ad una porta romana, una casaforte, con la Porta Fibellona che si apriva verso sud. Nel 1381 il Conte Verde vi arbitrò la pace tra la Repubblica di Genova e quella di Venezia.

Ludovico, ultimo dei Savoia Acaja la trasformò nei primi anni del XV secolo in un vero castello in cui lavorò il pittore Jacopo Jaquerio, e vi ospitò nel 1418 il papa Martino V. Certo il castello non doveva essere troppo confortevole se si dovettero affittare per l’occasione mobili e biancheria. Gli stessi Duchi sabaudi quando venivano a Torino da Chambéry preferivano alloggiare altrove.

Un grande impulso alla trasformazione della vecchia fortezza in sontuosa residenza lo diedero le donne che vi abitarono. Jolanda di Savoja, vedova di Amedeo IX il Beato dapprima, poi, alla fine del XV secolo, Bianca del Monferrato, che vi ricevette Carlo VIII diretto a Napoli e, nel XVII e XVIII secolo, soprattutto le due Madame Reali Cristina d’Orléans Valois e Giovanna Battista di Savoia Nemours, da cui deriva il nome Palazzo Madama.

Quando il re Carlo Alberto nel 1848 concesse lo Statuto, l’antico castello divenne la sede del Senato e dal 1832 al 1865 vi fu ospitata anche la Regia Pinacoteca che divenne poi l’attuale Galleria Sabauda.
Oggi Palazzo Madama è un po’ una summa della storia della città: testimonianze delle varie epoche si sovrappongono da quella romana a oggi: vi si trova uno splendido Museo Civico di Arte Antica, ricco di collezioni preziose.