Oddone Colonna, nominato papa nel 1417 come Martino V, fu il pontefice che mise fine alla cattività avignonese, riportando la sede pontificia a Roma, città che trovò in condizioni disastrose: "lurida ed abbandonata" come scrisse il Platina. Risistemò, oltre alla città, il palazzo Colonna che fu sua dimora fino alla sua morte nel 1431. Nel 1527, durante il Sacco di Roma, ospitò Isabella d'Este, marchesana di Mantova e, grazie all'illustre presenza (era madre di Ferrante I Gonzaga uno dei comandanti dell'esercito dei lanzichenecchi), il palazzo fu l'unico in tutta la città ad essere risparmiato al saccheggio anche se le più di duemila persone che vi avevano trovato rifugio furono comunque catturate e sottoposte al pagamento di un riscatto per riottenere la libertà.

Per volontà del cardinale Girolamo Colonna, figlio del contestabile Filippo e di Lucrezia Tomacelli, attorno al 1650 iniziò un ambizioso progetto di ristrutturazione e accorpamento dei vari corpi di fabbrica in un unico grande complesso architettonico. I lavori vennero diretti inizialmente da Antonio Del Grande e, alla morte di questi (1671), da Girolamo Fontana. Il progetto continuò anche sotto il Gran Connestabile Lorenzo Onofrio, nipote del cardinale e Filippo II, fino al 1730, quando vennero ultimati da Nicola Michetti, al quale si deve anche il prospetto sulla piazza SS. Apostoli e quello su via della Pilotta. Su questo lato, il palazzo è collegato al giardino della villa Colonna tramite 4 eleganti archi cavalcavia. La facciata del palazzo vero e proprio, al di là della cortina sulla piazza, è opera dell'architetto senese Paolo Posi.

Girolamo Colonna fece inoltre costruire l'ala più famosa del palazzo, la Galleria Colonna, iniziata sempre da Antonio Del Grande nel 1654, ripresa da Girolamo Fontana nel 1693 e inaugurata dal cardinale nel 1703. Fu destinata ad ospitare la ricca collezione di opere d’arte di famiglia, cominciata dal padre Filippo e che, specialmente nei dipinti, è ancora oggi una delle più importanti mostre private nella città. Nel periodo giacobino i Colonna furono costretti a vendere alcune delle opere tra le più importanti (Raffaello, Tiziano, Veronese, Correggio, Reni, Guercino), solo in parte sostituite da acquisizioni successive.Il palazzo conserva tutta la suggestione di una dimora patrizia romana dell'età barocca; oltre alla splendida volta della galleria, affrescata da Giovanni Coli e Filippo Gherardi, diversi ambienti sono decorati da Giuseppe Bartolomeo Chiari, Benedetto Luti, Pompeo Batoni. Nel 1700, su commissione del Cardinale Girolamo II Colonna, fu edificata la Galleria del Cardinale: un nuovo Salone che andava ad aggiungersi all'imponente struttura di Palazzo Colonna e nei cui saloni si svolgerà il ricevimento nuziale.