Il primo nucleo del castello è costruito all’inizio del Duecento, quando, sulle rovine una precedente costruzione, il rudere un castelletto eretto intorno all’anno 1000, viene edificato un palazzo-torre, circa 35 metri altezza, da parte dei Guastapane-Pandolfo, probabilmente un ramo della famiglia romana dei Porcari.
La torre, tuttora esistente, diviene poi il maschio del castello più ampio edificato attorno ad essa da papa Niccolò III Orsini tra il 1277 e il 1278; il pontefice, che amava molto la città, volle fortemente questa costruzione, nella quale si spegnerà due anni più tardi.
Il cassero, dalla forma un massiccio parallelepipedo, è addossato alla torre più antica e a questa collegato, a nord, tramite un muraglione delimitato da una torre cilindrica e a sud con un braccio minore. L’intero complesso è interamente circondato da un cammino ronda che si snoda in senso antiorario in salita e termina con un torrione, originario accesso al castello ed è delimitato da una cinta muraria e sormontato da merli guelfi.
la signoria degli Orsini si protrasse fino agli inizi del XV secolo quando papa Martino V diede il castello ai suoi familiari, i Colonna, e nel 1435 papa Eugenio IV affidò il feudo a Giovanni Vitelleschi. Con papa Nicolo V sia il castello che il feudo furono posti sotto il diretto controllo della chiesa e papa Innocenzo VIII diede in vicariato perpetuo la rocca a Rodrigo Borgia, detto il Valentino. Nel 1492 gli Orsini tornarono proprietari del vecchio maniero per poi cederlo ai della Rovere, ai Carafa, agli Altemps ed infine, dal 1715, agli Albani che lo tennero fino alla metà del XIX secolo. Alla morte del cardinale Giuseppe Clemente Albani la fortezza passò a Filippo Albani alla cui morte, nel 1852, il castello fu ceduto ai Chigi e da questi allo Stato della Chiesa. Nel corso del Novecento la struttura fu adibita a carcere, ruolo che ha mantenuto fino a pochi decenni fa e che ne ha compromesso e snaturato la funzione originaria.
Costruito su più antiche preesistenze, è costituito da una torre rettangolare e da alcuni corpi fabbrica minori ed è circondato da un antemurale con merlature guelfe. Vi si accede tramite rampe che conducono all’ingresso vero e proprio, sorvegliato da una torre merlata più bassa. Attraversato un camminamento coperto si giunge al cortile circondato da arcate a tutto sesto, aggiunte probabilmente nel corso del Quattrocento, che nascondono al loro interno una sala con pregevoli volte a crociera ed un pilastro fattura gotica. Per mezzo una scala seicentesca si giunge alla parte superiore, trasformata in piano nobile durante la signoria degli Albani, cui si conservano pochi elementi decorativi, tra i quali residui decorazioni ad affresco, probabilmente appartenuti alla cappella. All’interno del castello è conservato un prezioso altare in peperino, precedentemente collocato nella chiesa della SS. Trinità del Cimino».
Nel 1848, quando Soriano viene ceduta allo Stato pontificio, il castello è abbandonato dalla nobiltà e adattato a struttura carceraria: è prima carcere della Santa Sede e poi, dal 1871, dello Stato italiano.
È adibito a carcere, come casa lavoro, fino alla fine degli anni ottanta: nel 1989 viene definitivamente chiuso.
Dopo la chiusura del carcere il complesso ha subito diverse vicissitudini. Oggi è aperto al pubblico ogni sabato e domenica ed è sede esposizioni permanenti e temporanee.