Oggi il Castello si presenta come un grande corpo rettangolare, con un mastio centrale, ai cui angoli sono addossate quattro torri semicilindriche. Il basamento è costituito da un'ampia scarpata e il coronamento, quasi totalmente ripristinato, consiste in una serie di mensole di marmo sorreggenti il camminamento di guardia.
Appartenente dapprima a i Templari dell'Ordine di Malta e poi al monastero di San Paolo fuori le mura (secolo XI), fin dalla metà del secolo XIV fu concesso in locazione agli Orsini e venduto poi di fatto a Giacomo Orsini conte di Tagliacozzo, insieme a Turrita, Marcellina e S. Maria in Monte Dominico, nel 1429 per 10.000 ducati; nel 1439 la vendita fu confermata con una bolla di Papa Eugenio IV. In questo periodo si ebbe la prima trasformazione dell'antica Rocca medioevale per renderla dimora signorile. Le nuove opere di fortificazione ne cancellarolo l'antica struttura e solo la vecchia torre fu mantenuta con la funzione di mastio. La costruzione quattrocentesca prevedeva quattro torri semicilindriche che racchiudevano un corpo rettangolare. I lavori furono condotti probabilmente dal 1420 al 1440 e la data del 1439, scolpita su un puteale della cisterna del Castello, al termine di un'iscrizione che tramanda anche il nome dell'autore (Mastro Guglielmo) avalla tale datazione.
Nel 1558 Paolo Giordano Orsini vendette San Polo e tutti i beni annessi per 27.000 scudi d'oro al cardinale Pier Donato Cesi, da questi poi passò al cardinale Federico Cesi che governò il feudo fino alla morte, avvenuta nel 1565. Fu con Federico che si ebbe la seconda fase di sistemazione del castello, comprendente anche la decorazione pittorica degli ambienti. La sua attività di mecenate si legò anche alla vicina chiesa di San Nicola di Bari, per la quale fece costruire il campanile dallo stesso architetto Guidetto Guidetti che, sempre su sua commissione, aveva edificato la chiesa romana di Santa Caterina dè Funari. Pare che in memoria del Cardinale Paolo Emilio, suo fratello, Federico fece decorare la sala del primo piano del palazzo, mentre quella del secondo piano testimonia i legami tra la casata Cesi e altre famiglie nobili tra le quali gli Orsini e i Medici. Il Castello fu anche dimora per lungo tempo di Federico Cesi il Linceo (1585-1631).
Nel 1678 San Polo insieme a tutti gli altri feudi della Sabina fu venduto dai Cesi alla famiglia Borghese. Questa ebbe scarsa cura del Castello e nel 1700 affittò tutti i possedimenti di San Polo a un certo Pietro Trusiani. A quest'epoca una parte del Castello fu addirittura adibita a granaio e cominciò quindi la sua enevitabile decadenza.
Rientrato in possesso dei Borghese all'inizio del XX secolo, nella persona della principessa Anna Maria, nel 1944 esso fu venduto all'asta giudiziaria del Tribunale di Roma e acquistato dall'avvocato Chiappini, il quale lo rivendette nel 1955 all'architetto Brasini. Al Brasini si deve l'intervento di restauro complessivo di tutto l'edificio e degli affreschi molto deperiti che ornano le stanze. Dopo altri passaggi, attualmente è di proprietà privata.