Le origini risalgono al 796 d.C. a seguito della distruzione di Privernum, ma il suo sviluppo sullo sperone del secondo monte di Gorga data dalla fine del medioevo, intorno al primitivo Castello. E’ del XIII sec. il toponimo “Roccam Dompneburge et Aspranam” legato al feudo dei Conti di Ceccano. Dal XIV sec. Roccagorga sarà feudo dei Cabanis, dei Caetani, dei Borgia, degli Aldobrandini, dei Ginnetti, degli Orsini, e dei Doria Pamphilj cui si riferiscono gli stemmi nel Castello e alcune sculture nella chiesa di S. Erasmo.
Dista 100 km. da Roma, 160 da Napoli, 30 da Latina, 30 da Frosinone, 35 da Terracina e 34 da Sabaudia.