Poco distante dalla Porta Piccola, sostituita dal sotto portico di casa Bisleti, dopo la distruzione arrecata dal terremoto del 1350, sorge la chiesa dell'Olivello. La storia narra che nel 1200 alcuni devoti avevano dipinto l’immagine della Madonna su di un masso, e che poi questo dipinto sia stato sepolto dalle macerie del terremoto. Dopo circa 400 anni, nel corso di alcuni lavori, questa immagine tornò alla luce. Fu ritrovata accanto ad un ulivo che era nato proprio accanto alla roccia, e questo fatto diede il nome al'effige: "Madonna dell'Olivello". Nello stesso posto fu eretta la chiesetta, a pianta ottagonale, sul dirupo che guarda verso l'attuale Frosinone. Per permettere il radunarsi dei fedeli, furono eretti dei muri e creata la piccola piazzetta. Fu il Cardinale Bisleti a completare i lavori e ad ampliare il fabbricato, portandolo alle attuali dimensioni.