Della parte più antica dell’abitato di Graffignano rimane il castello con una torre circolare, i locali adibiti in passato a prigione e i resti del convento francescano. A pochi chilometri dal centro di Graffignano si trova il Santuario della Madonna del Castellonchio, così chiamato in memoria di un castello situato in precedenza in quel luogo. In suo onore si svolge ogni anno, i primi di maggio, la Festa della Madonna del Castellonchio con il pellegrinaggio al Santuario. Graffignano comprende anche la frazione di Sipicciano.