Adagiato sul colle che guarda il mare, il borgo medioevale , si presenta come un’antico castello, edificato intorno al 1100 e fortificato. Il Castello di Rosignano comprende oggi un insieme di edifici ed è posto alla sommità del colle dove è stato edificato il centro del paese. Il nucleo originario ha forse origini etrusche o romane; sicuramente fu un fortilizio medioevale. Il primo documento in cui viene nominato Rosignano risale al 762. Comprende la Chiesa di Sant'Ilario, le Torri Circolari medicee (1562) e palazzi appartenuti ai grandi latifondisti della zona: Bombardieri, Minghi, Vestrini, Marini. Sopra la porta è visibile lo stemma mediceo e cinque boccatelli che dovevano tenere una terrazza (1785). La cisterna dopo l'arco è forse trecentesca.