Alla metà dell’XI secolo risale la prima attestazione del castello, sorto verosimilmente sulle antiche strutture curtensi. La costruzione del castello, in un luogo strategicamente importante per il controllo della costa e del porto di Vada, è da attribuire ai titolari della Marca di Tuscia, Beatrice e Goffredo di Lorena (1053-1069), ma, di fatto, il controllo politico e militare sugli abitanti è frammentato tra innumerevoli famiglie e signori locali, tra cui un ruolo sempre crescente assume l’Arcivescovado Pisano. All’interno di questa signoria ecclesiastica, ebbe comunque modo di svilupparsi una precoce realtà comunale: già nel 1142 abbiamo l’attestazione di consoli a Rosignano.

Almeno a partire dal XII secolo, Rosignano entra nell’orbita giurisdizionale di Pisa e, nel secolo successivo, diventa capitanìa (circoscrizione amministrativa rurale). Il centro, inizialmente stabilito a Vada, venne ben presto trasferito a Rosignano, con la perdita di importanza dell'antico centro costiero. Qui risiedeva il capitano, funzionario cittadino con competenze militari e giuridiche. Insieme a lui, al castello, vivevano scrivani, notai, famigli, soldati e cafagiari (guardiani dei confini).

La capitanìa di Rosignano e Vada si estendeva, verso Nord, fino al torrente Fortulla e confinava con quella di Portus Pisanus; a Sud, invece, il limite era segnato dal fiume Cecina, oltre il quale si estendevano le capitanìe della Maremma, con i loro castelli eretti in un territorio fortemente degradato, inospitale e pervaso da forti sopravvivenze di potere feudale. Rosignano era l’ultimo caposaldo di un qualche interesse politico ed economico, prima delle desolate lande maremmane. Sulle strutture del castello e del sottostante borgo, le notizie sono assai scarse: sappiamo solo dell’esistenza di una piazza, chiamata Rivolta, della quale, però, non è possibile stabilire l’ubicazione.

Fuori dell’insediamento, nei pressi dell’attuale cimitero, sorse almeno dall’XI secolo, la pieve di S. Giovanni Battista.

L’assetto attuale risale all’epoca lorenese quando il Castello si era ormai trasformato in centro di potere e residenza dei più ricchi ed importanti latifondisti della zona, di cui ancora oggi portano il nome i palazzi che vi sorgono: la Fattoria Arcivescovile, Palazzo Vestrini, Palazzo Marini e Palazzo Bombardieri (sede del Museo Archeologico). Settecentesco è anche l’arco di accesso, accanto al quale si distingue una porta più antica, situata ad un livello più basso dell’attuale e la chiesa, probabilmente edificata su un’edificio preesistente (tracce del quale sono ancora visibili sul fianco occidentale). Non si conserva più alcun tratto delle mura urbane, ma il loro andamento è desumibile dalla forma dell’abitato e dalle torri superstiti: una quadrata, probabilmente risalente all’impianto originario medievale, sul lato meridionale e due torrioni circolari, cinquecenteschi, rispettivamente all’angolo sud-est del circuito e sul fronte occidentale.