Sembra che vi fossero due castelli di Montegrossi come lo dimostra l'esistenza di due chiese,
una dedicata a S. Margherita e l'altra a S. Tommaso. Non rimane alcuna traccia del castello
piú antico che probabilmente risale all'etá longobarda. Il secondo castello,
eretto dai Fiorentini per contrastare il dominio dei Firidolfi-Ricasoli, fu distrutto nel 1530
dalle truppe di Carlo V. Le rovine si trovano sulla sommitá di un colle da cui si gode un
panorama stupendo.