Apparteneva alla potente famiglia dei Bardi e poi passó ai Soderini, ai primi del 400, che lo ristrutturarono e vi ospitarono alcuni dei piú illustri personaggi fiorentini. Passato di proprietá in proprietá e conosciuto un periodo di abbandono, fu restaurato nel XIX secolo secondo i canoni classicheggianti tipici dell'800.
La definitiva ristrutturazione ha riportato alla luce l'antico splendore: si possono ammirare i bellissimi contrasti fra i vari materiali di costruzione: legno, cotto, pietra serena e intonaco e i grandi soffitti a cassettoni che sono stati mirabilmente riportati alla luce. Il castello si presenta come un quadrilatero con 4 torri cilindriche ai 4 angoli e con una torre quadrata che sovrasta l'edificio. Oggi è sede della fattoria di Gabbiano dove si fanno ottime degustazioni e si puó acquistare del vino di qualitá eccellente.