Il castello sorge sulla sommità di uno sperone roccioso situato fra il Torrente Trossa ed il Torrente Adio. Oggi sopravvive solo il borgo, in quanto il castello, che si trovava sulla parte più alta della collina, è completamente diruto, tranne parte delle strutture fortificate della rocca. Anche nel borgo comunque rimangono numerosi resti di edifici di epoca medievale, fra cui quello che probabilmente era il palazzo del comune, in cui risiedeva il rettore inviato dal comune di Volterra, dopo che il castello di Libbiano si era sottomesso a Volterra, nei primi anni del Duecento. Buona parte del borgo è comunque stato ricostruito dopo un violento terremoto nei primi anni del novecento.