À l’origine le château est une ancienne forteresse médiévale construite sur une butte rocheuse de grès rouge, typique de ce territoire. Celui-ci adopte un plan circulaire protégé par de nombreuses tours dominant des douves sèches. Du château médiéval est encore conservé quatre tours, les chemins de ronde et deux donjons. Sur le grand donjon est toujours visible la porte du pont-levis qui correspondait initialement à l’entrée unique de la forteresse. Celui-ci particulièrement étroit ne laissait passer que des personnes à pied si ce n’est un cavalier. À ce premier donjon a été accolé au XVème siècle un second donjon surnommé le donjon des anglais. Une partie des chemins de ronde a été malheureusement abaissée au XIXème siècle afin de permettre un accès plus facile à la cour du château.
Au XVIIème siècle le comte de Maure frère cadet du Duc de Mortemart décide d’embellir la vieille forteresse et de la mettre au goût du jour. De ce fait, il va entreprendre un vaste programme de reconstruction mêlant la vieille forteresse, symbole permanent de l’ancienneté de leur famille au nouveau château demeure de villégiature. Dans son programme de restauration, le comte de Maure conserve toute la façade d’arrivée de la forteresse avec le donjon cantonné de ses tours et courtines. L’arrivée se veut spectaculaire et austère par l’unique pont-levis depuis lequel le visiteur accède dans une grande salle du donjon ouvrant sur la cour et le château neuf par une porte XVIIème à fronton cintré surmonté du blason non achevé des Mortemart.
L’architecture régulière et austère du logis moderne évoque le début du règne de Louis XIV. Située au milieu du logis et en face de la porte du donjon, la porte principale est décorée d’un fronton brisé surmonté des armes des Rochechouart et d’une niche. Le corps de Logis principal sera alors doublé par une vaste galerie voûtée supportant une étonnante terrasse dominant toute la Brenne et ses étangs. Deux ailes de même élévation devaient encadrer le logis principal mais le projet avorte avec la mort prématurée du comte de Maure. Des traces d’arrachement sont encore visibles entre la jonction de la tour de l’escalier du XVème siècle et le logis du XVIIème siècle.