La construction est attribuée à Henri III Plantagenêt, duc d'Aquitaine et comte de Poitou. Le premier seigneur connu avec certitude apparaît dans un aveu rendu en 1368, il s'agit de Pont de Vivonne, chevalier. Au cours des XVIIe et XVIIIe siècles, le domaine devint la propriété des barons de la Chaume...
