Maximilien de Béthune, premier duc de Sully le racheta le 23 février 1634 et y vécu ses dernières années.
Son petit-fils Maximilien, second duc de Sully, fit construire une aile supplémentaire à l'édifice en 1660.
Le nom vient bien sûr de cette famille qui l'a possédé jusqu'au XVIIIe siècle.
Il fut classé monument historique dès 1862 et devint propriété de l'État en 1944. Une campagne de restauration fut entreprise qui s'acheva par la remise en état de l'orangerie en 1973.









