Son fils Victorin hérita ensuite du château, le modernisa avec sa femme Marie Marguerite Henriette de Duras qu’il a épousé le 29 janvier 1803. Le couple vivaient alors en hiver dans l’ancien Hôtel d’Arfeuille (actuellement la Mairie de Felletin) et Henriette de Duras, érudite et passionnée de sciences, finança de nombreuses sociétés savantes et réunit dans son salon tous les notables de la région. Elle finança aussi le collège de Felletin et avait à cœur de défendre les droits des femmes comme le montre ce passage d’un courrier virulent envoyé le mercredi 4 mai 1808 à un journaliste de la Gazette de France lui reprochant son sectarisme vis-à-vis des femmes journalistes et écrivains.

« Peu satisfait de tant d’avantages, vous osez encore, Messieurs, vous attribuer le droit exclusif de nous ennuyer en vers et en proses ! Assez longtemps, vous avez joui de ce privilège et vous en avez usé sans modération. Trouvez bon que nous prenions un peu notre revanche. Puisque vous êtes si surs de votre supériorité, pourquoi redouter la concurrence ? Laissez nous essayer une lutte ou vous êtes persuadés de vaincre. Je ne le nie pas, il est plusieurs sciences et plusieurs genres d’ouvrages dans lesquels les femmes ne vous ont point encore égalés : mais je suis très convaincue que c’est la faute de leur éducation, et non celle de leur génie ; et peut être vous le prouveront-elles par la suite… »