En août 1759, Étienne de Silhouette présente au roi un long rapport dans lequel il dénonce l’action de ses prédécesseurs, ayant largement privilégié le recours à l’emprunt au détriment d’une augmentation des recettes et d’une diminution des dépenses. Inspiré par la fiscalité anglaise, il fait adopter un “édit de subvention générale”, un ensemble de mesures fiscales prévoyant la suspension de certains privilèges et la création de nouveaux impôts. Taxant principalement la richesse et épargnant le peuple, ces dispositions provoquèrent le mécontentement d’une large partie de la cour et de l’opinion publique. Le Parlement lui-même s'opposa à l’enregistrement de l’édit royal, obligeant le roi à tenir un lit de justice pour vaincre la résistance parlementaire.
Dans l’impossibilité de faire face aux dépenses de guerre par défaut de trésorerie, le contrôleur général des Finances fut contraint de suspendre certains paiements et d’ordonner la fonte de la vaisselle d’or et d’argent de tous les français. Accusé de malversations, Étienne de Silhouette inspire d’innombrables pamphlets et devient l’objet d’une violente campagne de calomnies. Le 21 novembre 1759, neuf mois seulement après le début de son administration, Étienne de Silhouette se voit forcé de remettre sa démission.
Dénigré, son nom est tourné en dérision par ses contemporains. C’est ainsi qu’à Paris on fabrique des tabatières “à la Silhouette” c’est-à-dire sans ornements, qu’on confectionne des habits “à la silhouette”, sans poches ni goussets car n’ayant plus d’argent à y mettre. Associé à l’économie et à l’austérité, le nom de l’ancien contrôleur général des Finances désigne peu à peu un objet ou une action sans valeur pour prendre finalement le sens qu’on lui connaît aujourd’hui. A cette époque, dans les salons mondains, sont aussi en vogue les portraits consistant à dessiner les contours d’un profil en ombre portée sur papier blanc. Ces portraits furent également appelés portraits “à la Silhouette”, l’état de richesse des français étant, lui aussi, à l’état d’ombre.
C’est dans ce contexte de disgrâce qu’Étienne de Silhouette acheta le château et la seigneurie de Bry-sur-Marne, le 17 mai 1760, cherchant à échapper aux intrigues et calomnies de la cour. L’ancien contrôleur général des Finances fut très impliqué dans la gestion de sa seigneurie, agrandissant son domaine par des acquisitions et des échanges. C’est lui qui acheta toutes les terres de la côte Verrou, sur les coteaux dominant la Marne. C’est également lui, qui en 1761, fit l’acquisition du fief voisin de la Barre, à Noisy-le-Grand, faisant ainsi de son domaine l’un des plus beaux domaines seigneuriaux de l’Est parisien. Étienne de Silhouette entreprit également la reconstruction complète de son château, reconstruction dont il ne pu malheureusement voir l’achèvement.
Dans son guide de bonne conduite chrétienne, Nicolas Nicque, curé de la paroisse avec lequel Étienne de Silhouette entretenait des relations privilégiées, dépeint le seigneur de Bry comme un homme particulièrement pieux et bienveillant à l’égard de ses habitants. L’auteur y évoque même le projet de ce dernier d’installer un chirurgien à Bry pour soigner les malades indigents ou encore son rôle déterminant dans l’aménagement d’un vaste grenier à blé dans les communs du château en prévision des années de disette.
Le 17 juin 1765, Anne-Jeanne-Antoinette Astruc décède, emportée par une violente fièvre à l’âge de 42 ans. Après la mort de son épouse, Étienne de Silhouette prend ses dispositions pour assurer la transmission de son patrimoine après sa mort. Le 11 juillet 1765, il institue ainsi son cousin germain Clément de Laage comme légataire universel. Le 20 janvier 1767, l’ancien contrôleur des Finances décède dans son château. Inhumé auprès de sa femme, dans l’église de Bry-sur-Marne, Étienne de Silhouette laisse derrière lui des dons pour les pauvres de la paroisse ainsi que pour l’achèvement de la construction d’une école.
Alors qu’il s’était assuré que deux cents messes seraient célébrées pour le repos de son âme, quelques décennies plus tard, en 1793, la sépulture de l’ancien contrôleur général des Finances fut profanée par des patriotes briards qui voulaient en extraire le cercueil de plomb. La pierre tombale qui la recouvrait fut rachetée par le grand-père d’Adrien Mentienne et replacée dans l’église où elle se trouve encore aujourd’hui vers la fin du XIXème siècle. Cette pierre tombale fut classée au titre des Monuments historiques le 27 décembre 1913.