Jacques Lapointe, qui achète le « Château Sabrevois » de Clément de Sabrevois de Bleury en 1779, doit cependant le remettre à Joseph Boucher de La Broquerie qui le revendique par son lignage. Le retrait lignager est un droit qui accorde aux parents de personnes qui ont vendu un héritage de reprendre le bien en le remboursant.
Le manoir Sabrevois est donc cédé à la famille Boucher de La Broquerie en 1780. Le 10 novembre 1780, Joseph Boucher de La Broquerie rend « foi et hommage » ainsi « qu’aveu et dénombrement » de son arrière-fief de Boucherville à son fils mineur Pierre-René Boucher de Maugras.
Pierre-René Boucher de Maugras demeure célibataire. Sans descendance, il est possible de penser que de Maugras lègue le manoir à son frère Joseph-Ignace Boucher de La Broquerie. Ce dernier se marie à Charlotte Boucher de Niverville de Montizambert en 1795.
Le couple a quatre enfants, dont Joseph-Antonin Boucher de La Broquerie et Louise-Henriette Boucher de La Broquerie.
Joseph-Antonin Boucher de La Broquerie est le propriétaire du manoir Sabrevois vers 1832. Le recensement de 1851 indique qu’à cette date il loge au manoir et que son occupation est notaire public. Il est un homme pieux et demeure célibataire toute sa vie.
Louise-Henriette Boucher de La Broquerie épouse Charles Taché en 1820. Ils quittent Boucherville pour le bas du fleuve. Le couple a cinq enfants, dont Alexandre-Antonin Taché.
À la suite du décès de son époux en 1826, Louise-Henriette Boucher de La Broquerie déménage à Boucherville avec quatre de ses enfants. La famille loge d’abord chez la mère de la veuve.
Suite au décès de cette dernière, Louise-Henriette Boucher de La Broquerie emménage chez son frère Joseph-Antonin Boucher de La Broquerie au manoir Sabrevois. C’est ainsi que Alexandre-Antonin Taché passe une partie de son enfance au manoir Sabrevois.
Le nom a pour origine la famille Denis dont l’ancêtre français Simon Denis (15[…]-1678) est sieur de La Trinité. Son fils, Jacques Denis, porte le nom de La Broquerie. Il décède sans héritier. C’est en l’honneur de son frère que Charlotte Denys et son époux, Pierre Boucher de Boucherville, fils aîné de Pierre Boucher, donnent le nom de La Broquerie à leur fils Joseph né en 1701. Les derniers héritiers de la famille sont Joseph-Antonin Boucher de La Broquerie et ses sœurs. Entre 1880 et 1882, Mgr Alexandre-Antonin Taché (1823-1894), fils de Louise-Henriette Boucher et de Charles Taché, obtient les droits de « La Broquerie ». Par la lignée maternelle, il est descendant de Pierre Boucher.
Né à Fraserville (Rivière-du-Loup) en 1823, Alexandre-Antonin Taché est le troisième d’une famille de cinq enfants. Son père Charles Taché décède à la suite d’une chute de cheval en janvier 1826. Louise-Henriette Boucher décide de retrouver sa famille à Boucherville. C’est ainsi qu’elle emménage chez son frère qui habite le manoir Sabrevois.
En 1833, Alexandre-Antonin Taché entre au Séminaire de Saint-Hyacinthe. Puis, en septembre 1841, il fait son entrée au Grand séminaire Saint-Sulpice de Montréal. En 1844, le jeune homme entre au noviciat des Oblats à Longueuil.
Les Oblats sont chargés des missions catholiques de la baie d’Hudson et de la baie James. Sous-diacre, Alexandre-Antonin Taché, alors âgé de 21 ans, accompagne le père Pierre Aubert à Saint-Boniface au Manitoba. Le départ a lieu le 25 juin 1845. Dans un canot de la Compagnie de la Baie d’Hudson, les 2 000 km du trajet sont franchis en deux mois.
Le 31 août, il est ordonné diacre et le 12 octobre, prêtre. Il est nommé évêque en 1850, mais prend possession de son siège épiscopal qu’en septembre 1854.
Entre 1880 et 1882, Mgr Taché obtient avec l’aide de son oncle la cession de l’ensemble des droits de La Broquerie.
En 1884, Mgr Taché donne à Narcisse Brien dit Desrochers, marguillier et comptable de la Fabrique de la paroisse de Boucherville, un espace de terre pour la mise en place d’un monument religieux. Le notaire Louis Normandin officialise la transaction le 28 juillet 1884.
Puis, c’est en 1887 que Mgr Taché fait don de la propriété et du manoir Sabrevois aux Jésuites. Les Jésuites nomment l’endroit la villa La Broquerie en l’honneur de la mère de Mgr Taché, Louise-Henriette Boucher de La Broquerie et de son oncle et protecteur Joseph-Antonin Boucher de La Broquerie.
Selon Louis Lalande, qui écrit en 1890 « Une vieille seigneurie, Boucherville. Chroniques, portraits et souvenirs », ce qui motive Mgr Taché à donner le manoir aux Jésuites est :
« […] le désir d’y voit offrir le saint sacrifice de la messe, avec l’espoir qu’en l’offrant on prierait pour les membres pour les membres de ma famille et pour moi. Cela vaut mieux, que de voir cette vieille maison tomber, pour quelques sommes d’argent, entre les mains de personnes qui la feraient peut-être bientôt disparaître. »
En reprenant les paroles de Jean de La Fontaine au sujet de l’horizon, Mgr Taché s’exprime sur sa vision de La Broquerie :
« Bâtie sur la côte, à vingt pas d’une grève, « D’où l’œil s’égare au loin sur les plaines voisines », la villa a dans son site du pittoresque et du grand. D’un côté les champs, les prairies remplies d’arôme, les hauteurs échelonnées à l’horizon. À ses pieds la rivière Sabrevois que bordent deux rideaux de buissons. En face, le fleuve, ses îles, les côtes du nord, où l’œil s’en va vaguant de scène en scène jusqu’aux Laurentides. Azur ou nuages dans un vaste ciel, azur ou nuages dans l’onde du Saint-Laurent : immense miroir d’un incommensurables tableau. Quand la « gentille alouette » pousse son cri matinal, que la brise « d’aventure fait rider la face de l’eau, » ou que le vent fait danser les vagues sur les rochers, il y a sur le rivage de la Broquerie concert dans la nature, concert aux mille accords sans mesure, qui vaut bien les imitations de l’art. »