Als 1866 das Herzogtum Nassau von Preußen annektiert und damit das Regierungspräsidium aufgelöst wurde, setzte er sich in Elmshausen zur Ruhe.
Die denkmalgeschützte Anlage aus dem Jahr 1586 ist seit fast 150 Jahren in Familienbesitz. Der letzte nassauische Regierungspräsident erbt das Rittergut im Jahr 1856 von dem großherzoglich-hessischen Geheimen Rat Friedrich von Breidenbach. Nach seinem Tod übernehmen seine Neffen Gustav und Wilhelm Winter das Rittergut. Wilhelm Winter setzt sich als deutsch-konservativer Reichstagsabgeordneter unter anderem für den Bau der Eisenbahn Marburg-Laasphe ein und lässt die verfallene Kirche in Elmshausen grundlegend renovieren. Nach dessen Tod 1895 bewirtschaftet sein Bruder Gustav Winter den Betrieb allein. Im Jahr 1905 erbt dessen älteste Tochter Marie Winter das Rittergut und 1949 übernimmt ihre einzige Tochter Ingeborg Ohm-Winter gemeinsam mit ihrem Mann Wolf-Dietrich den Betrieb.
Sie übergeben ihn 1986 an ihren Sohn Joachim Ohm-Winter, der ihn seitdem gemeinsam mit seiner Frau Irene bewirtschaftet. Im Jahr 2026, 40 Jahre später, übernimmt seine Tochter Julia Ohm-Winter gemeinsam mit ihrem Mann, Robin Ohm-Winter, den Familienbetrieb.
