19e en 20e eeuw
Halverwege de negentiende eeuw worden de landgoederen samengevoegd. De eigenaresse van Arendsdorp, Elisabeth Henriette Emilie barones van Tuyll van Serooskerken, geboren Collot d’Escury breidt in 1845 haar bezit uit met de aankoop van Oostduin en het direct ten westen gelegen Waalsdorp. Zij en haar echtgenoot mr. Carel Emanuel baron van Tuyll van Serooskerken zijn beide kleinkinderen van Hendrik Fagel. Elisabeth is door erfenis al in het bezit gekomen van Waalsdorp en Arendsdorp. Bij haar dood in 1854 laat zij het gehele bezit na aan haar minderjarige kleinzoon Carel Jan Emilius graaf van Bylandt, enige zoon van haar in 1849 overleden dochter Maria Henriëtta van Tuyll van Serooskerken, gehuwd met mr. E.J.A. graaf van Bylandt.
1902-1947
Marie A.O.C. gravin van Bylandt
Na het overlijden van Carel Jan Emilius graaf van Bylandt in 1902 komt het gehele bezit in handen van zijn dochter, jonkvrouw Marie Alexandrine Otheline Caroline gravin van Bylandt. De gravin woont aanvankelijk afwisselend op het Lange Voorhout en in huis Oostduin, maar vanaf 1918 vestigt zij zich permanent op het landgoed. Zij besteedt veel aandacht aan haar huis en aan het park. Rond 1925 wordt de gracht om beide buitenplaatsen vergraven tot de nog altijd aanwezige slingervijver en wordt het parkje aan de Goetlijfstraat aangelegd.
Aan het begin van de twintigste eeuw krijgt het landgoed Oostduin-Arendsdorp zijn huidige afmetingen. Door belastingverhoging en de uitbreiding van Den Haag moet de gravin Van Bylandt het overgrote deel van haar grondbezit verkopen. Het grondgebied van Waalsdorp en een gedeelte van de landgoederen Oostduin en Arendsdorp worden bebouwd bij de aanleg van de wijk Benoordenhout. Vermoedelijk spreekt men vanaf dat moment van het landgoed Oostduin-Arendsdorp en niet meer van twee afzonderlijke landgoederen.
Tweede Wereldoorlog
Tijdens de Tweede Wereldoorlog leggen de Duitsers in het parkje aan de Goetlijfstraat tussen de aanwezige linden een bunkercomplex aan. In 1943 wordt de gravin gedwongen het landgoed te verlaten. Het landgoed raakt door een V2-bom en door plundering zwaar beschadigd. Na de bevrijding wil de gravin haar bezittingen aan de Wassenaarseweg niet meer betreden. Het landhuis Oostduin wordt na de oorlog afgebroken; landhuis Arendsdorp is al eerder verdwenen, vermoedelijk rond 1854.