Martha Washington hatte zwei kleine Kinder aus ihrer ersten Ehe, Martha und John. Sie hatte keine Kinder mit George Washington. Washington hielt es für seine Pflicht als Stiefvater, „großzügig und aufmerksam“ zu sein, und teure Aufträge an Londoner Kaufleute während der Kindheit von „Jacky“ und „Patsy“ offenbaren doting, fürsorgliche Eltern.
Martha Washington war ihren Kindern gegenüber sehr nachsichtig. Patsy hatte alles, was ein Teenager—Mädchen an diesem Tag wollen würde-unzählige Kleider, ihr eigenes Klavier, ein Papagei, und Tanzunterricht., In ihrer Jugend war es jedoch klar, dass Patsy epileptisch war. Im Jahr 1773 starb das sechzehnjährige Mädchen während eines Anfalls, und eine verstörte Martha wandte sofort ihre ganze Aufmerksamkeit auf ihren Sohn. Jacky hat schlecht in der Schule, wuchs weich und faul, und tat wenig während der Revolution. Er entsetzte Freunde, indem er seinem zweijährigen Kind beibrachte, obszöne Lieder auf Partys für Erwachsene zu singen. Gegen den Willen seines Stiefvaters besuchte er kurz vor der Schlacht von Yorktown das Lager der Kontinentalarmee. Solche Lager waren voller Krankheiten, und Jacky starb bald und verwüstete wieder seine Mutter., Seine beiden kleinen Kinder wurden von den Washingtons in Mount Vernon erzogen.
Die Washingtons lebten zu Beginn der Präsidentschaft in einem gemieteten Haus in New York. Anfang 1790 zogen sie in eine Executive Mansion in Philadelphia, als die Hauptstadt der Nation dorthin verlegt wurde. Zuerst war das Haus mit Besuchern und Bürosuchenden überschwemmt. Die Berater des Präsidenten führten schließlich strenge Besuchszeiten ein. Einmal in der Woche öffnete Washington die Türen seines Hauses für öffentliche Empfänge und Veranstaltungen, die jedem Bürger offen standen, der die Kleiderordnung traf., Martha Washington veranstaltete ähnliche Veranstaltungen für Frauen.