1790年12月，在华盛顿哥伦比亚特区建成后，根据一项国会动议，建造白宫。乔治·华盛顿总统亲自协助城市规划师Pierre L'Enfant选址。主持工程的建筑师通过比赛选出，共收到九个方案。爱尔兰人James Hoban 获得这项殊荣。工程于1792年10月13日奠基，它的设计模仿现为爱尔兰议会所在地，原为在爱尔兰首都都柏林的一所公爵府莱恩斯特宫（en:Leinster House）的一、二层。工程于1800年11月1日竣工，耗时8年，花费232,371.83 美元，考虑通货膨胀的因素，大约等于现在的二百四十万美元。

直到1825年前后柱廊还不是建筑的一部分。

这幢大楼最初称作“总统宫”或“总统府”。多利·麦迪逊叫它做“总统的城堡”。直到1811年才首次出现公众因为它漆成白色的石制外墙而称之为“白屋”的记载。在西奥多·罗斯福总统于1901年以在信纸上印上“The White House”确立正式名称之前，“行政官邸”这一名称常常用于公文中。

1800年11月1日，约翰·亚当斯成为首位入住白宫的总统。1814年英美1812年战争中，华盛顿大部分地区被英军纵火，白屋内部被焚毁。只有外墙残存，但后来重建。外墙重新刷成白色，但需要说明的是，白宫早在1798年起就一直被刷成白色，火灾后的重新粉刷不是像公众传闻所说是白宫名称的来由。 1841年8月16日，当约翰·泰勒总统否决一项呼吁成立美国第二银行的法案时，白宫再遭袭击。被激怒的辉格党党员在白宫外制造当时乃至今天美国历史上发生在白宫广场的最血腥的骚乱。如同英格兰及爱尔兰风格的房屋般无拘无束，白宫引人注目地对外开放直到二十世纪早期。1805年，托马斯·杰弗逊总统在他的第二次就职典礼时开放白宫，当时参加他在国会山庄举行的宣誓仪式的大多数人们跟随他回家，接受他在蓝厅的接见。

那些招待会有时会变得十分混乱: 1829年, 大约20,00个市民聚集在白宫祝贺安德鲁·杰克逊总统的就职典礼,他被迫躲进一家旅馆. 他的助手最终必须用装满用橘子汁和威士忌调制的强力鸡尾酒讲这群乌合之众诱骗出来. 虽然如此, 这个习惯一直被保留到1885, 新当选总统格罗弗·克利夫兰安排了一个在白宫正面看台的总统阅兵来代替传统的招待会.

杰弗逊还批准了一项白宫的公开游览,这项活动除了战时停止外一直延续至今.并开始了每年新年和独立日的招待会的传统.这个招待会在20世纪30年代早期停止了

白宫在1960年十二月19日被确认为一处国家历史地标(en:National Historic Landmark).