תחריט המתאר את הבית הלבן נשרף על ידי חיילים בריטיים.
הבית הלבן ב-1846.
ג'ון אדמס היה הנשיא הראשון שגר במבנה, החל מ-1 בנובמבר 1800. במהלך יומו השני של אדמס בבית, הוא כתב פתק לאשתו אביגייל, ובו תפילה לשלום הבית. אדמס כתב:
"אני מתפלל לשמיים, שיעניקו את מיטב הברכות לבית זה, ולכל אלה שיגורו בו בעתיד. הלוואי ורק גברים הגונים וחכמים ישלטו תחת גגו."
בהמשך, הנשיא פרנקלין דלאנו רוזוולט חרט את ברכתו של אדמס על אדן האח בחדר האוכל הממלכתי.
אדמס גר בבית תקופה קצרה, ואחריו גר בו תומאס ג'פרסון. למרות טענותיו על כך שהבית גדול מדי, הוא תכנן התרחבויות עתידיות של הבית. לצד האדריכל בנג'מין הנרי לאטרוב, הוא סייע להכנת תוכניות לאכסדרה המערבית והמזרחית, אגפים קטנים שיוכלו להסתיר את הפעולות הפנימיות והשגרתיות בבית, כגון כביסה, מקום האורווה והמחסנים. כיום אכסדרות ג'פרסון מחברות בין המגורים לבין האגף המערבי והמזרחי.
בשנת 1814, במהלך מלחמת 1812, הבית הלבן הועלה באש על ידי כוחות בריטיים, בתגובה לשריפת בניין הפרלמנט של מחוז קנדה העליונה בקרב יורק; מרבית שטחה של וושינגטון נפגע באותה שריפה. רוב הקירות החיצוניים שנותרו על תילם בבית הלבן ניזוקו ונחלשו כתוצאה מהשריפה, ולמעט חלקים מהקיר הדרומי, נאלצו המתכננים להרוס את מרבית הקירות ולבנות אותם מחדש. הכוחות הבריטיים בזזו שלל רב מהבית הלבן, ורובו אבד כאשר שיירה של ספינות בריטיות טבעה בליל סערה ב-24 בנובמבר 1814. רק שני חפצים נותרו: ציור של ג'ורג' וושינגטון, שהוברח על ידי הגברת הראשונה דאז דולי מדיסון; וקופסת תכשיטים, שהוחזרה לנשיא פרנקלין דלאנו רוזוולט בשנת 1939 על ידי גבר קנדי שטען כי סבו לקח את הקופסה מוושינגטון.
לאחר השריפה, שני האדריכלים, לאטרוב והובאן, עיצבו את הבית והשגיחו על הבנייה מחדש. המרפסת הדרומית נבנתה בשנת 1824 בתקופת כהונתו של ג'יימס מונרו; המרפסת הצפונית נבנתה שש שנים לאחר מכן. אמנם לאטרוב הציע מרפסות דומות לפני השריפה של 1814, אך לבסוף שתי המרפסות נבנו לפי עיצובו של הובאן. יש הטוענים כי מקור ההשראה שלו היה צרפתי, בשל הדמיון בין המרפסת הדרומית למרפסת האליפטית שבארמון הצרפתי שאטו דה ראסטיגנאק, והמדרגות הנוטות הזהות בשתיהן. עבודת האבן המקושטת בשתי המרפסות בוצעה על ידי אמן איטלקי שהובא לוושינגטון כדי לסייע בבניית בניין הקפיטול.
צפיפות יתר ובניית האגף המערבי
בפרוץ מלחמת האזרחים האמריקאית, ב-1861, הבית הלבן כבר נעשה צפוף למדי. גם מיקומו היה בעייתי - מצפון לתעלה ולאדמות בוצתיות, שהיוו תנאים נאותים להתפתחות מחלות כגון מלריה. על הבריגדיר ג'נרל נת'ניאל מיצ'לר הוטלה המשימה למצוא פתרונות לבעיות אלו; הוא הציע לנטוש את הבית הלבן כמקום מגורים, ולהשתמש בו רק לעבודה, ובמקומו הציע לבנות אחוזה חדשה למשפחת הנשיא, בגבעת מרידיאן שבתחום העיר וושינגטון די. סי.. התוכנית נדחתה על ידי הקונגרס.
ב-1881 נכנס לתפקידו הנשיא צ'סטר ארתור, שהורה על שיפוץ וקישוט החלל הפנימי בבית הלבן; השיפוץ הושלם ב-1882. בשנת 1891, הגברת הראשונה קרוליין הריסון הציעה לבנות הרחבות לבית הלבן, שכללו אגף לאומי במזרח לגלריית אמנות היסטורית, ואגף במערב לשימושים רשמיים. הקולונל תיאודור א. בינגהם הכין תוכנית בנייה לפי הצעותיה של הריסון. בשנת 1901, הנשיא תיאודור רוזוולט נכנס לתפקידו ושכר את חברת מ'קים, מיד וויט כדי להוציא לפועל את השיפוצים וההרחבות, שכללו את הוספת האגף המערבי. אחריו, הנשיא ויליאם האוורד טאפט גייס את עזרתו של האדריכל נייתן ס. וויט', כדי להוסיף שטח נוסף לאגף המערבי, שכלל את החדר הסגלגל.
האגף המערבי נפגע בשריפה בשנת 1929, ונבנה מחדש בשלהי כהונתו של הנשיא הרברט הובר. בשנות השלושים של המאה העשרים, נבנתה קומה שנייה לאגף, וכן מרתף גדול יותר לצוות הבית הלבן; בתקופה זו העביר הנשיא פרנקלין דלאנו רוזוולט את המשרד הסגלגל למקומו הנוכחי, צמוד לגן הוורדים.
השיפוץ של טרומן
פנים הבית הלבן במהלך השיפוץ שנעשה בתקופת הארי טרומן.
לאורך שנות השלושים והארבעים נבנו עליית הגג בקומה הרביעית (במהלך כהונתו של הנשיא קלווין קולידג'), והמרפסת בקומה השנייה מעל למרפסת הדרומית (במהלך כהונתו של הארי טרומן). עם זאת, במהלך עשורים אלו ניכרה תחזוקה גרועה של המבנה, שהביאה לפגיעה בלבנים, באבן החול ובשלד עץ עליו נבנה הבית. בשנת 1948, עמד המבנה בסכנה חמורה של התמוטטות, והנשיא טרומן הורה על שיקום הבית, ובינתיים עבר למבנה מעבר לרחוב, בית בלייר, שם התגורר בשנים 1949 עד 1951 (בחלק מהזמן התגורר ב"בית הלבן" בעיר קי וסט שבמדינת פלורידה). העבודה בוצעה על ידי חברה שבראשה עמד הקבלן ג'ון מקשיין מפילדלפיה. במהלך השיפוץ הוצא הריהוט, פורקו כל הקירות הפנימיים, נבנה שלד פנימי חזק מפלדה, ולבסוף נבנו מחדש כל החדרים המקוריים. בוצעו מספר שינויים בתוכנית הקומות, החשוב שבהם היה הסבת גרם המדרגות המרכזי לאולם הכניסה, ולא לאולם בצורת צלב. הותקן מיזוג אוויר מרכזי, ונבנו שני מרתפים תת-קרקעיים נוספים, שיצרו עוד מקום לחדרי עבודה ומחסנים, וכן היוו מקלט מפני הפצצה של הבית הלבן. משפחת טרומן שבה אל הבית הלבן ב-27 במרץ 1952.