לאחר התבוסה בספטמבר 1939, נכבשה המדינה הפולנית על ידי שני תוקפים: הרייך הגרמני השלישי וברית המועצות. למרות ההתרסקות, הפולנים לא הפסיקו להילחם. בצרפת הם הקימו רשויות אזרחיות וצבאיות עם הנשיא ולדיסלב רצ'קייביץ' (1885-1947) והגנרל ולדיסלב סיקורסקי (1881-1943), שפעלו כראש ממשלה וכרמטכ"ל יחד עם הצבא הפולני בצרפת ולאחר מכן בבריטניה. ב-27 בספטמבר 1939 הוקם בוורשה ארגון המחתרת "שירות לניצחונה של פולין" (SZP). מפקדו היה הגנרל מיכל טוקשבסקי-קרשביץ' (1893-1964). בנובמבר 1939 פורק הארגון ובמקומו הקים הגנרל סיקורסקי את האיחוד למאבק מזוין (ZWZ), עם הגנרל קז'ימייז' סוסנובסקי (1885-1969) כמפקדו. בסוף יוני 1940 מונה הגנרל סטפן רובצקי (1895-1944) למפקד החדש של ה-ZWZ. מבנים קונספירטוריים הוקמו בשטחים הכבושים הן על ידי גרמניה והן על ידי ברית המועצות. ב-14 בפברואר 1942 פרסם הגנרל ולדיסלב סיקורסקי פקודה להפוך את ה-ZWZ לצבא הבית. הגנרל סטפן רובצקי נשאר ראש הארגון עד שנעצר על ידי הגרמנים בוורשה ב-30 ביוני 1943. מפקדי ה-AK הבאים היו הגנרל תדיאוש קומורובסקי (1895-1966), ולאחר מכן הגנרל לאופולד אוקוליצקי (1898-1946), אשר ב-19 בינואר 1945 נתן פקודה לפירוק מבני צבא הבית.

במסגרת פעילותו, צבא הבית ניהל את מה שכונה המאבק הנוכחי (כולל פעולות חבלה, מודיעין ותעמולה), אבל במקביל גם התכונן להתקוממות כללית. הפעולות המרהיבות ביותר שנקט צבא הבית כוללות השגת מידע מפורט על ייצור פצצות מעופפות V-1 וטילי V-2 בפיינמונדה אשר באי אוסדום, וכן רכישת רקטת V-2 ושליחת חלקים חיוניים לבריטניה. בשיא, כלומר בקיץ 1944, שירתו בצבא הבית כ-380 אלף חיילים.