הארמון נבנה בין 1952 ל-1955 ונקרא "הבניין הגבוה", אך תושבי ורשה עדיין מתייחסים אליו בלעג כארמון פקין. השם מגיע מהקיצור PKiN – כלומר ארמון התרבות והמדע. בנייתו הייתה ביוזמה של יוסף סטאלין. זהו הבניין השני בגובהו בפולין.

המבנה, כ"מתנת האומה הסובייטית לאומה הפולנית", הוקם על ידי פועלים מברית המועצות לפי תכנון ריאליסטי סוציאליסטי של לב רודנב. למעשה, מבחינת הסגנון, הוא מייצג גם את המגמה האדריכלית שנקראת היסטוריציזם. רודנב קיבל השראה מגורדי השחקים של מוסקבה. למעשה, הם עוצבו על פי גורדי שחקים אמריקאים בסגנון ארט דקו.

לפני תחילת העבודות בארמון ורשה, נחתם בוורשה הסכם פולני-סובייטי לבנייתו ב-5 באפריל 1952. בהסכם זה התחייבה ממשלת ברית המועצות לבנות, על חשבונה, גורד שחקים בן 28-30 קומות שישרת, בין היתר, כמקום מושבה של האקדמיה הפולנית למדעים שזה עתה הוקמה.

למעשה, ההסדרים החיוניים נעשו קודם לכן, כלומר בסתיו 1951, בפרוטוקול בין ממשלתי שנחתם על ידי שתי המדינות. בנוסף, מכוח החלטה של ​​נשיאות מועצת השרים מיום 28 בינואר 1952, התחייב הצד הפולני לממן את עבודות ההשקעה. השלב הבא היה אישור הנשיאות לתכנון האדריכלי של הבניין. הוא הוערך בצורה חיובית מאוד בשל "עיצוב הולם ויפה במיוחד".

עבודות הבנייה החלו בשנת 1952, כאשר 16 בני אדם מתו במהלך התהליך. הם היו רוסים שנקברו בבית הקברות האורתודוקסי במחוז וולה. בסך הכל היו מעורבים בבנייה 3,000 עד 5,000 פועלים מברית המועצות ו-4,000 פועלים פולנים.

יומיים לאחר מותו של סטלין, ב-7 במרץ 1953, קיבלו מועצת המדינה ומועצת השרים של הרפובליקה העממית הפולנית החלטה לכבד את מנהיג ברית המועצות על ידי קריאת הארמון על שם סטלין. כמו כן, היו תוכניות להקים אנדרטה למנהיג בכיכר סטלין (לימים כיכר המצעד), שהשתרעה מול הארמון. בסופו של דבר, האנדרטה לא הוקמה מכיוון שאף אחד מהעיצובים לא ריצה את מקבלי ההחלטות במפלגה, למרות שאומנים בולטים כמו שאוורי דוניקובסקי השתתפו בתחרות.

עבור רוב בני ורשה, הארמון הפך לסמל של שליטה סובייטית בפולין. הוא כונה בדרך כלל כ'ארמון פקין', 'פאיאק (ליצן) התרבות' ו'חלום הקונדיטור המטורף'. המונח האחרון הוטבע בגלל הדמיון של הבניין לעוגה ענקית.