המכון המדעי היהודי שהוקם בווילנה, אחת הערים הפולניות הגדולות ברפובליקה הפולנית השנייה, הפך למוסד המדעי היהודי המוביל באירופה שבין המלחמות. זה היה ארגון חלוצי ובינתחומי שערך מחקרים בשפת יידיש מודרנית, פרסם יצירות היסטוריות, אתנוגרפיות וסוציולוגיות. הוא גם תיעד עקבות מוחשיים של התרבות היהודית.
בפברואר 1925 נחום שטיף, פילולוג המתגורר בקייב, בעבודתו על שפת היידיש, הגיע למסקנה כי יש צורך להקים מוסד שבו יוכלו מורים ועיתונאים יהודים להשלים את ידיעותיהם הלשוניות. זה היה אמור להיות מוסד לא-אוניברסיטאי, אקדמי טהור, בעל ארבעה חלקים: פילולוגיה יהודית, היסטוריה יהודית, עניינים סוציו-אקונומיים ופדגוגיה. שטיף האמין כי וילנה תהיה עיר מתאימה למטה שלו, במיוחד מכיוון שהיא כונתה "ירושלים הליטאית".
במועצת העיר וילנה היה מועדון עברי משנת 1919, שבאמצעותו החליטה המועצה בשנת 1923 להעניק סובסידיות מתמשכות במסגרת תקציב העיר לחינוך יהודי פרטי. שטיף הציע להקים מערכת שלמה של מוסדות הפזורים במדינות שונות, שיוכפפו למטה אחד, שעבורו נבחרה וילנה כמקום מושבו.
במימון ובראשותו של הבלשן והפעיל החברתי מקס ויינרייך, הציב לעצמו המכון את המשימות לרכז את העשייה האקדמית בשפה היהודית, ובעיקר את מחקר השפה והספרות היהודית, להכשיר סגל אקדמי ולתעד את כל ביטויי חיי התרבות היהודיים בכל העולם. ב-1 בספטמבר 1927 נרשמה האגודה רשמית כאגודת הידידים של המכון היהודי למדע בווילנה (YIVO). מייסדיו הלכו בדרך של הקמת אגודות ידידי המכון במדינות שונות לגיוס כספים להפעלתו. המכון קיבל את צורתו הארגונית הסופית בכנס שהתקיים ב-24-27 באוקטובר 1929 בווילנה בהשתתפות נציגים מפולין, ליטא, לטביה, אסטוניה, רומניה, גרמניה וארה"ב. לשכת הכבוד הוקמה וכללה אנשים מפורסמים ברמה עולמית כמו אלברט איינשטיין וזיגמונד פרויד. קהילות יהודיות ומועצות ערים פולניות התעניינו בפעולת המכון והחלו לתמוך באוניברסיטה כלכלית. מועצת העיר וילנה סיפקה סבסוד שנתי של 3,000 זלוטי בתקציב העיר.
בשנת 1926 הוקם המטה הביבליוגרפי של YIVO, אשר רשם את כל דברי הדפוס שיצאו לאור ביידיש ובעברית ובשפות אחרות הנוגעות לענייני יהודים. בשנת 1931 החל המכון להוציא לאור גם את הירחון "ג'יבו בלטר" כאוגדן המשותף של כל המדורים לרבות חלקים פילולוגיים, היסטוריים, כלכליים, סטטיסטיים, פסיכולוגיים ופדגוגיים. הקמת ה-YIVO ועבודתו זכו לתשומת לב והערכה בקהילה המדעית הפולנית. באפריל 1931 שיבח פרופסור מיאצ'יסלב לימנובסקי את הקמת המוסד ברדיו וילנה: "מאמציו של המכון הסבו את תשומת הלב של העולם היהודי כולו אליו, ובכך לווילנה. עשרה מיליון אנשים דוברי עברית ויידיש רואים בוילנה מרכזם. לנו בווילנה יש עניין מיוחד בפיתוח המכון, מכיוון שאנו יודעים מה חשיבותם של מוסדות בעלי משמעות אוניברסלית עבור העיר". אגודות ידידי YIVO התקיימו בערים פולניות רבות, ביניהן ורשה, לודז', לבוב, קרקוב, ביאליסטוק ולובלין. השלטונות הפולניים בדרך כלל תמכו מאוד ביוזמה להקים מכון בווילנה. מצד שני, הם חששו מזרם של ספרות קומוניסטית מרוסיה הסובייטית.
עד 1939, תפוקת ה-YIVO גדלה באופן משמעותי. המוזיאון לאמנות אורגן, ובו ציורים יקרי ערך רבים. במוזיאון התיאטרון, שהוקם ב-1931, היו עשרות אלפי תצלומים, פוסטרים, דגמים ועוד. במרכז הביבליוגרפי היו למעלה מ-200,000 יחידות רשומות, בספרייה היו למעלה מ-40,000 יחידות (כולל פריטים ייחודיים ונדירים רבים), בארכיון היו כמה אלפי כתבי יד וכ-100,000 פוסטרים, עלונים, חוקים ודוחות של ארגונים חברתיים. החומרים של ועדת הפולקלור הכילו יותר מ-100,000 יחידות פולקלור (מלאי של פתגמים, אגדות עממיות, יצירות ילדים, שירים, אנקדוטות, סיפורים, מנהגים חגיגיים וחפצים אתנוגרפיים). המחלקה לחקר הנוער אספה יותר מ-600 אוטוביוגרפיות של צעירים בגילאי 17 עד 22 מיותר מ-150 עיירות. YIVO בשנת 1937 נתמך על ידי אגודות ידידים ב-20 מדינות ברחבי העולם: דרום אפריקה, אנגליה, אוסטריה, בלגיה, ברזיל, צ'ילה, סין, אסטוניה, צרפת, קנדה, קובה, ליטא, לטביה, מקסיקו, פלסטין, פולין, רומניה, ארצות הברית, שוויץ ואורוגוואי. קבוצות קטנות יותר שתמכו במכון היו קיימות במספר מדינות אחרות (מלבד ברית המועצות, שבה נוסדו כמה מוסדות אקדמיים יהודיים ברוח הסובייטית). יצאו לאור 12 כרכים בסדרת המונוגרפיה ו-57 גיליונות של העיתון. כמו כן, הוקמה קרן למימון הוצאת אנציקלופדיה אוניברסלית בעברית (שני הכרכים הראשונים יצאו לאור בסוף 1934/35).
פעילות המכון בווילנה הופסקה בשנת 1940. במהלך הכיבוש הגרמני נכלאו אנשיו בגטו וחלק גדול מהאוסף הושמד או נשדד. כמה מהחפצים היקרים ביותר ניצלו, הם נלקחו לגרמניה ולאחר מכן הועברו לאחר המלחמה למכון שעדיין פועל בניו יורק.