מקורותיה הם אגדה. במשך שנים, היא שימשה בהכתרות של מלכי פולין. בשנת 1795 נבזזה שצ'רבייץ על ידי הפרוסים. אז היא הוצגה בפריז בתערוכה עולמית, ואז החרב נלקחה על ידי הרוסים. היא חזרה לפולין החופשית לזמן קצר. זמן קצר לאחר פרוץ מלחמת העולם השנייה, היה צורך לשלוח את החפצים המאוחסנים באוצר הכתר בטירת ואוול, כולל את שצ'רבייץ. החרב עשתה את דרכה מעבר לאוקיינוס ​​האטלנטי.

לגן אומר שהמלך הראשון של פולין, בולסלב כרוברי, הכה עם החרב בשער הזהב בקייב בשנת 1018 במהלך כיבוש העיר. נאמר שבתהליך זה החרב נחתכה ומכאן השם שצ'רבייץ. מידע על כך ניתן על ידי כרוניקנים מימי הביניים הכותבים על תולדות פולין, כולל גאל אנונים, וינסנטי קדלובק ויאן דלוגוש.

היסטוריונים, לעומת זאת, אינם סומכים על האגדה וחושדים כי החרב מתוארכת למחצית השנייה של המאה ה-13. היא כנראה הייתה שייכת לאחד הנסיכים הפולנים – אולי בולסלב החסיד היה הבעלים של שצ'רבייץ. היא שימשה כנראה לראשונה כסמל הכתרה בשנת 1320 במהלך הכתרתו של ולדיסלב לוקייטק.

במהלך מלחמות פולין עם שכנותיה במאות ה-17 וה-18, החרב הוסתרה שוב ושוב מפני פולשים. בשנת 1764 שימשה שצ'רבייץ בפעם האחרונה במהלך הכתרתו של מלך פולין האחרון, סטניסלב אוגוסט פוניאטובסקי. בשנת 1795 ביצעו פרוסיה, רוסיה ואוסטריה את החלוקה השלישית של פולין והמדינה חדלה להתקיים במפות. שצ'רבייץ נפלה בידי הפרוסים, שהעבירו אותה לברלין ושוב לא נשמע עליה. היא חזרה לזירת ההיסטוריה הודות לנסיך רוסי. נאמר שהוא קנה אותה מארמני שלכאורה מצא אותה בתעלה בצד הדרך. יאן נפומוצן סדובסקי, ארכיאולוג פולני, זיהה אותה כחרב הכתרה אותנטית של מלכי פולין.

הרוסים החזירו את שצ'רבייץ לפולנים רק ב-1924, לאחר שהפסידו במלחמה הפולנית-בולשביקית (פולין השיבה לפני כן את עצמאותה ב-1918). ב-1939, כאשר גרמניה פלשה לפולין ופתחה במלחמת העולם השנייה, פינו הפולנים את חרב ההכתרה ואוצרות לאומיים אחרים עד לקנדה. שם היא שרדה בשלום את הסכסוך המזוין וחזרה לפולין ב-3 בפברואר 1958. כיום היא מאוחסנת בטירת ואוול בקרקוב.