О его происхождении ходят легенды. В течение многих лет он использовался во время коронаций польских королей. В 1795 году Щербец был украден пруссаками. Затем он был выставлен в Париже на всемирной выставке, после чего меч перешел в руки русских. На короткое время она вернулась в свободную Польшу. Вскоре после начала Второй мировой войны возникла необходимость вывезти предметы, хранившиеся в коронной сокровищнице на Вавельском замке, в том числе и Щербец. Щербец. Меч проделал свой путь через Атлантический океан. 

Легенда гласит, что первый король Польши, Болеслав Храбрый, поразил мечом Золотые ворота в Киеве в 1018 году во время завоевания этого города. В процессе, как говорят, меч надломился, отсюда и название Щербец. Информацию об этом дают средневековые хронисты, писавшие об истории Польши, включая Галла Анонима, Винцентия Кадлубека и Яна Длугоша. 

Историки, однако, не доверяют легенде и подозревают, что меч, датируется второй половиной 13-го века.  Возможно, он принадлежал одному из польских князей — возможно, Болеслав Благочестивый был владельцем Щербца. Вероятно, впервые он был использован в качестве коронационного символа в 1320 году во время коронации Владислава Локетека. 

Во время войн Польши со своими соседями в 17 и 18 веках меч неоднократно прятали от захватчиков. В 1764 году Щербец был использован в последний раз во время коронации последнего короля Польши, Станислава Августа Понятовского. В 1795 г. Пруссия, Россия и Австрия осуществили третий раздел Польши, и страна перестала существовать. Щербец попал в руки пруссаков, которые перевезли его в Берлин, и больше о нем никогда не было слышно. Он вернулся на арену истории благодаря русскому князю. Говорят, что он купил его у армянина, который якобы нашел его в придорожной канаве. Ян Непомуцен Садовский, польский археолог, признал его подлинным коронационным мечом королей Польши. 

Русские вернули Щербец полякам только в 1924 году, после поражения в польско-большевистской войне (до этого Польша восстановила свою независимость в 1918 году). В 1939 году, когда Германия вторглась в Польшу и началась Вторая мировая война, поляки эвакуировали коронационный меч и другие национальные сокровища в Канаду. Там он благополучно пережил вооруженный конфликт и вернулся в Польшу 3 февраля 1958 г. В настоящее время он хранится в Вавельском замке в Кракове.