Seine Ursprünge sind legendär. Jahrelang wurde es bei den Krönungen der polnischen Könige verwendet. Im Jahr 1795 wurde Szczerbiec von den Preußen geraubt. Anschließend wurde es in Paris auf einer Weltausstellung ausgestellt, und dann wurde das Schwert von den Russen übernommen. Es kehrte für kurze Zeit ins freie Polen zurück. Kurz nach Ausbruch des Zweiten Weltkriegs war es notwendig, die in der Schatzkammer im Schloss Wawel aufbewahrten Gegenstände, darunter auch Szczerbiec, auszuführen. Das Schwert wurde nach Kanada gebracht.
Die Legende besagt, dass der erste König von Polen, Bolesław Chrobry, im Jahr 1018 bei der Eroberung der Stadt Kiew das Goldene Tor in Kiew mit dem Schwert schlug. Dabei sollte das Schwert abgesplittert sein, daher der Name „Szczerbiec”. Darüber geben mittelalterliche Chronisten Auskunft, die über die Geschichte Polens schrieben, darunter Gall Anonim, Wincenty Kadłubek und Jan Długosz.
Historiker trauen dieser Legende jedoch nicht und vermuten, dass das Schwert aus der zweiten Hälfte des 13. Jahrhunderts stammt. Es gehörte wahrscheinlich einem der polnischen Fürsten — vielleicht war Bolesław der Fromme der Besitzer von Szczerbiec. Es wurde wahrscheinlich erstmals 1320 bei der Krönung von Władysław Ellenlang als Krönungsinsignie verwendet.
Während der Kriege Polens mit seinen Nachbarn im 17. und 18. Jahrhundert wurde das Schwert immer wieder vor Eindringlingen versteckt. 1764 wurde Szczerbiec zum letzten Mal bei der Krönung des letzten Königs von Polen, Stanisław August Poniatowski, genutzt. Im Jahr 1795 führten Preußen, Russland und Österreich die dritte Teilung Polens durch und das Land hörte auf, auf der Landkarte zu existieren. Szczerbiec fiel in die Hände der Preußen, die es nach Berlin transportierten, und danach ist es verschwunden. Dank eines russischen Prinzen kehrte es auf die Bühne der Geschichte zurück. Er sollte es von einem Armenier gekauft haben, der es angeblich in einem Straßengraben gefunden hatte. Jan Nepomucen Sadowski, ein polnischer Archäologe, erkannte es als authentisches Krönungsschwert der Könige von Polen an.
Die Russen gaben Szczerbiec erst 1924 an die Polen zurück, nachdem sie den polnisch-bolschewistischen Krieg verloren hatten (Polen hatte zuvor 1918 seine Unabhängigkeit wiedererlangt). Als Deutschland 1939 in Polen einmarschierte und den Zweiten Weltkrieg begann, evakuierten die Polen das Krönungsschwert und andere nationale Schätze bis nach Kanada. Dort überstand es den bewaffneten Konflikt sicher und kehrte am 3. Februar 1958 nach Polen zurück, wo es heute im Krakauer Wawel-Schloss aufbewahrt wird.