Jego początki są legendarne. Przez lata posługiwano się nim podczas koronacji królów Polski. W 1795 r. Szczerbiec zrabowali Prusacy. Następnie wystawiano go w Paryżu na wystawie światowej, a potem miecz przejęli Rosjanie. Do wolnej Polski wrócił na krótko. Tuż po wybuchu II wojny światowej konieczne okazało się wywiezienie przedmiotów przechowywanych w Skarbcu Koronnym na Wawelu, min. Szczerbca. Miecz trafił aż za Ocean Atlantycki.
Legenda mówi, że pierwszy król Polski, Bolesław Chrobry, uderzył mieczem w Złotą Bramę w Kijowie w 1018 r. podczas zdobycia tego miasta. W trakcie miecz miał się wyszczerbić i stąd wzięła się nazwa Szczerbiec. Informacje o tym podają średniowieczni kronikarze, piszący o dziejach Polski, m.in. Gall Anonim, Wincenty Kadłubek i Jan Długosz.
Historycy nie ufają jednak legendzie i podejrzewają, że miecz, pochodzi z drugiej połowy XIII w. Prawdopodobnie należał do któregoś z polskich książąt – być może właścicielem Szczerbca był Bolesław Pobożny. Prawdopodobnie po raz pierwszy, jako insygnium koronacyjne, został użyty w 1320 r. podczas koronacji Władysława Łokietka.
W czasach wojen Polski z sąsiadami w XVII i XVIII w. miecz był wielokrotnie ukrywany przed najeźdźcami. W 1764 r. Szczerbiec po raz ostatni został użyty podczas koronacji ostatniego króla Polski, Stanisława Augusta Poniatowskiego. W 1795 r. Prusy, Rosja i Austria dokonały trzeciego rozbioru Polski i państwo to przestało istnieć na mapach. Szczerbiec wpadł w ręce Prusaków, którzy wywieźli go do Berlina i słuch o nim zaginął. Na arenę historii wrócił za sprawą rosyjskiego księcia. Miał on go kupić od Ormianina, który rzekomo znalazł go w przydrożnym rowie. Szczerbiec pokazano na wystawie w Paryżu w 1878 r. Jan Nepomucen Sadowski, polski archeolog, rozpoznał w nim autentyczny miecz koronacyjny królów Polski.
Rosjanie oddali Szczerbiec Polakom dopiero w 1924 r. po przegranej wojnie polsko-bolszewickiej (wcześniej Polska odzyskała niepodległość w 1918 r.). W 1939 r., gdy Niemcy napadły na Polskę i rozpoczęły II wojnę światową, Polacy miecz koronacyjny i inne skarby narodowe ewakuowali aż do Kanady. Tam bezpiecznie przeczekał konflikt zbrojny i wrócił do Polski 3 lutego 1958 r. Obecnie przechowywany jest w Krakowie na Wawelu.