W 1940 r. w Warszawie i Gdyni powstała konspiracyjna organizacja marynarzy, którzy zajmowali się prowadzeniem antyniemieckiego wywiadu morskiego. W 1941 r. grupa ta znalazła dojście do komendanta głównego Związku Walki Zbrojnej gen. Stefana Roweckiego „Grota”. Dzięki temu zbrojne ramię Polskiego Państwa Podziemnego w Komendzie Głównej uruchomiło Wydział Marynarki Wojennej o kryptonimie „Alfa”.

Grupy marynarskie początkowo konspirowały w ramach Związku Odbudowy Rzeczypospolitej. Ich niekwestionowanym liderem był kmdr ppor.  Antoni Gniewecki „Witold”. Organizacja zajmowała się obserwowaniem niemieckiej marynarki wojennej. Informacje spływały do „bazy”, która znajdowała się w jednym z warszawskich sklepów przy pl. Trzech Krzyży. Tajną korespondencję przewożono na statkach drogami rzecznymi.

Gdy w 1941 r. marynarzom  udało się skontaktować z komendantem głównym ówczesnego Związku Walki Zbrojnej (następnie AK), zostali oni włączeni do oficjalnej struktury polskiego podziemia. W kwietniu 1942 r. zaczął działać Wydział Marynarki Wojennej Komendy Głównej AK o kryptonimie „Alfa”, a następnie „Ostryga”, kierowany przez A. Gnieweckiego. Organizacyjne podporządkowano go komendantowi obszaru zachodniego AK. Zadania „Alfy” polegały na prowadzeniu ciągłego wywiadu morskiego i przygotowania marynarzy do akcji na wybrzeżu i w portach w czasie ogólnonarodowego powstania oraz tworzeniu oddziałów marynarskich.

„Alfa” w 1944 r. liczyła 51 oficerów, 153 podoficerów i marynarzy, 8 pracowników cywilnych i 18 kobiet, czyli łącznie 230 pracowników. Wydział dzielił się na następujące referaty: organizacyjno-mobilizacyjny, wywiadowczy, a także dysponował oddziałem służby zdrowia, który zajmował się przygotowaniem szpitala „Alfy”, gromadząc m.in. leki.

W czasie Powstania Warszawskiego Wydział Morski planował zająć Port Czerniakowski na Wiśle. W tym celu udało się sformować oddział bojowy o kryptonimie „Szczupak”, którym dowodził Władysław Macioch „Mizio”. W jego skład weszła także załoga warsztatów Stoczni Rzecznej na Wiśle, która liczyła ponad 50 osób. Podczas powstania walczył także inicjator „Alfy”. A. Gniewecki  Ich zadanie, oprócz zdobycia portu, polegało także na umożliwieniu powstańcom przepraw przez Wisłę.

Marynarka polska, podobnie jak lotnictwo AK, nie zdołały odtworzyć swoich struktur podczas okupacji. Marynarze walczyli głównie w strukturach piechoty, w służbach wywiadu i w łączności.