Jens Larsen hadde også et eventyrlig sjømannsliv, ikke minst under 2. verdenskrig. I 1940 tjenestegjorde han på hvalkokeriet «Kosmos II». Ved et uhell om bord ble han skadet og senere innlagt på sykehus i New York. Resten av krigen tilbrakte han i New York og var i amerikansk tjeneste. Han måtte gjennom en lang rekonvalesens før han ble tjenestedyktig igjen. I denne tiden tok han forskjellige jobber, blant annet som seilmaker. Han frekventerte det norske sjømannsmiljøet i New York og her ble han gjenkjent av Kronprins Olav. Kronprinsen hadde tjenestegjort i den norske marinen med utgangspunkt i Stavern. Som reisemåte fra Oslo benyttet han tog til Larvik og tok drosje ut til Stavern. Jens hadde drosje og han ble fast sjåfør for Olav på disse turene. De fikk derfor en god prat om dette i New York.
Selv om Jens fikk varig mén av uhellet han var utsatt for var han heldig allikevel. På vei til Europa med oljelast ble «Kosmos II» senket av tyske ubåter 28. oktober 1942. 33 mennesker omkom ved hendelsen. Jens hadde den herskapelige eiendommen Solhaug utenfor Larvik, og hit kom han 13. juli 1945 etter nær 6 års fravær fra kone og barn.