Smatra se da je rođen u Tržiću na Lošinju 0te da je bio učenik Svetog Romualda, osnivača kamaldolijanaca, i da je na Lošinju osnovao jedan njihov samostan. Oko 1018. postaje osorski biskup te se stoga smatra da je zaslužan za razvoj Crkve na Kvarneru. Za vrijeme njegovog biskupovanja, Osor je postao važno glagoljaško središte, a osnovao i dva samostana (jedan za muškarce i jedan za žene). Smatra se da je prognan 1042. jer nije htio vjenčati par koji je bio u krvnom srodstvu prognan iz Osora u Rim i Anconu, gdje je, prema predaji, i umro 31. svibnja 1044.. Prema drugoj predaji njegove su kosti doplovile u Osor u jednoj škrinji te su ti ostaci pokopani u osorskoj katedrali.
Prema jednoj legendi, Sveti Gaudencije je protjerao sve zmije otrovnice s Cresa i Lošinja te mnogi vjeruju da zbog toga na tim otocima nema zmija otrovnica, a u crkvi Sv. Gaudencije kraj osorske katedrale nalazi se prikaz sveca kako tjera zmije s otoka.
