1922. augusztus 21-én indult Marseille-ből Kínába, és negyvenkét napi tengeri utazás után érkezett Sanghajba. Az első évet a kínai nyelv elsajátítására fordította, majd Nankingba került a mandarin nyelv gyakorlására. 1923–4 között a spanyol jezsuiták vuhui apostoli vikariátusában működött káplánként egy idős francia misszionárius mellett. Majd a római általános rendfőnök a magyar misszionáriusokat a hszienhszieni francia misszióba rendelte. Így került P. Szarvas Tamingba, ahol 1924-től dolgozott. Munkájában hamarosan a kalocsai iskolanővérek is segítették. Először a Taming városától délre fekvő Hszung-san-cuan missziós állomás vezetésével bízták meg, amelynek körzetében mintegy háromezer-ötszáz katolikus élt, huszonöt-harminc faluban elszórtan. A nyári hónapokban P. Szarvas a nyugati részeken missziós körutakat tett, ahol még nem éltek keresztények. Orvosságot osztott a beteg kínai gyerekek között, évente ezerötszáz-kétezer haldoklót keresztelt meg. 1928-ban káplánt kapott a francia P. Joliet személyében, akire a régi keresztény községek gondozását bízta, míg maga újakat szervezett.

Áldozatos és sikeres munkája elismeréseként Msgr. Lecroart, a missziós kerület francia püspöke, aki már járt Magyarországon is, és alkalma volt meggyőződni a magyar misszionáriusok megbízhatóságáról, esperessé nevezte ki. 1932-ben a déli részek püspöki vikáriusa lett. A keresztények száma rohamosan nőtt, ezért Csiucsiang közelében megépítette a Lisieux-i Szent Teréz-templomot, amelyet 1933. május 7-én szenteltek fel hívek ezreinek jelenlétében. Az új templom a kínai magyar misszió egyik dísze és virágzó lelki élet központja lett. A magyar misszió 1936-ban önálló lett, ekkor P. Szarvast nevezte ki a Szentszék apostoli prefektussá, a jezsuiták pedig a misszió vezetőjévé. Az első tíz év alatt négyezer-hatszáz hitújoncot keresztelt meg, egész kínai missziója alatt pedig kilencezret. 1942-ben P. Takács János SJ lett a misszió vezetője, Msgr. Szarvas pedig apostoli adminisztrátor maradt 1947 végéig, amikor a Szentszék P. Lischerong Gáspárt nevezte ki apostoli adminisztrátornak. 1946. szeptember 28-án a kommunisták elfogták, és másnap néptörvényszéket tartottak felette. Egy akácdoronggal verték a fejét, lebuktatták az asztalról, a végén sok sebből vérezve, eltört végtagokkal, megnyomorítva vetették a börtönbe. Már halottnak véltek, de a magyar jezsuiták gondos ápolásának köszönhetően talpra állt. Hívei kérésére elhagyta Tamingot, és Róma engedélyével hazatért.

1948 januárjában érkezett Bp.-re, másfél évig országszerte előadásokat tartott a kínai missziókról. Kínába már nem mehetett vissza. Amikor Magyarországon 1950-ben feloszlatták a szerzetesrendeket, Homokra internálták, majd a kaposvári Szent Imre- templomban lelkészkedett rövid ideig. 1952. május 29-én vonult be a pannonhalmi papi otthonba. Az otthon életében példaadóan vett részt, kétkezi munkájával segített megművelni a konyhakertet, fizikai munkára egyébként is mindig készségesen vállalkozott. P. Csávossyval és F. Gódorral lakott egy szobában, éjjelente sokszor hallották gyötrelmes fohászait a kínai missziókért. Hősies türelemmel viselte a rákbetegségével együtt járó fájdalmakat. A bp.-i Szent Ferenc Kórházban hunyt el.