Fábri Károly édesanyja, Fischer Ilona zongorán játszott, különösen Bach­ot kedvelte, a zenét ő szerettette meg gyermekeivel. Károly bátyja, Fábri Rezső / Ralph Fábri (1894–1975) festőművész, grafikus, belsőépítész volt, emellett tanított, és könyvkiadással, szerkesztéssel is foglalkozott, vala­mint kritikákat írt, 1921-től az Egyesült Államokban élt. Két lánytestvérük, Elza (1901–1989) és Ottília (?–1965) közül az előbbi szintén festőművész lett (Fábri vagy Dési Elza néven), utóbbi pedig zenei tehetségét kamatoztatta.

Az első világháborúban Fábrinak is be kellett vonulnia, itt szerzett tapasztalatairól, a háború hiábavalóságáról mindig keserűen emlékezett meg. Nem harcolt közvetlenül a fronton, a sajtóhadiszállásra osztották be, ezért írásra, fordításra is maradt ideje, erről barátjának, Keleti Arthurnak számolt be. Lefordította Gabriele D’Annunzio Jorio leánya című művét, a fordítást elküldte Keletinek, remélve, hogy barátja a kapcsolatai révén szerez hozzá kiadót is, de nem így történt, ahogyan a többi, fronton készült írása sem jelent meg.

A háború után apja Abbáziában kezdett új vállalkozásba, szállodát nyitott, a „legszebb fekvésű”, „pazar kilátással bíró” Penzió Villa Fábrit a napilapokban is hirdette. Ugyanekkor kisebbik fia, Károly a pécsi egyetemre iratkozott be, ahol filozófiát, pszichológiát és német nyelvészetet tanult. Mivel családja nem tudta anyagilag támogatni – vélhetően az abbáziai szálloda a hirdetések ellenére sem prosperált –, a pécsi lapokban hirdetés útján vállalt magánoktatást irodalomból, művészettörténetből, valamint német, angol és francia nyelvből. De nemcsak a modern nyelvek érdekelték, hanem a szanszkrittal is elkezdett foglalkozni. A Kelet és elsősorban India iránti érdeklődését elsőként az akkoriban még Magyarországon tartózkodó Umrao Singh Sher-Gil ösztönözte, de – ahogy Stein Aurélnak írt egyik levelében említette – a vele való kapcsolata nem minősült tudományos képzésnek. Később, Amrita Sher-Gilről írt tanulmányában úgy emlékezett, hogy Umrao Singhgel való kapcsolata az indiai mester és tanítványa viszonyhoz, a guru-sisja paramparához hasonlított. Rendszeres oktatást Schmidt Józseftől sem kaphatott, mert őt 1919 után eltávolították a pesti egyetemről. Stein Aurél azonban Indiából nemcsak a tanulmányaira vonatkozó hasznos tanácsokkal látta el, az európai egyetemek nyújtotta alapos képzést javasolva neki, hanem az ő ajánlására bízta meg Fábrit Felvinczi Takács Zoltán a Hopp Múzeumban lévő indiai eredetű szobrok szanszkrit feliratainak a tanulmányozásával. A Pesti Hírlap tudósítója valóságos szenzációként számolt be itteni munkája eredményéről. Felvinczi Takács Zoltán 1925-től 1939-ig a pécsi egyetemen is tanított Kelet-Ázsiával foglalkozó tárgyakat, feltehetően itt is volt alkalmuk találkozni.

1926-ban Fábri a pécsi tudományegyetemen négy részből álló elő­adás-sorozatot tartott a hindu kultúráról klasszikus szövegekkel illusztrálva mondanivalóját, amelyeket saját fordításában adott elő. Az előadásokról a Dunántúl és a Pécsi Napló című lapok közöltek lelkes beszámolókat. A Nacsikétasz és a Halál címmel készült költői fordításáról, amelyben megtartotta az eredeti versformákat, azt is megírták az újságok, hogy ezzel Fábri elnyerte az egyetemi pályadíjat . „A műfordítások tökéletessége, a szakirodalomban érezhető jártasság és a tárgy iránti szeretet arról győztek meg bennünket, hogy Fábri Károly jövője felé a legnagyobb várakozással tekinthetünk.” 1926 szeptemberében a Dunántúl című lap arról adott hírt, hogy Stein Aurél nagylelkű ajándékkal lepte meg Fábrit, az 1892-ben kiadott Rádzsataranginí (Királyok Krónikája) általa készített angol fordításával. Neki köszönhette azt is, hogy 1927-ben Leidenben az indológiai tanszéken tanársegédi állást ajánlottak fel számára. Jean-Philippe Vogel, a leideni egyetem szanszkritprofesszora és a Kern Institute vezetője régi jó ismerőse volt Stein Aurélnak, 1899-től szuperintendánsként dolgozott Lahórban, majd 1914-ben visszatért Hollandiába. Mielőtt még Fábri elfoglalta volna a helyét a leideni egyetemen, megjelent első könyve Pécsett Az értelemvizsgálat módszerei címmel, majd a következő évben, amikor az Erzsébet Tudományegyetemen doktorrá avatták, napvilágot látott William James: Egy filozófus arcképe című műve is.

Egyetemi tanársegédi állása mellett Fábri a Kern Institute-ban az Annual Bibliography of Indian Archaeology szerkesztőbizottságában is dolgozott. Emellett többször látogatott Párizsba, ahol Sylvain Lévi professzor intézetében, az Institut de civilisation indienne-ben folytatta tanulmányait. Kutatásairól, munkájáról Németh Gyulának küldött leveleiben részletesen beszámolt. Az egyetemen régészetet és művészettörténetet tanult, emellett fordított, a szanszkrit Raghuvanszát és dzsátaka szövegeket páliból. Elújságolta, hogy meghívták a dákái (daccai) egyetemre docensnek (reader­nek), de Stein Aurél és a holland tanárok egyöntetű tanácsára ezt nem vállalta el. Többször felajánlotta, hogy szívesen küldene könyvismertetéseket a Németh Gyula által szerkesztett Kőrösi Csoma Archívumba, hiszen az Annual Bibliography egyik szerkesztőjeként minden számottevő, a munkakörével kapcsolatos könyvet kézhez kapott. Így örömmel ismertette volna Stein Aurél Innermost Asia című kötetét is. „Azt hiszem az 1928-as év legnagyobb eseménye az orientalisztikában. Szívesen írnék róla referátumot a KCSA-ban” – írta Némethnek. A Leidenben tartott orientalista konferenciáról ugyancsak érdemesnek tartott volna néhány részletet megosztani a magyar olvasókkal. A folyóiratban azonban Németh Gyula semmit nem közölt Fábritól, sem az általa is szerkesztett bibliográfiáról.

Az egyetemi és a Kern Institute-ban való elfoglaltságai mellette Fábrit 1929-ben megválasztották a Németalföldi Magyar Diákegyesület alelnökének. Abban az évben, amikor Stein Aurél Leidenben járt, előadást tartott az egyetemen és a Kern Institute-ban, és ellátogatott a Diákegyesületbe is. Személyes találkozójuk nyilván jó benyomást tett Steinre, és szerepet játszott abban is, hogy később meghívta Fábrit Indiába. Annabel Walker szerint az ifjú Fábri Károly háttere, körülményei saját fiatalságára emlékeztették Stein Aurélt. 1931-ben Hágában tartották az orientalisták nemzetközi kongresszusát, ahol Fábri az adzsantái sziklafreskókról tartott vetített képes előadást. Ezt követően kapta kézhez Stein Aurél megtisztelő meghívását, hogy csatlakozzon hozzá asszisztensként következő iráni kutatóútjára. Ez volt az első és egyetlen alkalom, amikor Stein magyar munkatársat vitt magával expedíciójára. Az ekkor már nős Fábri Károly (első felesége Olivia Lucas, festőművésznő volt) Budapesten keresztül utazott Indiába. A perzsa Makránon és a Perzsa-öböl tengerpartján folytatott négy hónapig tartó expedíció után Fábri a British Museumban dolgozta fel az általuk gyűjtött leleteket F. H. Andrewszal, Stein Aurél régi barátjával és művészettörténész munkatársával, majd visszatért Leidenbe, mert Stein anyagi okokból kénytelen volt lemondani további segítségéről második iráni kutatóútján. Kern halála után az intézet sorsa pénzügyi okokból bizonytalanná vált, így Fábri Németh Gyulánál érdeklődött budapesti egyetemi állás iránt. „Talán nem szerénytelenség, ha újból emlegetni bátorkodom egy magyarországi elhelyezkedés lehetőségét. Tudom, hogy milyen szörnyű a helyzet odahaza. S mégis vágyódom arra, hogy kis tudásomat (s amit még tanulni fogok!) odahaza váltsam hasznos aprópénzre. Tudományágom otthon nemcsak, hogy teljesen elhanyagolt, de soha még nem volt képviselve!” De hiába mellékelte kéréséhez Stein Aurél levelét is, Németh nem tudott kérésének eleget tenni.

1933. szeptember 28-án Fábri Budapesten a Kőrösi Csoma Társaság ülésén számolt be Stein Auréllal együtt tett expedíciójukkal kapcsolatban az Indus-völgyi civilizáció régészeti feltárásáról. Minthogy nem sikerült budapesti egyetemi katedrához jutnia, 1933-ban elfogadta Rabindranath Tagore meghívását Sántinikétanba, ahol művészettörténeti előadásokat tartott az egyetemen. Már néhány hónapja Bengálban tartózkodott, amikor Theodor van Erp, a hollandiai Ázsiai Művészeti Társaság (Asian Art Society in the Netherland) megbízásából elérte őt a társaság kérésével, hogy segítsen megvásárolni egy szobrot a múzeum számára. Fábri elfogadta a felkérést, annál is inkább, hiszen megbízatása Sántinikétanban csak időleges volt. Két hónap alatt talált megfelelő szobrot, amelyet a mellékelt fotó alapján a társaság jóvá is hagyott. 1934. július 23-án elküldték a pénzt Kalkuttába a műtárgyra és a felmerülő költségekre, amely több volt, mint Fábri egyéves fizetése a Kern Institute -ban. A szobrot október 12-én tették hajóra Kalkuttában, és néhány hónap múlva megérkezett Hollandiába. A Társaságban azonban ekkor már többen kritikával illették a művet, így Fábri megbízatása ezzel az akcióval lezárult.

Sántinikétanból gyakran látogatott el Kalkuttába, ahol szintén előadásokat tartott az egyetemen. Később meghívást kapott Lahórból, a Punjab Universitytől, ahol korábban Stein Aurél is dolgozott. Ahogy Budapesten tartott előadásaiból kitűnt, Fábrit különösen foglalkoztatták a harappái és mohendzsó-dárói ásatások. Mások mellett ő is kísérletet tett a civilizáció írásának a megfejtésére, amelyet kapcsolatba hozott a magyar rovásírással, de ez neki sem sikerült. Neve ekkor már jól csengett a régészszakmában a Kern Institute-ban végzett szerkesztői tevékenysége és nem utolsósorban Stein Auréllal való munkakapcsolata folytán, akitől elsajátította a terepmunka módszereit. 1935-től a kormány megbízására az Indiai Régészeti Felügyelőség éves beszámolóinak, az Annual Report of the Archaeological Survey of India című sorozatnak a szerkesztésével is foglalkozott, 1936–1937-ben pedig a Lahore Central Museum átszervezésének feladatát vállalta el. Kurátori tevékenysége mellett „A hónap műtárgya” programsorozat elindításával a nagyközönség érdeklődését igyekezett felkelteni az archaeológia iránt. Régészeti tárgyú cikkeiben, tanulmányaiban arra törekedett, hogy a laikusok számára is közérthető formában tárgyalja a témát. Ugyanakkor írásainak jellemzője volt, hogy vitára sarkalljon, gondolatokat ébresszen az olvasóiban. 1938–1939-ben csatlakozott a Punjab Exploration Fundhoz, ahol ásatásokon dolgozhatott. A legtöbb régészeti tárgyú munkája még azelőtt született, mielőtt áttelepült volna Delhibe, 1947 után terepmunkán már csak Orisszában vett részt. Munkája mellett beutazta Indiát, és alkalma nyílt találkozni India számos vezető személyiségével, így például Gandhi­val is, a vele készült beszélgetését a Harijan című lap közölte.

1937-ben megkapta a brit állampolgárságot, és a második világháborúban már ebben a minőségében csatlakozott a hadsereghez, ahol a Királyi Légierőnél szolgált, majd a hírszerzésnél. A háború után visszatért Lahórba, és a múzeum kurátora lett, új leletekkel gyarapítva az állományt. Ekkoriban írta meg Indian Flamingo című regényét is.

1947-ben feleségül vette C. L. Mathur professzor leányát, Ratnát, aki festőművész és belsőépítész volt. India kettéosztása, a vallási fanatizmus mélyen érintette Fábrit, hiszen felesége hindu volt. Itteni életükről Anwar Ali memoárjában azt írta, hogy Fábri akkor hagyta el Lahórt, amikor az újságok elkezdték támadni őt zsidó származása miatt, majd a Lahore Museum megszüntette kurátori állást, így fizetést sem kapott. Anwar Ali, a pakisztáni karikaturista adott neki kölcsönt, hogy ne nélkülözzenek. Fábri végül úgy döntött, hogy feleségével elhagyja Lahórt, és végleg Delhibe települtek át. Itt a Nemzeti Múzeum munkatársa lett (1947–1950), és művészeti kritikákat kezdett írni a The Statesman című lap számára, amelynek presztízséért is sokat tett, hiszen ez volt az első fővárosi lap, amely művészetekkel is foglalkozott. Emellett a Marg és a Design című folyóiratokban jelentek meg cikkei.

G. D. Birla, a Birla Education Trust elnöke az 1950-es években egy tudományos és technikai múzeum megalapítását határozta el, amelynek felállításával Fábrit bízta meg. A múzeum a Rádzsaszthánban lévő Pilaniban volt, ezért Fábri, mivel élete alapvetően Delhihez kötötte, az intézmény alapjainak létrehozása után hamarosan szakított a projekttel, asszisztensére, V. P. Berire bízva a munkát. 1950-ben született meg kisfia, Christopher Gautam, akit buddhistává fogadtak. Fábri maga is buddhista volt, erről Indrani Rahman táncművész azt mondta egy beszélgetésben, hogy amikor együtt utaztak Indiában, és olyan templomokban jártak, ahová csak buddhisták mehettek be, Fábri is buddhista öltözetben lépett be.

1950–1959 között művészettörténeti előadásokat tartott a Delhi Polytechnic (ma The Delhi School of Architecture) építészeti és művészeti tanszékén. 1956–1958 között elnyerte a Bollingen Foundation támogatását is. Ebben az időben sokat utazott, bejárta egész Indiát, volt Khadzsuráhóban, Adzsantában, Bádámiban, Kasmírban és persze Orisszában, ahová többször is visszament. 1958-ban készült el India művészettörténetéről szóló munkájával, amelyről Keleti Arthurnak azt írta, hogy forradalmi munka, élete fő műve, de a Fundamental History of Indian Art végül halála után sem jelent meg, kéziratban maradt. Yasodhara Dalmia szerint vélhetően azért, mert túl kritikus, tekintélyromboló látásmódja miatt a művészettörténet „enfant terrible”-jének tekintették.

Delhiben Fábri a főváros kulturális életének számos eseményére, kiállításokra, koncertekre, színházi előadásokra hívta fel a napilapok olvasóinak a figyelmét. Uma Sharma kathak táncos szerint „sasszemű” kritikus volt, egyedülálló pontossággal látta és kommentálta a művészvilágot, a művészeti eseményeket, az értékítéletek tekintetében övé volt az utolsó szó. Szenvedélyes elkötelezettje volt az esztétikai nevelésnek is. Az indiai művészethez, műalkotásokhoz új szemléletmóddal közelített, mert szerinte elfedi az igazságot, elrejti a műalkotások valódi szépségét, ha azokat pusztán spirituális, vallási-filozófiai keretek között értelmezik. Ő honosította meg a művészetkritikát Indiában, amelynek jelentőségéről a The Indian Listener című lapban írta a következőket. „A műalkotások hatalmas óceánja tele van varázslatos szigetekkel, ahol a fáradt utazó nemcsak pihenést, hanem váratlan örömöt is találhat. A hatalmas óceánon való átkelés legjobb módja nyilván az, ha jó kapitányt kap az ember, aki megmutatja az utat ezekre a kedves szigetekre. Ilyen kapitány a művészettörténész vagy a művészetkritikus.” Azt is hangsúlyozta, hogy az eredeti művekkel való találkozást nem pótolhatják a reprodukciók. Példaként Amrita Sher-Gil festményeit hozta fel, mert, ahogy fogalmazott, a vásznakról a géniusz beszél hozzánk. Amritát egyébként nyolcéves kora óta ismerte, és India legnagyobb művészeként tisztelte. Egy róla szóló tanulmányában úgy fogalmazott, hogy bár élete során kora számos kiváló emberével sikerült találkoznia, Einsteinnel, Stein Auréllal, Tagore-ral, Sylvain Lévyvel, Mahatma Gandhival, de egyikük sem volt rá érzelmileg olyan hatással, mint ő. Barátságuk 1937-től mélyült el, amikor Amrita Lahórban a Faletti’s Hotelben állította ki festményeit. Isar Renée Amritáról írt cikkében úgy emlékezett, hogy „az öreg Fábri, aki a Lahori Múzeum igazgatója volt, mikor Amrita ott festett, a legnagyobb csodálattal adózott már akkor is művészetének”.

Fábri Károly Amritán kívül elismeréssel szólt Satish Gujral festészetéről is. Gujral művészetét kivételesen eredetinek tartotta, 1964-ben, a New York-i Forum Galleryben nyílt kiállításának katalógusát ő szerkesztette. Gujral önéletrajzában Fábriról is megemlékezett. Utolsó találkozásukról azt jegyezte fel, hogy azon az estén egy kiállításon jártak, és Fábri ahelyett, hogy a The Statesmannél lévő irodájába ment volna, hogy megírja kritikáját a tárlatról, egy borítékot nyújtott át neki, amelyről később kiderült, hogy a saját gyászjelentése volt.

Dhanraj Bhagat szobrászművészt, aki Lahórban született, szintén Fábri fedezte fel, 1964-ben egy kötetet is megjelentetett róla. Yamini Krishnamurthy táncművész említette egy interjúban, hogyan segítette Fábri pályájukon a fiatal művészeket. Delhiben a lakásán fogadta őket, személyesen elbeszélgetett velük, nemcsak rámutatott a hibáikra, hanem útmutatást is adott nekik azok javítására. Élete végéig egyfajta összetartó erőt jelentett Delhi művészeti és kulturális elitjében.

Indiai utazásai közül különösen nagy hatást gyakorolt Fábrira Orissza, kivételes szerepe volt ősi táncának újrafelfedezésében. Erről Magyar­országon Sipos István több helyen is írt indiai táncokkal foglalkozó cikkeiben. 1962-ben, amikor Fábri hazalátogatott Magyarországra, Sipos találkozott vele, és sikerült élőszóban olyan értesüléseket szereznie „erről a mozgalomról, amit a nehezen hozzáférhető könyvek és folyóiratok amúgy sem minden esetben tartalmaznak”. 1972-ben pedig a következőket írta: „Az odisszi tánc újrafelfedezésében és a világ elé tárásában három személynek jutott jelentős feladat és szerep. Ez a három személy Mayadhar Mansinha író, irodalomtörténész és kutató, Fábri Károly művészettörténész és tánckritikus, valamint Indrani Rahman, a félig amerikai származású kitűnő indiai táncosnő. Az 1950-es évek második felében kezdtek el foglalkozni Indiában az odisszi tánc újrafelfedezésével, az emlékek és régi írások felkutatásával.” Kritikusként Fábri ösztönzően hatott Indrani Rahman táncművészetére, arra buzdította őt, hogy foglalkozzon az odisszi tánccal, amely akkoriban még nem került reflektorfénybe. Fábri szerint ez a tánc hétszáz éves múltra tekinthetett vissza, és lehetségesnek tartotta, hogy jobban megőrizte eredetiségét, mint a bharatanatjam. Évekig küzdött a Sangeet Natak Academyn (Nemzeti Előadóművészeti Akadémián) az odisszi tánc elismertetésére a klasszikus táncok között. Erről Rukmini Devi, a Kalakshetra táncegyüttes igazgatója is megemlékezett, amikor az együttes 1970-ben Magyarországon lépett fel. Fábri Orissza művészettörténetéről írt könyve csak évekkel halála után, posztumusz jelent meg 1974-ben Delhiben és Londonban. A könyvről írt recenziójában Krishna Chaitanya Fábri egyik legfontosabb művének nevezte ezt a kötetet, mert szerinte ebben a szerző kísérletet tett az orisszai művészet főbb szakaszainak a megállapítására. Az indiai viselettörténetről is megjelent egy könyve, ehhez művészettörténeti tanulmányain kívül a színház iránti rajongása vezette. 1963–1964-ben elnyerte a legjobb kosztümtervért járó díjat a Durbar-e-Akbari éves drámaversenyén a Delhi Natya Sanghtól.

1962-ben Magyarországra is ellátogatott, több előadást tartott India művészetéről az egyetemen, a Hopp Ferenc Múzeumban, a Kossuth Klubban és a Fészek Klubban. Ez utóbbiról a Magyar Hírekben megjelent egy fotó is, amelyen a hallgatóság első sorában Baktay Ervin látható. A cikk szerzője, Hernádi Magda a rokonai lakásán kereste fel egy rövid beszélgetésre Fábrit, aki elmondta, hogy 1959-ben is járt Európában, de Magyarországra csak most kapott meghívást a Kulturális Kapcsolatok Intézetétől. Örömmel tapasztalta, hogy Baktay Ervin könyvei révén nőtt az érdeklődés India művészete iránt, majd megemlítette, hogy India és Magyarország között a zene is fontos közvetítő szerepet játszik: „Bartók akkordjai a modern indiai nagyvárosok koncerttermeiben is mindig elementáris erővel csendülnek fel.” Budapesti látogatásán találkozott Fábri Halász Ferenccel, aki akkoriban Stein Aurélról szóló könyvén dolgozott. Erről Fábri egy ismerőse révén szerzett tudomást, felkereste Halászt, és mesélt neki Steinről, közösen megtett kutatóútjukról, majd együtt elmentek a Keleti Könyvtárba „Stein Aurél emlékét idézni a régi könyvek között”.

Fábri 1966-ban kezdett betegeskedni, amikor rákot diagnosztizáltak nála. 1968. július 4-én halt meg, másnap hamvasztották el, barátok, tisztelők százai voltak jelen utolsó rítusánál.

Fábri Károly életéről és munkásságáról 1980-ban Delhiben jelent meg egy kötet Bethlenfalvy Géza szerkesztésében, amelynek válogatott bibliog­ráfiája másfél száz tételt tartalmaz. Itt található cikkei, tanulmányai angolul és külföldön jelentek meg. Magyarul csak azt a két kötetet publikálta, amelyet a pécsi egyetem adott ki.