Hvernig á að nota NVIDIA skjákort fyrir gervigreindarþjálfun

Hvernig á að nota NVIDIA skjákort fyrir gervigreindarþjálfun

Stutt svar: Notið NVIDIA skjákort fyrir gervigreindarþjálfun með því að staðfesta fyrst að reklar og skjákort séu sýnileg með nvidia-smi , setja síðan upp samhæft rammaverk/CUDA-stafla og keyra lítið „líkan + hópur á cuda“ próf. Ef minni er orðið of lítið, minnkið hópstærðina og notið blandaða nákvæmni, á meðan þið fylgist með nýtingu, minni og hitastigi.

Lykilatriði:

Grunnprófanir : Byrjaðu með nvidia-smi ; lagaðu sýnileika rekla áður en þú setur upp ramma.

Staflasamrýmanleiki : Haltu útgáfum af reklum, CUDA keyrslutíma og ramma samstilltum til að koma í veg fyrir hrun og brothættar uppsetningar.

Lítill árangur : Staðfestu að ein framvirk keyrsla á CUDA sé framkvæmd áður en tilraunir eru stækkaðar.

VRAM agi : Leggðu áherslu á blandaða nákvæmni, hallasöfnun og eftirlitspunkta til að passa við stærri líkön.

Eftirlitsvenja : Fylgist með notkun, minnismynstri, afli og hitastigi svo þú getir komið auga á flöskuhálsa snemma.

Greinar sem þú gætir viljað lesa eftir þessa:

🔗 Hvernig á að byggja upp AI umboðsmann
Hannaðu vinnuflæði, verkfæri, minni og öryggisbúnað umboðsmannsins.

🔗 Hvernig á að dreifa gervigreindarlíkönum
Setja upp umhverfi, pakka líkönum og senda í framleiðslu á áreiðanlegan hátt.

🔗 Hvernig á að mæla afköst gervigreindar
Veldu mælikvarða, keyrðu mat og fylgstu með árangri með tímanum.

🔗 Hvernig á að sjálfvirknivæða verkefni með gervigreind
Sjálfvirknivæðið endurtekið starf með fyrirmælum, vinnuflæði og samþættingum.

1) Stóra myndin - hvað þú ert að gera þegar þú „þjálfar á GPU“ 🧠⚡

Þegar þú þjálfar gervigreindarlíkön ertu aðallega að vinna með fylkjastærðfræði. GPU-einingar eru hannaðar fyrir þess konar samhliða vinnu, þannig að rammar eins og PyTorch, TensorFlow og JAX geta afhent GPU-eininguna þunga vinnuna. ( PyTorch CUDA skjöl , TensorFlow uppsetning (pip) , JAX flýtileiðbeiningar )

Í reynd þýðir „að nota NVIDIA skjákort til þjálfunar“ venjulega:

  • Líkanfæribreytur þínar eru (að mestu leyti) í GPU VRAM

  • Raðirnar þínar eru færðar úr vinnsluminni yfir í VRAM í hverju skrefi

  • Framsending og baksending keyra á CUDA kjarna ( CUDA forritunarhandbók )

  • Uppfærslur á fínstillingu gerast (helst) á skjákortinu

  • Þú fylgist með hitastigi, minni og notkun svo þú eldir ekkert 🔥 ( NVIDIA nvidia-smi skjöl )

Ef þetta hljómar eins og mikið, þá ekki hafa áhyggjur. Þetta er aðallega gátlisti og nokkrar venjur sem þú tileinkar þér með tímanum.

2) Hvað gerir góða útgáfu af NVIDIA GPU AI þjálfunaruppsetningu 🤌

Þetta er hlutinn „ekki byggja hús á hlaupi“. Góð uppsetning fyrir hvernig á að nota NVIDIA skjákort fyrir gervigreindarþjálfun er sú sem er lítil sem krefst mikillar álags. Lítil sem krefst mikillar álags er stöðugt. Stöðugt er hratt. Hröð er… ja, hratt 😄

Góð þjálfunaruppsetning hefur venjulega:

  • Nóg af VRAM fyrir stærð hópsins + líkan + stöður fínstillingar

    • VRAM er eins og ferðatöskurými. Þú getur pakkað snjallar en þú getur ekki pakkað endalaust.

  • Samsvarandi hugbúnaðarstakkur (rekill + CUDA keyrslutími + rammasamhæfni) ( PyTorch Byrjaðu (CUDA val) , TensorFlow uppsetning (pip) )

  • Hraðgeymsla (NVMe hjálpar mikið fyrir stór gagnasöfn)

  • Góð örgjörvi + vinnsluminni svo gagnahleðsla sveltir ekki skjákortið ( PyTorch afkastastillingarleiðbeiningar )

  • Kæling og aflhækkun (vanmetið þangað til það er það ekki lengur 😬)

  • Endurtakanlegt umhverfi (venv/conda eða gámar) svo uppfærslur verði ekki óreiðu ( yfirlit yfir NVIDIA Container Toolkit )

Og eitt í viðbót sem fólk gleymir:

  • Eftirlitsvenja - þú athugar minni og notkun skjákortsins eins og þú athugar spegla á meðan þú ekur. ( NVIDIA nvidia-smi skjöl )

3) Samanburðartafla - vinsælar leiðir til að þjálfa með NVIDIA skjákortum (með sérstökum eiginleikum) 📊

Hér að neðan er stutt svindlblað fyrir „hvað passar?“. Verðin eru gróf (því raunveruleikinn er breytilegur), og já, ein af þessum hólfum er svolítið óútreiknanleg, viljandi.

Tól / Aðferð Best fyrir Verð Af hverju það virkar (að mestu leyti)
PyTorch (vanillu) PyTorch flestir, flest verkefni Ókeypis Sveigjanlegt, risastórt vistkerfi, auðveld villuleit - allir hafa líka skoðanir
PyTorch Lightning Lightning skjöl teymi, skipulögð þjálfun Ókeypis Minnkar hefðbundnar aðgerðir, hreinsar lykkjur; stundum eins og „galdur“ þangað til það hættir
Huggandi andlitstransformers + þjálfari þjálfara skjöl Fínstilling í NLP + LLM Ókeypis Rafhlöðutengd þjálfun, frábær sjálfgefin stilling, skjótir sigrar 👍
Hraðaðu Hraðaðu skjöl fjöl-GPU án sársauka Ókeypis Gerir DDP minna pirrandi, gott til að stækka án þess að þurfa að endurskrifa allt
DeepSpeed ​​ZeRO skjöl stórar fyrirsætur, minnisbrellur Ókeypis Núll, afhleðsla, stigstærð - getur verið flókið en ánægjulegt þegar það smellpassar
TensorFlow + Keras TF uppsetning framleiðslulínur Ókeypis Sterk verkfæri, góð uppsetningarsaga; sumum finnst það frábært, öðrum ekki í hljóði
JAX + Flax JAX fljótleg byrjun / Flax skjöl rannsóknir + hraðanördar Ókeypis XLA-samsetning getur verið ótrúlega hröð, en kembiforritun getur virst ... óhlutbundin
Yfirlit yfir NVIDIA NeMo vinnuflæði fyrir ræðu + LLM Ókeypis NVIDIA-bjartsýni stafla, góðar uppskriftir - líður eins og að elda með fínum ofni 🍳
Docker + NVIDIA Container Toolkit Yfirlit yfir verkfærakistuna endurtakanleg umhverfi Ókeypis „Virkar á minni vél“ verður að „virkar á okkar vélum“ (að mestu leyti, aftur)

4) Skref eitt - staðfestu að skjákortið þitt sést rétt 🕵️♂️

Áður en þú setur upp tylft hluti skaltu staðfesta grunnatriðin.

Hlutir sem þú vilt að séu sannir:

  • Vélin sér skjákortið

  • NVIDIA bílstjórinn er rétt uppsettur

  • GPU-ið er ekki fast við að gera eitthvað annað

  • Þú getur spurt það áreiðanlega

Klassíska eftirlitið er:

Það sem þú ert að leita að:

  • Nafn skjákorts (t.d. RTX, A-sería o.s.frv.)

  • Útgáfa ökumanns

  • Minnisnotkun

  • Keyrsluferlar ( NVIDIA nvidia-smi skjöl )

Ef nvidia-smi bregst, hætta þá þar. Ekki setja upp ramma strax. Það er eins og að reyna að baka brauð þegar ofninn er ekki tengdur. ( NVIDIA System Management Interface (NVSMI) )

Lítil athugasemd frá mönnum: stundum nvidia-smi en þjálfunin mistekst samt vegna þess að CUDA keyrslutíminn sem ramminn þinn notar stenst ekki væntingar ökumannsins. Þetta er ekki bara heimskur tími. Þannig er það… bara 😭 ( PyTorch Byrjaðu (CUDA selector) , TensorFlow uppsetning (pip) )

5) Smíða hugbúnaðarpakkann - rekla, CUDA, cuDNN og „samrýmanleikadansinn“ 💃

Þetta er þar sem fólk tapar klukkustundum. Bragðið er: veldu leið og haltu þig við hana .

Valkostur A: CUDA með ramma (oft auðveldast)

Margar PyTorch útgáfur koma með eigin CUDA keyrslutíma, sem þýðir að þú þarft ekki að hafa fullt CUDA verkfærakistu uppsett í öllu kerfinu. Þú þarft að mestu leyti bara samhæfan NVIDIA rekla. ( Byrjaðu á PyTorch (CUDA val) , Fyrri PyTorch útgáfur (CUDA hjól) )

Kostir:

  • Færri hreyfanlegir hlutar

  • Auðveldari uppsetningar

  • Endurtakanlegara eftir umhverfi

Ókostir:

  • Ef þú blandar umhverfi saman af handahófi geturðu ruglast

Valkostur B: CUDA verkfærakista kerfisins (meiri stjórn)

Þú setur upp CUDA verkfærakistuna á kerfið og samstillir allt við hana. ( CUDA verkfærakist skjölun )

Kostir:

  • Meiri stjórn fyrir sérsmíði, nokkur sérstök verkfæri

  • Handhægt til að setja saman ákveðnar aðgerðir

Ókostir:

  • Fleiri leiðir til að misræma útgáfur og gráta hljóðlega

cuDNN og NCCL, á mannlegum forsendum

  • cuDNN flýtir fyrir djúpnámsfrumstæðum (föllum, RNN bitum o.s.frv.) ( NVIDIA cuDNN skjöl )

  • NCCL er hraðvirkt „GPU-til-GPU samskiptabókasafn“ fyrir þjálfun margra GPU ( yfirlit yfir NCCL )

Ef þú ert að þjálfa í mörgum skjákortum (Multi-GPU), þá er NCCL besti vinur þinn - og stundum skapstór herbergisfélagi þinn. ( Yfirlit yfir NCCL )

6) Fyrsta GPU þjálfunarkeyrslan þín (dæmi um hugarfar PyTorch) ✅🔥

Til að fylgja leiðbeiningunum um hvernig á að nota NVIDIA skjákort fyrir gervigreindarþjálfun þarftu ekki að gera risastórt verkefni fyrst. Þú þarft lítinn árangur.

Kjarnahugmyndir:

  • Greina tæki

  • Færa líkanið yfir á skjákortið

  • Færa tensora yfir í GPU

  • Staðfestu að áframsendingarkeyrslan þar ( PyTorch CUDA skjöl )

Það sem ég athuga alltaf geðheilsu mína snemma:

Algengar spurningar eins og „af hverju er þetta hægt?“

  • Gagnahleðslutækið þitt er of hægt (GPU bíður aðgerðalaust) ( PyTorch afkastastillingarleiðbeiningar )

  • Þú gleymdir að færa gögnin yfir á skjákortið (úps)

  • Hópastærðin er lítil (GPU vannýtt)

  • Þú ert að nota mikla forvinnslu örgjörvans í þjálfunarstiginu

Já, skjákortið þitt lítur oft út fyrir að vera „ekki svo upptekið“ ef flöskuhálsinn er gögnin. Það er eins og að ráða kappakstursökumann og láta hann bíða eftir bensíni í hverri hringferð.

7) VRAM leikurinn - hópstærð, blandað nákvæmni og ekki sprenging 💥🧳

Flest verkleg þjálfunarvandamál snúast um minni. Ef þú lærir eina færni, lærðu þá VRAM stjórnun.

Fljótlegar leiðir til að draga úr minnisnotkun

„Af hverju er VRAM ennþá fullt eftir að ég hætti?“ augnablikið

Rammar vista oft skyndiminni til að auka afköst. Þetta er eðlilegt. Það lítur ógnvekjandi út en það er ekki alltaf leki. Þú lærir að lesa mynstrin. ( PyTorch CUDA merkingarfræði: skyndiminni úthlutun )

Hagnýt venja:

8) Láttu skjákortið virka í raun og veru - afköst sem eru þess virði að eyða tíma í 🏎️

Að fá „þjálfun í skjákortavinnslu“ til að virka er fyrsta skrefið. Að gera það hratt er annað skrefið.

Hagræðingar með mikilli áhrifum

Mest gleymda flöskuhálsinn

Geymslu- og forvinnsluferlið þitt. Ef gagnasafn þitt er gríðarstórt og geymt á hægum diski, verður skjákortið þitt dýr geimhitari. Mjög háþróaður, mjög glansandi geimhitari.

Einnig, lítil játning: Ég hef „fínstillt“ líkan í klukkustund og áttaði mig á því að skráning var flöskuhálsinn. Of mikil prentun getur hægt á þjálfun. Já, það getur það.

9) Þjálfun í mörgum skjákortum - DDP, NCCL og uppskalun án óreiðu 🧩🤝

Þegar þú vilt meiri hraða eða stærri gerðir, þá velurðu marga skjákorta. Þá verður þetta spennandi.

Algengar aðferðir

  • Samhliða gögn (DDP)

    • Skiptu hópum yfir skjákort, samstilltu stigul

    • Venjulega er sjálfgefinn „góður“ valkostur ( PyTorch DDP skjöl )

  • Líkan samsíða / Tensor samsíða

    • Skipta líkaninu yfir skjákort (fyrir mjög stórar gerðir)

  • Samsíða leiðsla

    • Skipta líkanlögum í stig (eins og samsetningarlína, en fyrir tensora)

Ef þú ert að byrja, þá er DDP-stíll þjálfun kjörinn kostur. ( PyTorch DDP kennsla )

Hagnýt ráð fyrir marga skjákorta

  • Gakktu úr skugga um að skjákortin séu jafn fær um það (blöndun getur valdið flöskuhálsi)

  • Horfa á tengingu: NVLink vs PCIe skiptir máli fyrir samstillingarþung vinnuálag ( yfirlit yfir NVIDIA NVLink , skjöl frá NVIDIA NVLink )

  • Haltu jafnvægi í hópstærðum fyrir hverja GPU

  • Ekki hunsa örgjörva og geymslupláss - fjölþætt skjákort geta magnað upp flöskuhálsa í gögnum

Og já, villur í NCCL geta fundist eins og gáta vafin í ráðgátu sem er vafið í „hvers vegna nú“. Þú ert ekki bölvaður. Sennilega. ( Yfirlit yfir NCCL )

10) Eftirlit og prófílun - það óspennandi sem sparar þér klukkustundir 📈🧯

Þú þarft ekki fín mælaborð til að byrja. Þú þarft að taka eftir því þegar eitthvað er að.

Lykilmerki til að fylgjast með

  • GPU-notkun : er hún stöðugt mikil eða sveiflukennd?

  • Minnisnotkun : stöðug, hækkandi eða skrýtin?

  • Orkunotkun : óvenju lítil getur þýtt vannýtingu

  • Hiti : viðvarandi hár hiti getur dregið úr afköstum

  • Notkun örgjörva : vandamál með gagnaflutningsleiðir birtast hér ( PyTorch afköstastillingarleiðbeiningar )

Hugsunarháttur í prófílgerð (einföld útgáfa)

  • Ef skjákortið nýtir sig lítið - gagna- eða örgjörvaflöskuháls

  • Ef skjákortið er hátt en hægt - óhagkvæmni kjarna, nákvæmni eða líkanarkitektúr

  • Ef þjálfunarhraðinn lækkar af handahófi - hitastýring, bakgrunnsferli, I/O-vandamál

Ég veit, eftirlit hljómar ekki skemmtilegt. En það er eins og að nota tannþráð. Pirrandi, en svo skyndilega batnar lífið.

11) Úrræðaleit - það venjulega (og það sjaldgæfara) 🧰😵💫

Þessi hluti er í grundvallaratriðum: „sömu fimm málin, að eilífu.“

Vandamál: CUDA minni er uppurið

Lagfæringar:

Vandamál: Þjálfun keyrir óvart á örgjörvanum

Lagfæringar:

  • tryggja að líkanið hafi verið flutt yfir í CUDA

  • tryggja að tensorarnir séu færðir yfir í CUDA

  • Athugaðu stillingar rammabúnaðar ( PyTorch CUDA skjöl )

Vandamál: Undarleg hrun eða ólöglegur aðgangur að minni

Lagfæringar:

Vandamál: Hægara en búist var við

Lagfæringar:

Vandamál: Margfeldi skjákortakerfi frystir

Lagfæringar:

  • staðfesta réttar stillingar fyrir bakhlið ( dreifð skjöl frá PyTorch )

  • Athugaðu stillingar NCCL umhverfisins (gætið þess vandlega) ( yfirlit yfir NCCL )

  • prófaðu fyrst eina GPU

  • tryggja að netið/tengingin sé í lagi

Lítil athugasemd til baka: stundum er lagfæringin bókstaflega að endurræsa. Það finnst kjánalegt. Það virkar. Tölvur eru þannig.

12) Kostnaður og notagildi - að velja rétta NVIDIA skjákortið og uppsetninguna án þess að hugsa of mikið 💸🧠

Ekki þarf öll verkefni stærsta skjákortið. Stundum þarf nægilegt skjákort.

Ef þú ert að fínstilla meðalstórar gerðir

Ef þú ert að þjálfa stærri gerðir frá grunni

Ef þú ert að gera tilraunir

  • Þú vilt hraða endurtekningu

  • Ekki eyða öllum peningunum þínum í skjákort og svo svelta geymslupláss og vinnsluminni

  • Jafnvægiskerfi vinnur skekkt kerfi (flesta daga)

Og í raun er hægt að sóa vikum í að eltast við „fullkomna“ vélbúnaðarvalkosti. Smíðaðu eitthvað nothæft, mældu og aðlagaðu svo. Hinn raunverulegi óvinur er að hafa ekki endurgjöfarlykkju.

Lokaorð - Hvernig á að nota NVIDIA skjákort fyrir gervigreindarþjálfun án þess að missa vitið 😌✅

Ef þú lærir ekkert annað úr þessari handbók um hvernig á að nota NVIDIA skjákort fyrir gervigreindarþjálfun , taktu þá þessa:

Að þjálfa sig í NVIDIA skjákortum er ein af þeim færniþáttum sem finnst ógnvekjandi, en svo skyndilega er það bara... eðlilegt. Eins og að læra að keyra. Í fyrstu er allt hávært og ruglingslegt og þú grípur of fast í stýrið. Svo einn daginn ertu að keyra, drekka kaffi og leyna smám saman vandamálum með stærð hópsins eins og það sé ekkert mál ☕😄

Algengar spurningar

Hvað það þýðir að þjálfa gervigreindarlíkan á NVIDIA skjákorti

Þjálfun á NVIDIA skjákorti þýðir að líkansbreytur þínar og þjálfunarhópar eru geymdir í GPU VRAM, og þung stærðfræði (framsending, bakprop, fínstillingarskref) keyrir í gegnum CUDA kjarna. Í reynd snýst þetta oft um að tryggja að líkanið og tensorarnir séu á CUDA og fylgjast síðan með minni, nýtingu og hitastigi svo afköstin haldist stöðug.

Hvernig á að staðfesta að NVIDIA skjákort virki áður en nokkuð annað er sett upp

Byrjaðu á nvidia-smi . Það ætti að sýna nafn skjákortsins, útgáfu rekla, núverandi minnisnotkun og öll keyrandi ferli. Ef nvidia-smi bregst, bíddu þá á PyTorch/TensorFlow/JAX - lagaðu fyrst sýnileika rekla. Þetta er grunnlínan „er ​​ofninn tengdur“ fyrir skjákortsþjálfun.

Að velja á milli kerfis CUDA og CUDA sem fylgir PyTorch

Algeng aðferð er að nota CUDA sem fylgir ramma (eins og mörg PyTorch hjól) því það dregur úr hreyfanlegum hlutum - þú þarft aðallega samhæfan NVIDIA rekla. Að setja upp allt CUDA verkfærakistuna býður upp á meiri stjórn (sérsniðnar byggingar, þýðingaraðgerðir), en það skapar einnig fleiri möguleika á útgáfuósamræmi og ruglingslegum keyrsluvillum.

Af hverju þjálfun getur samt verið hæg jafnvel með NVIDIA GPU

Oft er skjákortið svelta af inntaksleiðslunni. Gagnahleðslutæki sem töfast, mikil forvinnsla örgjörvans í þjálfunarstigi, litlar hópstærðir eða hæg geymsla geta allt gert það að verkum að öflugt skjákort hegðar sér eins og óvirkur rýmishitari. Að auka fjölda gagnahleðslustarfsmanna, virkja fast minni, bæta við forsöfnun og minnka skráningu eru algeng fyrstu skrefin áður en líkaninu er kennt um.

Hvernig á að koma í veg fyrir villur sem segja „CUDA er ekki lengur í minni“ við þjálfun á NVIDIA GPU

Flestar lausnir eru VRAM aðferðir: minnka hópstærð, virkja blandaða nákvæmni (FP16/BF16), nota stigulsöfnun, stytta raðlengd/skurðarstærð eða nota virkjunareftirlitspunkta. Athugaðu einnig hvort önnur GPU ferli neyti minnis. Sum tilraunakennd aðferð er eðlileg - VRAM fjárhagsáætlun verður kjarninn í hagnýtri GPU þjálfun.

Af hverju VRAM getur samt litið út fyrir að vera fullt eftir að þjálfunarhandrit lýkur

Rammar vista oft GPU-minni í skyndiminni til að auka hraða, þannig að frátekið minni getur haldist hátt jafnvel þegar úthlutað minni minnkar. Þetta getur líkst leka, en það er oft skyndiminniúthlutarinn sem hegðar sér eins og til er ætlast. Hagnýt venja er að fylgjast með mynstrinu með tímanum og bera saman „úthlutað vs. frátekið“ frekar en að festa sig við eina ógnvekjandi skyndimynd.

Hvernig á að staðfesta að líkan sé ekki að þjálfa sig hljóðlega á örgjörva

Athugið skynsemi snemma: staðfestið að torch.cuda.is_available() skilar True , staðfestið að next(model.parameters()).device sýni cuda og keyrið eina áframsendingu án villna. Ef afköstin virðast grunsamlega hæg, staðfestið einnig að runurnar séu færðar yfir á skjákortið. Það er algengt að færa líkanið og skilja gögnin eftir óvart.

Einfaldasta leiðin inn í þjálfun fyrir margar skjákort

Samhliða gagnaþjálfun (DDP-stíls þjálfun) er oft besta fyrsta skrefið: að skipta hópum yfir skjákort og samstilla stigul. Verkfæri eins og Accelerate geta gert notkun margra skjákorta minna sársaukafull án þess að þurfa að endurskrifa kerfið að fullu. Búist er við auka breytum - NCCL samskiptum, mismun á tengingum (NVLink vs PCIe) og auknum flöskuhálsum í gögnum - þannig að smám saman að stækka eftir góða keyrslu á einni skjákorti gengur yfirleitt betur.

Hvað þarf að fylgjast með við þjálfun í NVIDIA GPU til að greina vandamál snemma

Fylgist með notkun skjákortsins, minnisnotkun (stöðug á móti hækkun), orkunotkun og hitastigi - hraðastilling getur hægt á sér. Fylgist einnig með notkun örgjörvans, þar sem vandamál með gagnaleiðslur birtast oft þar fyrst. Ef notkunin er óstöðug eða lítil skaltu gruna I/O eða gagnahleðslutæki; ef hún er mikil en skreftíminn er samt hægur skaltu prófa kjarna, nákvæmnisstillingu og sundurliðun skreftíma.

Heimildir

  1. NVIDIA - NVIDIA nvidia-smi skjöl - docs.nvidia.com

  2. NVIDIA - NVIDIA kerfisstjórnunarviðmót (NVSMI) - developer.nvidia.com

  3. NVIDIA - Yfirlit yfir NVIDIA NVLink - nvidia.com

  4. PyTorch - Byrjaðu á PyTorch (CUDA valmöguleiki) - pytorch.org

  5. PyTorch - PyTorch CUDA skjöl - docs.pytorch.org

  6. TensorFlow - TensorFlow uppsetning (pip) - tensorflow.org

  7. JAX - JAX fljótleg byrjun - docs.jax.dev

  8. Faðmandi andlit - Þjálfaragögn - huggingface.co

  9. Gervigreind eldingar - Skjöl um eldingu - lightning.ai

  10. DeepSpeed ​​- ZeRO skjöl - deepspeed.readthedocs.io

  11. Microsoft rannsóknir - Microsoft rannsóknir: ZeRO/DeepSpeed ​​- microsoft.com

  12. PyTorch umræður - PyTorch umræður: athuga líkan á CUDA - discuss.pytorch.org

Finndu nýjustu gervigreindina í opinberu versluninni fyrir gervigreindaraðstoðarmenn

Um okkur

Til baka á bloggið