Hlutageymsla fyrir gervigreind: Val, val, val

Þegar flestir heyra orðið „gervigreind“ þá sjá þeir fyrir sér tauganet, fínar reiknirit eða kannski þessi dálítið óhugnanlegu mannlegu vélmenni. Það sem sjaldan er nefnt í upphafi er þetta: Gervigreind étur geymslurými næstum jafn mikið og hún reiknar . Og það er ekki bara hvaða geymslurými sem er sem situr hljóðlega í bakgrunni og vinnur það óglæsilega en algerlega nauðsynlega verk að fæða líkön með gögnunum sem þau þurfa.

Við skulum skoða hvað gerir hlutageymslu svo mikilvæga fyrir gervigreind, hvernig hún er frábrugðin „gamla varðliðinu“ í geymslukerfum og hvers vegna hún endar með því að vera einn af lykilþáttunum fyrir stigstærð og afköst.

Greinar sem þú gætir viljað lesa eftir þessa:

🔗 Hvaða tækni þarf að vera til staðar til að nota stórfellda skapandi gervigreind fyrir fyrirtæki?
Lykiltækni sem fyrirtæki þurfa til að stækka skapandi gervigreind á skilvirkan hátt.

🔗 Gagnastjórnun fyrir gervigreindartól sem þú ættir að skoða
Bestu starfsvenjur við meðhöndlun gagna til að hámarka afköst gervigreindar.

🔗 Áhrif gervigreindar á viðskiptastefnu
Hvernig gervigreind hefur áhrif á viðskiptaáætlanir og langtímaákvarðanatöku.

Hvað gerir hlutageymslu að góðum notum fyrir gervigreind? 🌟

Meginhugmyndin: Geymsla hluta þarf ekki að hafa áhyggjur af möppum eða stífum blokkaskipanum. Hún skiptir gögnum í „hluti“, sem hver er merktur með lýsigögnum. Þessi lýsigögn geta verið á kerfisstigi (stærð, tímastimplar, geymsluflokkur) og notendaskilgreind lykil:gildi merki [1]. Hugsaðu um það eins og hverja skrá sem inniheldur stafla af minnismiðum sem segja þér nákvæmlega hvað hún er, hvernig hún var búin til og hvar hún passar í gagnagrunninn þinn.

Fyrir gervigreindarteymi er þessi sveigjanleiki byltingarkenndur:

• Stærð án mígrenis - Gagnavötn teygja sig í petabæti og hlutgeymslur meðhöndla það auðveldlega. Þau eru hönnuð fyrir nánast ótakmarkaðan vöxt og endingu í mörgum AZ-svæðum (Amazon S3 státar af „11 níum“ og sjálfgefinni afritun milli svæða) [2].

• Auðlegð lýsigagna - Hraðari leitir, hreinni síur og snjallari leiðslur þar sem samhengið fylgir hverjum hlut [1].

• Skýjabundið - Gögn berast inn í gegnum HTTP(S), sem þýðir að þú getur samsíðað tildrátt og haldið dreifðri þjálfun gangandi.

• Seigla innbyggð - Þegar þú ert að þjálfa í marga daga geturðu ekki átt á hættu að spilltur skerður drepi tímabil 12. Hlutageymsla forðast það með hönnun [2].

Þetta er í grundvallaratriðum botnlaus bakpoki: kannski óreiðukennt að innan, en allt er samt hægt að ná í þegar maður nær í hann.

Tafla með stuttri samanburðartöflu fyrir geymslu á hlutum með gervigreind 🗂️

Berið alltaf saman verðlagningu við raunverulega notkun – sérstaklega útgang, beiðnimagn og blöndu af geymsluflokkum.

Af hverju gervigreindarþjálfun elskar geymslu hluta 🧠

Þjálfun snýst ekki um „fáar skrár“. Þetta eru milljónir á milljónir færslna sem eru eyðilagðar samsíða. Stigveldisbundin skráarkerfi gefa eftir undir mikilli samhliða virkni. Hlutageymsla kemur í veg fyrir það með flötum nafnrýmum og hreinum API-um. Sérhver hlutur hefur einstakan lykil; verktakar dreifast og sækja samsíða. Sameinuð gagnasöfn + samsíða I/O = GPU-einingar halda áfram að vera uppteknar í stað þess að bíða.

Ráð úr skotgröfunum: Haldið heitum geymsluskjölum nálægt tölvuklasanum (sama svæði eða svæði) og skyndiminni af krafti á SSD diskum. Ef þið þurfið nánast beina strauminnsendingu inn í skjákortin, þá NVIDIA GPUDirect Storage þess virði að skoða - það minnkar biðminni örgjörvans, minnkar seinkun og eykur bandvídd beint í hraðlana [4].

Lýsigögn: Vanmetinn ofurkraftur 🪄

Hér skín geymsla hluta á minna augljósan hátt. Við upphleðslu er hægt að tengja við sérsniðin lýsigögn (eins og x-amz-meta-… fyrir S3). Til dæmis gæti sjónrænt gagnasafn merkt myndir með lighting=low eða blur=high . Það gerir leiðslum kleift að sía, jafna eða lagskipta án þess að þurfa að endurskanna hráar skrár [1].

Og svo er það útgáfustjórnun . Margar hlutageymslur geyma margar útgáfur af hlut hlið við hlið - fullkomið fyrir endurtakanlegar tilraunir eða stjórnunarstefnur sem þarfnast afturköllunar [5].

Hlutur vs. blokk vs. skráargeymsla ⚔️

• Blokkgeymsla : Frábært fyrir viðskiptagagnagrunna - hratt og nákvæmt - en of dýrt fyrir ómótað gögn á stærð við petabæti.

• Skráageymsla : Kunnugleg, POSIX-væn, en möppur kafna við gríðarlega samsíða álagi.

• Geymsla hluta : Hannað frá grunni til að auka stærðargráðu, samsíða notkun og aðgang að lýsigögnum [1].

Ef þú vilt nota klaufalega myndlíkingu: blokkageymsla er skjalaskápur, skráageymsla er skjáborðsmappa og hlutageymsla er ... botnlaus gryfja með límmiðum sem gera hana einhvern veginn nothæfa.

Blönduð gervigreindarvinnuflæði 🔀

Þetta er ekki alltaf eingöngu í skýinu. Algeng blanda lítur svona út:

• Geymsla á staðnum (MinIO, Dell ECS) fyrir viðkvæm eða eftirlitsskyld gögn.

• Geymsla skýjahluta fyrir vinnuálag, tilraunir eða samvinnu.

Þessi jafnvægi hefur áhrif á kostnað, reglufylgni og lipurð. Ég hef séð teymi bókstaflega henda terabætum yfir nótt í S3 fötu bara til að kveikja á tímabundnum GPU-klasa - og svo kjarnorkusprengja það allt þegar sprettinum lýkur. Fyrir þrengri fjárhagsáætlanir gerir flat-rate/no-egress líkan Wasabi [3] lífið auðveldara að spá fyrir um.

Hlutinn sem enginn státar af 😅

Raunveruleikapróf: það er ekki gallalaust.

• Seinkun - Ef útreikningur og geymslurými eru of langt frá hvor annarri, þá skríða skjákortin þín. GDS hjálpar, en arkitektúrinn skiptir samt máli [4].

• Kostnaðaróvæntingar - Gjöld vegna útgangs og API-beiðna læðist að fólki. Sumir þjónustuaðilar fella þau niður (Wasabi gerir það; aðrir ekki) [3].

• Mikilvæg ringulreið í lýsigögnum - Hver skilgreinir „sannleikann“ í merkjum og útgáfum? Þú þarft samninga, stefnur og einhverja stjórnunarhæfni [5].

Geymsla hluta er pípulagnir innviða: mikilvægt, en ekki glæsilegt.

Hvert það stefnir 🚀

• Snjallari, gervigreindarvæn geymsla sem merkir og birtir gögn sjálfkrafa með SQL-líkum fyrirspurnarlögum [1].

• Nánari samþætting vélbúnaðar (DMA slóðir, NIC afhleðslur) svo að skjákort séu ekki með takmarkað inntak/úttak [4].

• Gagnsæ og fyrirsjáanleg verðlagning (einfölduð líkön, niðurfelld útgöngugjöld) [3].

Fólk talar um tölvuvinnslu sem framtíð gervigreindar. En er raunhæft að segja? Flöskuhálsinn snýst jafn mikið um að færa gögn hratt inn í líkön án þess að það sprengi fjárhagsáætlunina . Þess vegna eykst hlutverk hlutageymslu aðeins.

Samantekt 📝

Geymsla hluta er ekki glæsileg, en hún er grundvallaratriði. Án stigstærðar, lýsigagnavitundar og seigrar geymslu, þá er þjálfun stórra fyrirmynda eins og að hlaupa maraþon í sandölum.

Já, skjákort skipta máli, rammar skipta máli. En ef þú tekur gervigreind alvarlega, þá skaltu ekki hunsa hvar gögnin þín eru geymd . Líklega er geymsla hluta þegar að tefja allan reksturinn hljóðlega.

Heimildir

[1] AWS S3 – Lýsigögn hluta - kerfis- og sérsniðin lýsigögn
https://docs.aws.amazon.com/AmazonS3/latest/userguide/UsingMetadata.html

[2] AWS S3 – Geymsluflokkar - endingu („11 níur“) + seigla
https://aws.amazon.com/s3/storage-classes/

[3] Wasabi Hot Cloud – Verðlagning - fast verð, engin útgangsgjöld/API-gjöld
https://wasabi.com/pricing

[4] NVIDIA GPUDirect geymsla – skjöl - DMA slóðir að skjákortum
https://docs.nvidia.com/gpudirect-storage/

[5] AWS S3 – Útgáfustjórnun - margar útgáfur fyrir stjórnun/afritunarhæfni
https://docs.aws.amazon.com/AmazonS3/latest/userguide/Versioning.html

Finndu nýjustu gervigreindina í opinberu versluninni fyrir gervigreindaraðstoðarmenn

Um okkur