Ef þú ert að smíða eða meta vélanámskerfi, þá munt þú rekast á sama vegfarandann fyrr eða síðar: merkt gögn. Líkön vita ekki töfralaust hvað er hvað. Fólk, stefnur og stundum forrit þurfa að kenna þeim. Svo, hvað er gagnamerking með gervigreind? Í stuttu máli er það sú aðferð að bæta merkingu við hrágögn svo reiknirit geti lært af þeim… 😊
🔗 Hvað er siðfræði gervigreindar
Yfirlit yfir siðferðislegar meginreglur sem leiða til ábyrgrar þróunar og innleiðingar gervigreindar.
🔗 Hvað er MCP í gervigreind
Útskýrir líkanstýringarsamskiptareglur og hlutverk þeirra í stjórnun hegðunar gervigreindar.
🔗 Hvað er gervigreind á jaðri
Fjallar um hvernig gervigreind vinnur úr gögnum beint á tækjum á jaðrinum.
🔗 Hvað er umboðsgervigreind
Kynnir sjálfstæða gervigreindaraðila sem geta skipulagt, rökhugsað og aðgerðir sjálfstætt.
Hvað er gagnamerking með gervigreind, eiginlega? 🎯
Gagnamerking með gervigreind er ferlið við að tengja skiljanleg merki, svið, kassa, flokka eða einkunnir við hrá inntak eins og texta, myndir, hljóð, myndbönd eða tímaraðir svo líkön geti greint mynstur og gert spár. Hugsið ykkur afmörkunarkassa utan um bíla, aðilamerki á fólki og stöðum í texta eða atkvæði um hvaða spjallþjónssvar finnst gagnlegra. Án þessara merkja kemst hefðbundið stýrt nám aldrei af stað.
Þú munt einnig heyra merkimiða sem kallast sannleikur jarðar eða gullgögn : samþykkt svör samkvæmt skýrum leiðbeiningum, notuð til að þjálfa, sannreyna og endurskoða hegðun líkana. Jafnvel á tímum grunnlíkana og tilbúinna gagna skipta merkt mengi enn máli fyrir mat, fínstillingu, öryggis-rauð-teymi og langtímatilvik - þ.e. hvernig líkanið þitt hegðar sér í þeim skrýtnu hlutum sem notendur þínir gera í raun. Enginn ókeypis hádegisverður, bara betri eldhúsáhöld.
Hvað gerir góða gagnamerkingu með gervigreind ✅
Einfaldlega sagt: góð merkingar eru leiðinlegar á besta hátt. Þær virðast fyrirsjáanlegar, endurtekningarhæfar og örlítið ofskjölaðar. Svona lítur það út:
-
Þétt verufræði : nefnt safn klasa, eiginleika og tengsla sem þér er annt um.
-
Kristalleiðbeiningar : útreiknuð dæmi, mótdæmi, sértilvik og jafnteflisreglur.
-
Gagnrýnendalykkjur : annað par af augum á verkefnasneið.
-
Samræmismælikvarðar : samræmi milli skýringaraðila (t.d. Cohen's κ, Krippendorff's α) þannig að þú ert að mæla samræmi, ekki stemmingu. α er sérstaklega handhægt þegar merkimiðar vantar eða margir skýringaraðilar ná yfir mismunandi atriði [1].
-
Garðyrkja á jaðartilvikum : safnaðu reglulega skrýtnum, andstæðum eða einfaldlega sjaldgæfum tilfellum.
-
Skemmdarathuganir : endurskoðun gagnaheimilda, lýðfræði, svæði, mállýskur, birtuskilyrði og fleira.
-
Uppruni og friðhelgi einkalífs : rekja hvaðan gögn koma, réttindi til að nota þau og hvernig persónuupplýsingar eru meðhöndlaðar (hvað telst sem persónuupplýsingar, hvernig þær eru flokkaðar og öryggisráðstafanir) [5].
-
Endurgjöf í þjálfun : merkimiðar eru ekki geymdir í töflureiknisgrafreitum - þeir veita endurgjöf í virku námi, fínstillingum og mati.
Lítil játning: þú munt endurskrifa leiðbeiningarnar þínar nokkrum sinnum. Það er eðlilegt. Eins og að krydda pottrétt, þá gerir lítill breyting miklu.
Stutt frásögn af vettvangi: eitt lið bætti við einum valkosti „get ekki ákveðið - þarfnast stefnu“ í notendaviðmóti sínu. Samstaða jókst vegna þess að skýringaraðilar hættu að þvinga fram ágiskanir og ákvarðanaskráin varð skarpari á einni nóttu. Leiðinlegir sigrar.
Samanburðartafla: verkfæri fyrir gagnamerkingar með gervigreind 🔧
Ekki tæmandi, og já, orðalagið er svolítið flókið viljandi. Verðlagning breytist - staðfestið alltaf á vefsíðum birgja áður en fjárhagsáætlun er gerð.
| Tól | Best fyrir | Verðstíll (leiðbeinandi) | Af hverju það virkar |
|---|---|---|---|
| Merkimiðakassi | Fyrirtæki, blanda af ferilskrám og NLP | Notkunarmiðað, ókeypis stig | Góð gæðaeftirlitsvinnuflæði, verufræði og mælikvarðar; höndlar stærðargráðu nokkuð vel. |
| AWS SageMaker Ground Truth | AWS-miðlægar stofnanir, HITL-leiðir | Á hvert verkefni + AWS notkun | Þétt með AWS þjónustu, valkosti fyrir mannlega tengingu og öflugum innrauðum krókum. |
| Skala gervigreind | Flókin verkefni, stýrt vinnuafl | Sérsniðið tilboð, stigskipt | Þjónusta við háþróaða þjónustu ásamt verkfærum; öflug þjónusta fyrir erfiðustu mál. |
| Ofurskýring | Framtíðarsýnarþrungnar teymi, sprotafyrirtæki | Þrep, ókeypis prufuáskrift | Fægt notendaviðmót, samvinna, gagnleg líkanastýrð verkfæri. |
| Undurdýr | Forritarar sem vilja staðbundna stjórn | Ævilangt leyfi, á sæti | Handritanlegt, hraðar lykkjur, fljótlegar uppskriftir - keyrir staðbundið; frábært fyrir NLP. |
| Doccano | Opinn hugbúnaður fyrir NLP verkefni | Ókeypis, opinn hugbúnaður | Samfélagsmiðað, einfalt í notkun, gott fyrir flokkun og raðgreiningu |
Raunveruleikaskoðun á verðlagningarlíkönum : birgjar blanda saman neyslueiningum, gjöldum fyrir hvert verkefni, þrepum, sérsniðnum tilboðum fyrir fyrirtæki, einskiptisleyfum og opnum hugbúnaði. Reglur breytast; staðfestu smáatriði beint við skjöl birgja áður en innkaupadeild setur tölur í töflureikni.
Algengar tegundir merkimiða, með fljótlegum hugsunarhugmyndum 🧠
-
Myndaflokkun : eitt eða mörg merki fyrir alla myndina.
-
Hlutagreining : afmarkandi kassar eða snúnir kassar umhverfis hluti.
-
Skipting : grímur á pixlastigi - tilvik eða merkingarfræði; einkennilega ánægjulegt þegar það er hreint.
-
Lykilpunktar og stellingar : kennileiti eins og liðir eða andlitspunktar.
-
NLP : skjalamerki, svið fyrir nefndar einingar, tengsl, tilvísunartenglar, eiginleikar.
-
Hljóð og tal : umritun, dagbókarskráning ræðumanns, ásetningsmerki, hljóðatburðir.
-
Myndband : rammavísir kassar eða slóðir, tímabundnir atburðir, aðgerðarmerki.
-
Tímaraðir og skynjarar : gluggatengdir atburðir, frávik, þróunarkerfi.
-
Generativ vinnuflæði : röðun á óskum, öryggisviðvörunarmerki, sannleiksgildiseinkunn, mat byggt á matsrúbrum.
-
Leit og RAG : mikilvægi fyrirspurnar-skjals, svaranleiki, villur í leit.
Ef mynd er pizza, þá er segmentering að skera hverja sneið fullkomlega, en greining bendir á og segir að það sé sneið ... einhvers staðar þarna.
Líffærafræði vinnuflæðis: frá stuttu máli til gullgagna 🧩
Öflug merkingarleiðsla fylgir venjulega þessari lögun:
-
Skilgreindu verufræðina : flokka, eiginleika, tengsl og leyfilegar tvíræðni.
-
Drög að leiðbeiningum : dæmi, brúntilvik og erfið mótdæmi.
-
Merktu tilraunaverkefni : fáðu nokkur hundruð dæmi með athugasemdum til að finna göt.
-
Mæla samræmi : reikna κ/α; endurskoða leiðbeiningar þar til skýringaraðilar komast á stöðugt stig [1].
-
Hönnun gæðaeftirlits : samhljóða atkvæðagreiðsla, úrskurður, stigveldisskoðun og stikkprufur.
-
Framleiðslukeyrslur : fylgjast með afköstum, gæðum og reki.
-
Lokaðu hringrásinni : endurþjálfaðu, endurtakaðu sýni og uppfærðu matsviðmið eftir því sem líkanið og varan þróast.
Ráð sem þú munt þakka þér fyrir síðar: haltu lifandi ákvarðanaskrá . Skrifaðu niður hverja skýringarreglu sem þú bætir við og hvers vegna . Í framtíðinni - þú munt gleyma samhenginu. Í framtíðinni - þú munt vera pirraður út í það.
Mannleg upplifun, veikt eftirlit og hugsunarháttur eins og „fleiri merkimiðar, færri smellir“ 🧑💻🤝
Mannleg tengsl (e. Human-in-the-loop, HITL) þýðir að fólk vinnur með líkönum í þjálfun, mati eða raunverulegum rekstri - staðfestir, leiðréttir eða hafnar tillögum um líkön. Notið það til að auka hraða og halda fólki í forsvari fyrir gæði og öryggi. HITL er kjarninn í áreiðanlegri áhættustjórnun gervigreindar (mannlegt eftirlit, skjölun, eftirlit) [2].
Veik eftirlit er annað en viðbótlegt bragð: forritunarreglur, vísbendingar, fjareftirlit eða aðrar háværar heimildir búa til bráðabirgðamerki í stórum stíl, og síðan er hávaðinn fjarlægður. Gagnaforritun gerði vinsæla með því að sameina margar háværar merkingarheimildir (einnig þekktar sem merkingarföll ) og læra nákvæmni þeirra til að framleiða hágæða þjálfunarsett [3].
Í reynd blanda hraðvirk teymi öllu þrennu saman: handvirkum merkimiðum fyrir gullsett, veikri eftirliti til að ræsa upp og HITL til að flýta fyrir daglegu starfi. Þetta er ekki svindl. Þetta er handverk.
Virkt nám: veldu næstbesta hlutinn til að merkja 🎯📈
Virkt nám snýr venjulegu flæði við. Í stað þess að taka handahófskennd úrtök af gögnum til að merkja þau, læturðu líkanið biðja um upplýsandi dæmin: mikla óvissu, mikinn ágreining, fjölbreytta fulltrúa eða punkta nálægt ákvörðunarmörkum. Með góðri úrtöku er hægt að draga úr sóun á merkimiðum og einbeita sér að áhrifum. Nútíma kannanir sem fjalla um djúpt virkt nám sýna fram á sterka frammistöðu með færri merkimiðum þegar véfréttalykkjan er vel hönnuð [4].
Einföld uppskrift sem þú getur byrjað á, ekkert drama:
-
Þjálfa á litlu fræsetti.
-
Gefðu ómerkta lauginni einkunn.
-
Veldu efstu K eftir óvissu eða ósamræmi í líkani.
-
Merkja. Endurþjálfa. Endurtaka í hóflegum skömmtum.
-
Fylgstu með staðfestingarkúrfum og samkomulagsmælikvörðum svo þú eltir ekki hávaða.
Þú munt vita að þetta virkar þegar líkanið þitt batnar án þess að mánaðarleg merkingarreikningur þinn tvöfaldist.
Gæðaeftirlit sem virkar í raun 🧪
Þú þarft ekki að sjóða hafið. Stefndu að þessum mælingum:
-
Gullspurningar : sprauta inn þekktum atriðum og fylgjast með nákvæmni hvers merkimiða.
-
Samstaða með úrskurði : tvö óháð merki ásamt ritrýni ef ágreiningur kemur upp.
-
Samræmi milli skýringa : notið α þegar þið eruð með marga skýringar eða ófullkomin merki, κ fyrir pör; ekki vera upptekin af einum þröskuldi - samhengið skiptir máli [1].
-
Endurskoðanir á leiðbeiningum : endurtekin mistök þýða venjulega óljósar leiðbeiningar, ekki slæma skýringarhöfunda.
-
Reikprófanir : bera saman dreifingu merkimiða yfir tíma, landfræði og inntaksrásir.
Ef þú velur aðeins einn mælikvarða, veldu þá samræmi. Það er fljótlegt heilsufarsmerki. Dálítið gölluð myndlíking: ef merkingartækin þín eru ekki í takt, þá keyrir líkanið þitt á óstöðugum hjólum.
Vinnuaflslíkön: innanhúss, BPO, hópvinna eða blendingur 👥
-
Innanhúss : best fyrir viðkvæm gögn, flókin svið og hraða þverfaglega nálgun.
-
Sérhæfðir birgjar : stöðug afköst, þjálfað gæðaeftirlit og umfjöllun yfir tímabelti.
-
Hópúthlutun : ódýrt fyrir hvert verkefni, en þú þarft sterk gullverðlaun og ruslpóstsstjórnun.
-
Blendingur : halda kjarna sérfræðingateymi og sprengja af ytri getu.
Hvað sem þú velur, fjárfestu í upphafsprófum, leiðbeiningaþjálfun, kvörðunarlotum og tíðum endurgjöfum. Ódýr merki sem neyða þig til að endurmerkja þig þrisvar sinnum eru ekki ódýr.
Kostnaður, tími og arðsemi fjárfestingar: fljótleg raunveruleikaskoðun 💸⏱️
Kostnaður skiptist niður í vinnuafl, verkvang og gæðatryggingu. Til að gera grófa áætlanagerð skaltu kortleggja verkferlið svona:
-
Afköstsmarkmið : vörur á dag á merkimiða × merkimiðar.
-
Kostnaður vegna gæðaeftirlits : % tvímerktur eða yfirfarinn.
-
Endurvinnsluhlutfall : fjárhagsáætlun fyrir endurskýringar eftir uppfærslur á leiðbeiningum.
-
Sjálfvirknilyfting : líkanstýrðar formerkingar eða forritunarreglur geta dregið verulega úr handvirkri vinnu (ekki töfrum, en þýðingarmikil).
Ef innkaupadeildin biður um tölu, gefðu þeim þá líkan - ekki ágiskun - og haltu henni uppfærðri eftir því sem leiðbeiningarnar þínar festast í sessi.
Gildrur sem þú munt lenda í að minnsta kosti einu sinni og hvernig á að forðast þær 🪤
-
Leiðbeiningar þróast : leiðbeiningar verða að smásögu. Lagfæringar með ákvörðunartrjám + einföldum dæmum.
-
Of mikill flokkur : of margir flokkar með óljósum mörkum. Sameina eða skilgreina strangt „annað“ með stefnu.
-
Ofurvísitala á hraða : hraðmerki eitra hljóðlega þjálfunargögn. Settu inn gull; hraðatakmarkaðu verstu brekkurnar.
-
Læsing verkfæra : útflutningssnið eru erfið. Ákveðið snemma JSONL-skema og ósamhæf auðkenni hluta.
-
Að hunsa mat : ef þú merkir ekki matssett fyrst, munt þú aldrei vera viss um hvað batnaði.
Verum nú alveg hreinskilin, þú ferð aftur á bak öðru hvoru. Það er allt í lagi. Bragðið er að skrifa niður þegar þú ferð aftur á bak svo það sé vísvitandi næst.
Stutt algengar spurningar: skjót og einlæg svör 🙋♀️
Sp.: Eru þessi orð ólík?
S.: Í reynd nota menn þau til skiptis. Skýringar eru athöfnin að merkja eða merkja. Merkingar gefa oft til kynna hugsun sem byggir á sannleikanum með gæðaeftirliti og leiðbeiningum. Kartöflur, kartöflur.
Sp.: Get ég sleppt merkingu með því að nota tilbúna gögn eða sjálfseftirlit?
S.: Þú getur dregið úr því, ekki sleppt því. Þú þarft samt merkt gögn fyrir mat, öryggisráðstafanir, fínstillingar og vörusértæka hegðun. Veik eftirlit getur aukið umfang þjónustunnar þegar handvirk merking ein og sér dugar ekki [3].
Sp.: Þarf ég enn gæðamælikvarða ef gagnrýnendur mínir eru sérfræðingar?
S.: Já. Sérfræðingar eru líka ósammála. Notið samræmismælikvarða (κ/α) til að finna óljósar skilgreiningar og tvíræða flokka og herðið síðan á verufræðinni eða reglunum [1].
Sp.: Er „mann-í-lykkjunni“ bara markaðssetning?
S.: Nei. Þetta er hagnýtt mynstur þar sem menn leiðbeina, leiðrétta og meta hegðun líkana. Þetta er mælt með innan traustra áhættustýringaraðferða í gervigreind [2].
Sp.: Hvernig forgangsraða ég því hvað á að merkja næst?
S.: Byrjaðu með virku námi: taktu óvissustu eða fjölbreyttustu sýnin þannig að hver ný merkimiði gefi þér hámarks líkanbót [4].
Vettvangsnótur: Smáatriði sem skipta miklu máli ✍️
-
Haltu lifandi flokkunarskrá í geymslunni þinni. Meðhöndlaðu hana eins og kóða.
-
Vistaðu fyrir og eftir dæmi í hvert skipti sem þú uppfærir leiðbeiningar.
-
Búðu til lítið, fullkomið gullsett og verndaðu það gegn mengun.
-
Snúðu kvörðunarlotum við : sýna 10 atriði, merkja án hljóðs, bera saman, ræða, uppfæra reglur.
-
Greiningar á brautarmerkjum - vingjarnlegir mælaborð, engin skömm. Þú finnur þjálfunartækifæri, ekki illmenni.
-
Bættu við líkanstýrðum tillögum af létti. Ef formerkingar eru rangar hægja þær á mönnum. Ef þær eru oft réttar, þá er það galdur.
Að lokum: merkimiðar eru minning vörunnar þinnar 🧩💡
Hvað er gagnamerking með gervigreind í kjarna sínum? Það er þín leið til að ákveða hvernig líkanið á að sjá heiminn, eina vandaða ákvörðun í einu. Gerðu það vel og allt verður auðveldara eftir á: meiri nákvæmni, færri afturför, skýrari umræður um öryggi og hlutdrægni, mýkri afhending. Gerðu það kærulaust og þú munt halda áfram að spyrja hvers vegna líkanið hagar sér illa - þegar svarið er í gagnasafninu þínu með röngu nafni. Ekki þarf allt risastórt teymi eða fínan hugbúnað - en allt þarf umhyggju.
Of lengi síðan ég las það : fjárfestið í skýrri hugfræði, skrifið skýrar reglur, mælið samræmi, blandið saman handbókar- og forritunarmerkingum og látið virka námið velja næsta besta atriðið. Endurtakið það síðan. Aftur. Og aftur ... og undarlega nóg, þið munið njóta þess. 😄
Heimildir
[1] Artstein, R., & Poesio, M. (2008). Samræmi milli kóðara í tölvumálvísindum . Tölvumálvísindi, 34(4), 555–596. (Fjallar um κ/α og hvernig á að túlka samræmi, þar á meðal gögn sem vantar.)
PDF
[2] NIST (2023). Rammi fyrir áhættustjórnun gervigreindar (AI RMF 1.0) . (Eftirlit, skjölun og áhættustýring manna fyrir áreiðanlega gervigreind.)
PDF
[3] Ratner, AJ, De Sa, C., Wu, S., Selsam, D., & Ré, C. (2016). Gagnaforritun: Að búa til stór þjálfunarsett, fljótt . NeurIPS. (Grunnatriði í veikri eftirliti og að fjarlægja hávaða frá merkimiðum.)
PDF.
[4] Li, D., Wang, Z., Chen, Y., o.fl. (2024). Könnun á djúpvirku virku námi: Nýlegar framfarir og nýjar landamæri . (Sönnunargögn og mynstur fyrir skilvirkt virkt nám með merkimiðum.)
PDF
[5] NIST (2010). SP 800-122: Leiðbeiningar um verndun trúnaðar persónugreinanlegra upplýsinga (PII) . (Hvað telst sem PII og hvernig á að vernda það í gagnaleiðslum þínum.)
PDF