Ndërtimi i një seti të dhënash të inteligjencës artificiale? Ja ndarja reale e kronologjisë

Shpesh dëgjojmë se të dhënat janë nafta e re, por të dhënat e papërpunuara në fakt janë më shumë si nafta bruto. Janë të vlefshme, por nuk mund t’i vendosësh direkt në motor. Ato duhet të rafinohen. Në botën e inteligjencës artificiale, ky proces rafinimi është krijimi i grupeve të të dhënave me cilësi të lartë.

Modelet e inteligjencës artificiale janë aq të mira sa të dhënat me të cilat ushqehen. Nëse i jepni një modeli të dhëna të çrregullta, jokonsistente ose të njëanshme, rezultati do të jetë po aq i gabuar. Kjo është arsyeja pse krijimi i të dhënave me porosi është shpesh faza më kritike e çdo projekti të të mësuarit automatik. Megjithatë, është gjithashtu faza që bizneset e nënvlerësojnë më shpesh.

Ekzekutivët dhe menaxherët e projekteve shpesh e shohin një plan veprimi të projektit dhe supozojnë se pjesa e të dhënave do të zgjasë disa javë. Pastaj, realiteti bie ndesh. Vonesat në mbledhjen e të dhënave, pengesat në shënime dhe sythet rigoroze të sigurimit të cilësisë e shtyjnë afatin kohor me muaj. Kjo çon në pyetjet e pashmangshme: "Pse po zgjat kaq shumë kjo?" dhe "A mund ta përshpejtojmë?"

Ky udhëzues analizon realitetin e afatit kohor të zhvillimit të të dhënave të inteligjencës artificiale. Ne do të shqyrtojmë saktësisht se ku kalon koha, cilët faktorë shkaktojnë vonesa dhe si mund ta vlerësoni realisht kohën e nevojshme për të ndërtuar një të dhënë që funksionon realisht.

Çfarë është një set të dhënash i personalizuar i inteligjencës artificiale?

Përpara se të analizojmë vijën kohore, duhet të përcaktojmë se çfarë po ndërtojmë. Një grup të dhënash i personalizuar i inteligjencës artificiale është një koleksion i pikave të të dhënave - imazhe, tekst, audio ose video - që janë mbledhur, pastruar dhe etiketuar posaçërisht për të trajnuar një model të të mësuarit automatik për një qëllim unik.

Ndryshe nga grupet e të dhënave gjenerike, një grup të dhënash të personalizuara është i përshtatur për domenin tuaj specifik. Ai përfshin saktësisht skajet e kutive, kushtet e ndriçimit, mjediset akustike ose zhargonin e industrisë që modeli juaj do të hasë në botën reale.

Sete të dhënash të personalizuara kundrejt atyre të gatshme

Shumë kompani fillojnë duke pyetur nëse mund të përdorin thjesht një grup të dhënash të gatshmeEkzistojnë depo masive me burim të hapur, të tilla si COCO (Common Objects in Context) për zbulimin e objekteve, ImageNet për klasifikim ose Common Crawl për tekst.

Këto janë të shkëlqyera për modelet bazë të krahasimit ose para-trajnimit, por rrallë mjaftojnë për aplikime komerciale. Nëse po ndërtoni një mjet diagnostikues mjekësor, një bazë të dhënash gjenerike e "imazheve natyrore" nuk do t'ju ndihmojë të zbuloni frakturat në rrezet X. Nëse po ndërtoni një robot për shqyrtimin e kontratave ligjore, një grup të dhënash me komente në Reddit nuk do ta mësojë atë të identifikojë klauzolat e dëmshpërblimit.

Bizneset zgjedhin krijimi i të dhënave të personalizuara sepse ofron saktësi më të lartë, rëndësi më të mirë të domenit dhe një avantazh të rëndësishëm konkurrues. Konkurrentët tuaj mund të kenë qasje në të dhëna publike; ata nuk mund të kenë qasje në të dhënat tuaja të personalizuara.

Pse vlerësimi i kohës ka rëndësi në projektet e inteligjencës artificiale

Gabimi i vijës kohore në të dhënat tuaja nuk është thjesht një shqetësim në planifikim; është një rrezik biznesi. Të dhënat janë parakusht për trajnimin e modelitNëse të dhënat nuk janë gati, shkencëtarët e të dhënave dhe inxhinierët e ML-së praktikisht kanë ngecur.

Vlerësimi i dobët shpesh çon në:

• Tejkalimet e buxhetit: Afatet e zgjatura kohore nënkuptojnë kosto më të larta për mjetet dhe fuqinë punëtore.
• Afatet e humbura: Lansimi i produkteve shtyhet, duke humbur potencialisht dritaret e tregut.
• Etiketim i paplotë: Nxitimi për të përmbushur një afat kohor shpesh rezulton në shkurtime të performancës në Sigurimin e Cilësisë (QA), duke çuar në një model që dështon në prodhim.

Ekspertët e industrisë shpesh përmendin se përgatitja e të dhënave - mbledhja, pastrimi dhe etiketimi - përbën 70% deri në 80% të përpjekjeve totale në një projekt të inteligjencës artificiale. Nëse e nënvlerësoni këtë pjesë të punës, po e nënvlerësoni të gjithë projektin.

Përmbledhje e Nivelit të Lartë: Afati kohor i zhvillimit të të dhënave të inteligjencës artificiale

Krijimi i një grupi të dhënash është një proces i vazhdueshëm. Ndërsa disa faza mund të mbivendosen, në përgjithësi nuk mund të kaloni në hapin C pa përfunduar hapin B.

Standarti Afati kohor i zhvillimit të të dhënave të inteligjencës artificiale duket si kjo:

1. Mbledhja e të dhënave: Mbledhja e lëndëve të para.
2. Pastrimi dhe përpunimi paraprak i të dhënave: Duke i bërë të dhënat e papërpunuara të përdorshme.
3. Shënime dhe Etiketime: Duke i mësuar makinës se çfarë përfaqësojnë të dhënat.
4. Kontrolli i cilësisë: Verifikimi i mësimdhënies.
5. Validimi dhe Dorëzimi i të Dhënave: Duke e paketuar atë për modelin.

Në varësi të kompleksitetit dhe vëllimit të të dhënave, ky afat kohor total mund të shkojë nga vetëm tre javë për një provë të thjeshtë koncepti deri në gjashtë muaj ose më shumë për një nivel prodhimi. grup të dhënash për drejtimin autonom.

Ndarja Fazë pas Faze e Kohës së Krijimit të të Dhënave të Personalizuara

Për t'ju dhënë një vlerësim realist, duhet të shqyrtojmë pikat specifike të fërkimit në secilën fazë.

5.1 Mbledhja e të dhënave (Koha: 1–4 javë)

Këtu fillon gjithçka. Koha e nevojshme këtu varet shumë nga vendi nga vijnë të dhënat.

• Burimet: Mund të jeni duke tërhequr të dhëna nga bazat e të dhënave të brendshme të kompanisë, duke kërkuar në internet, duke përdorur API ose duke vendosur fizikisht sensorë dhe kamera për të kapur pamje të reja.
• Gykat e ngushta: Nëse i keni të dhënat në një bazë të dhënash SQL, kjo zgjat me ditë. Nëse ju duhet të fotografoni 10,000 artikuj specifikë me pakicë në raftet e dyqaneve, kjo zgjat me javë. Nëse ju duhet të negocioni leje ligjore për të aksesuar të dhënat e palëve të treta, kjo mund të zgjasë me muaj.
• Shembuj: Mbledhja e 50,000 cicërimave nëpërmjet një API mund të zgjasë 48 orë. Mbledhja e 500 skanimeve MRI me formularët e pëlqimit të pacientit të nënshkruar mund të zgjasë 4 javë.

5.2 Pastrimi dhe Përpunimi Paraprak i të Dhënave (Koha: 1–3 Javë)

Të dhënat e papërpunuara rrallë janë të pastra. Shpesh janë plot me dublikate, skedarë të korruptuar dhe mostra të parëndësishme.

• Detyrë: Kjo fazë përfshin standardizimin e formatit të skedarit (konvertimin e gjithçkaje në .jpg ose .wav), normalizimin e rezolucionit dhe heqjen e dyfishimit. Për të dhënat tekstuale, kjo përfshin pastrimin dhe tokenizimin me OCR (Njohja Optike e Karaktereve).
• Pse ka rëndësi: Ky është filtri "Mbeturina brenda, mbeturina jashtë". Nëse u dërgoni të dhëna të këqija shënimeve, shpenzoni para duke etiketuar mbeturina. Kjo fazë kërkon skriptim dhe kontroll manual të gabimeve, të cilat dëmtojnë vijën kohore.

5.3 Shënimi dhe Etiketimi i të Dhënave (Koha: 2–12+ Javë)

Kjo është zakonisht faza më e gjatë e projektit. Koha e shënimit të të dhënave diktohet nga kompleksiteti i detyrës dhe vëllimi i të dhënave.

a) Shënimi i Imazhit

• Kutitë kufizuese: Vizatimi i një kutie rreth një makine është i shpejtë (30–90 sekonda për imazh).
• Segmentimi: Vizatimi i një skice perfekte rreth një tumori ose peme është i ngadaltë (5–15 minuta për imazh).
• Pikat kryesore: Shënimi i nyjeve në trupin e njeriut për vlerësimin e pozicionit bie diku në mes.

b) Shënimi i Tekstit

• Analiza e ndjenjës: Kategorizimi i një vlerësimi si "pozitiv" ose "negativ" është i shpejtë.
• Nxjerrja e Entitetit: Theksimi i emrave, dozave dhe frekuencave specifike të barnave në një raport mjekësor zgjat dukshëm më shumë (1-5 minuta për mostër) dhe kërkon përqendrim.

c) Shënimi audio

• transkripti: Duke shkruar atë që thuhet.
• Diarizimi i folësit: Identifikimi cili e tha atë.
• Zbulimi i emocioneve: Etiketimi i tonit të zërit.

d) Shënime Videoje

• Kjo është procedura që kërkon më shumë kohë. Përfshin etiketimin kornizë pas kornize, gjurmimin e objekteve ndërsa ato lëvizin pas pengesave (bllokim) dhe ruajtjen e ID-ve të qëndrueshme për objektet në mijëra korniza.

Faktorë si etiketimi manual kundrejt etiketimit të asistuar nga inteligjenca artificiale (ku një model merr një hamendje të parë dhe një njeri e korrigjon atë) luajnë një rol të madh këtu. Megjithatë, logjika komplekse që kërkon intuitë njerëzore nuk mund të nxitohet.

5.4 Sigurimi dhe Validimi i Cilësisë (Koha: 1–3 Javë)

Nuk mund të kesh besim të plotë se shënimi është i saktë. Të duhet një cikël validimi.

• Procesi: Kjo përfshin shqyrtime me shumë kalime ku anotuesit e lartë kontrollojnë punën e anotuesve të rinj. Përfshin llogaritjen e "Marrëveshjes Ndër-Anotues" (a bien dakord dy njerëz për të njëjtën etiketë?).
• Laku: Nëse shkalla e gabimit është shumë e lartë, grupe të dhënash duhet të dërgohen mbrapsht për rietiketim. Ky lak rekursiv është shkaku më i zakonshëm i rrëshqitjes në vijën kohore.

5.5 Paketimi dhe Dorëzimi i Setit të të Dhënave (Koha: 2–7 Ditë)

Pasi të dhënat të jenë etiketuar dhe kontrolluar, ato duhet të eksportohen në një format që modeli mund ta përthithë (JSON, COCO, YOLO, CSV, TFRecord). Kjo fazë përfshin gjithashtu dokumentimin e skemës së të dhënave dhe krijimin e kontrollit të versioneve, në mënyrë që të dini saktësisht se cilat të dhëna janë përdorur për të trajnuar cilin version të modelit.

Faktorët kryesorë që ndikojnë në kohën e krijimit të të dhënave të personalizuara

Afatet kohore nuk janë të fiksuara; ato janë elastike bazuar në disa variabla.

6.1 Madhësia e të dhënave

Është e qartë, por shpesh anashkalohet: 100,000 imazhe kërkojnë dhjetë herë më shumë kohë sesa 10,000 imazhe, përveç nëse e shkallëzoni fuqinë punëtore me dhjetë herë (gjë që sjell kosto të larta menaxhimi).

6.2 Kompleksiteti i Anotimeve

Një detyrë klasifikimi binar (A është kjo një mace? Po/Jo) është e menjëhershme. Segmentimi semantik (Ngjyrosja e çdo pikseli që i përket maces) është i mundimshëm. Sa më i detajuar të jetë detaji i kërkuar, aq më i gjatë është afati kohor.

6.3 Nevojitet Ekspertizë në Domen

Kush po e bën etiketimin? Nëse keni nevojë të identifikoni shenja ndalimi, kushdo mund ta bëjë. Nëse keni nevojë të identifikoni klauzolat ligjore në kontratat e bashkimeve dhe blerjeve ose anomali në një skanim CT, keni nevojë për ekspertë të lëndës (NVM). NVM-të janë të shtrenjta, më të vështira për t'u gjetur dhe kanë disponueshmëri të kufizuar, gjë që e zgjat afatin kohor.

6.4 Niveli i Automatizimit

A po e bëni gjithçka manualisht? Apo po përdorni "Mësimin Aktiv" ku modeli mëson gjatë procesit dhe para-etiketon gjysmën e dytë të të dhënave për ju? Shënimi i asistuar nga inteligjenca artificiale mund të shkurtojë koha e shënimit të të dhënave nga 30-50%.

6.5 Standardet e Cilësisë

A ju nevojitet saktësi 90% apo 99.5%? 5% e fundit e cilësisë shpesh kërkon 50% të përpjekjes. Arritja e përsosmërisë së "Të Vërtetës Bazë" kërkon raunde të shumta shqyrtimi.

6.6 Pajtueshmëria dhe Siguria

Nëse po trajtoni të dhëna personale të identifikueshme (PII), duhet të merrni në konsideratë përputhshmërinë me GDPR, HIPAA ose SOC-2. Redaktimi i fytyrave ose mjegullimi i targave shton një hap shtesë përpunimi.

Afatet kohore tipike sipas rastit të përdorimit

Për ta bërë këtë konkrete, këtu janë afatet kohore të përafërta për projektet e zakonshme të inteligjencës artificiale, duke supozuar një madhësi standarde të ekipit.

Si të Zvogëlohet Afati Kohor i Zhvillimit të të Dhënave të IA-së

Nëse afatet kohore të mësipërme duken të frikshme, ekzistojnë strategji për të përshpejtuar procesin pa sakrifikuar cilësinë.

1. Përdorni grupe të dhënash të paracaktuara: Filloni me një grup të dhënash me burim të hapur për të trajnuar një model bazë, pastaj përdorni krijimi i të dhënave të personalizuara vetëm për rastet skajore linja bazë mungon.
2. Të mësuarit aktiv: Përdor modelin tënd për të etiketuar të dhënat. Ndërsa modeli bëhet më i zgjuar, njerëzit duhet vetëm të verifikojnë hamendësimet e modelit në vend që të vizatojnë etiketa nga e para.
3. Marrja e mostrave inteligjente: Mos i etiketoni të gjitha. Përdorni algoritme për të zgjedhur vetëm pikat e të dhënave më "informuese" që do ta përmirësojnë në të vërtetë modelin.
4. Udhëzime të qarta: Investoni kohë që në fillim në shkrimin e një “Udhëzuesi për Shënimet” të pagabueshëm. Paqartësia shkakton gabime dhe gabimet shkaktojnë ripërpunim.
5. Ekipet paralele: Ndani të dhënat në grupe dhe ekzekutoni paralelisht disa ekipe shënimesh.
6. Të dhëna sintetike: Gjeneroni të dhëna artificiale për të plotësuar boshllëqet në të dhënat tuaja. Kjo është e menjëhershme dhe e etiketuar në mënyrë të përsosur, megjithëse duhet të përdoret për të shtuar, jo për të zëvendësuar, të dhënat reale.

Strategji të tilla mund të kompresojnë Afati kohor i zhvillimit të të dhënave të inteligjencës artificiale në mënyrë të konsiderueshme.

Krijimi i të dhënave të personalizuara nga brenda kundrejt atij të jashtëm

Vendimi se kush e ndërton të dhënat shpesh është një kompromis midis kontrollit dhe shpejtësisë.

Në shtëpi:
Ndërtimi i një ekipi të brendshëm ju jep kontroll maksimal mbi sigurinë dhe njohuritë e domenit. Megjithatë, ka një "nisje të ngadaltë". Ju duhet të punësoni njerëz, të licenconi mjete dhe të ndërtoni rrjedha pune. Rrallë është opsioni më i shpejtë.

I jashtëm:
Delegimi i shërbimeve të të dhënave të menaxhuara te ofruesit e shërbimeve të të dhënave ofron një fuqi punëtore të shkallëzueshme që është gati për t'u përdorur menjëherë. Ata kanë procese dhe mjete të provuara të sigurimit të cilësisë. Ndërsa sakrifikoni njëfarë mbikëqyrjeje të drejtpërdrejtë, koha e përpunimit zakonisht është shumë më e shpejtë sepse ata veprojnë si një fabrikë e dedikuar për të dhënat.

Kompromisi i Kostos kundrejt Kohës

Gjithmonë ka një levë për të tërhequr. Nëse ju nevojitet dataset shpejt, do të kushtojë më shumë. Do t'ju duhet të paguani për dorëzim të përshpejtuar, më shumë shënime dhe mjete të përparuara automatizimi.

Anasjelltas, nëse keni një buxhet të ngushtë, mund ta zgjasni afatin kohor dhe të përdorni një ekip më të vogël. Çelësi është të kuptoni kthimin e investimit (ROI) të shpejtësisë. Nëse nxjerrja e modelit tuaj në treg dy muaj më herët gjeneron 1 milion dollarë të ardhura, pagesa prej 50 mijë dollarësh shtesë për procese të përshpejtuara. koha e shënimit të të dhënave është një investim i zgjuar.

Gabime të Zakonshme që Vonojnë Krijimin e të Dhënave

Edhe me një plan të përsosur, projektet dështojnë. Kini kujdes nga këto gracka:

• Udhëzime të dobëta për etiketim: Nëse shënuesit nuk janë të sigurt se çfarë të bëjnë me një rast të rastit në skaj, ata do të hamendësojnë. Kjo çon në të dhëna të paqëndrueshme që duhet të ribëhen.
• Zvarritja e fushëveprimit: Ndryshimi i taksonomisë së etiketës në gjysmë të rrugës (p.sh., vendimi për të ndarë "Makinë" në "Sedan" dhe "SUV") kërkon rinisjen e procesit të etiketimit.
• Pa tubacion QA: Të presësh deri në fund për të kontrolluar cilësinë është një katastrofë. Kontrolli i cilësisë duhet të ndodhë në kohë reale.
• Mbledhja e tepërt e të dhënave: A ju duhen vërtet 1 milion imazhe? Apo do të mjaftonin edhe 50,000 imazhe me cilësi të lartë?
• Nënvlerësimi i Kohës së Shënimit: Njerëzit lodhen. Ata nuk shënojnë me shpejtësi maksimale për 8 orë në ditë.

Si të Planifikoni Projektin Tuaj të të Dhënave të Personalizuara

Për t'u siguruar që projekti juaj të përfundojë në kohë, ndiqni këtë hierarki planifikimi:

1. Përcaktoni Objektivin e Modelit: Çfarë saktësisht duhet të nxjerrë modeli?
2. Zgjidhni Llojin e të Dhënave: Imazh, tekst, audio?
3. Vëllimi i Vlerësuar: Sa mostra nevojiten për rëndësi statistikore?
4. Zgjidhni metodën e shënimit: Kutia kufizuese? Segmentimi?
5. Vendosni Standardin e Cilësisë: Përcaktoni se si duket "e mira".
6. Ndërtoni një Tampon: Merrni afatin tuaj të vlerësuar kohor dhe shtoni 20% për problemet e paparashikuara të pastrimit të të dhënave.

Përmbledhja përfundimtare

Krijimi i të dhënave të personalizuara nuk është një proces i menjëhershëm. Është një disiplinë rigoroze inxhinierike që kërkon planifikim, durim dhe ekspertizë. Ndërsa afati kohor ndryshon shumë në bazë të kompleksitetit - nga disa javë për tekst të thjeshtë në gjysmë viti për video komplekse - faktori më i madh është koha e shënimit të të dhënave.

Duke kuptuar Zhvillimi i të dhënave të inteligjencës artificiale afati kohor dhe me anë të levave që mund të përdorni për ta përshpejtuar atë, mund të kaloni nga një plan veprimi i paqartë në një orar konkret dorëzimi.

Keni nevojë për ndihmë për të ndërtuar më shpejt një set të dhënash të personalizuara të inteligjencës artificiale me cilësi të lartë?

Mos lejoni që vonesat në të dhëna të pengojnë inovacionin tuaj në inteligjencën artificiale. Bisedoni me ekspertët tanë të të dhënave në Macgence për të vlerësuar afatin kohor të të dhënave tuaja dhe për të zbuluar se si mund ta përshpejtojmë projektin tuaj.

[Merr Vlerësimin e Afatit Kohor të Setit të të Dhënave]

Blog i mëparshëm

Blog tjetër