Phi artificial intelligence model ni Microsoft - maliit, mura at hindi dumaranas ng "hallucinations". Ito ang sinasabi nila tungkol sa bagong modelo ng wika, na hinuhulaan na magkakaroon ng magandang kinabukasan.
Ang GPT ay talagang mahusay, ngunit sa parehong oras, ito ay napakamahal, at hindi ito maaaring maging perpekto para sa lahat. Para sa mga ito at marami pang ibang dahilan Microsoft ay nag-eeksperimento sa mas maliliit na modelo ng AI. Ang Phi-3-mini ay sinasabing nilalagay pa nga sa kahihiyan ang gawain ng mga inhinyero ng OpenAI.
Kawili-wili din: Mga transistor ng hinaharap: Isang bagong panahon ng mga chip ang naghihintay sa atin
Ang ChatGPT ay hindi isang panlunas sa lahat
Ang ChatGPT ay isang imbensyon na pinondohan, na-curate at pinagbuti Microsoft. Sa totoo lang, hindi ito bagay Microsoft, at ang kumpanyang OpenAI, na Microsoft ay hindi nagmamay-ari (siya ang nangunguna, bagaman hindi ang pinakamalaking, mamumuhunan). Ang modelo ng wika ng GPT ay nagbigay Microsoft isang higanteng kalamangan sa iba pang malalaking tech na korporasyon na ngayon ay nagmamadaling makahabol. Gayunpaman, mayroong isang malaking bilang ng mga problema sa GPT, marami sa mga ito ay hindi pa malulutas.
Una sa lahat, ito ay isang napaka-resource-intensive na modelo ng wika. Web oriented Microsoft Ang Copilot o ChatGPT ng OpenAI ay bumubuo ng napakataas na gastos sa pagpapatakbo para sa Microsoft. Ito ay isang tampok hindi lamang ng GPT, kundi pati na rin ng lahat ng pangunahing modelo ng wika. Bilang karagdagan, ang GPT, tulad ng mga kakumpitensya nito, ay madaling kapitan ng "mga guni-guni", ibig sabihin, maaari itong bumuo ng mga tugon sa mga query na naglalaman ng mali o mapanlinlang na impormasyon. Kung mas maraming data ang naa-absorb ng isang modelo, mas may posibilidad itong makabuo ng katulad na nilalaman. Samakatuwid, ang mga guni-guni at maling pahayag ay hindi isang mito na sinipsip ng isang digital na daliri. Madalas na napapansin ng mga user na ang malalaking modelo ng wika ay kadalasang nagkakamali, nagbibigay ng hindi tumpak na data, at nagpapatakbo sa mga hindi umiiral na katotohanan.
Ang parehong mga problema ay napakaseryoso, kaya naman ang OpenAI, Microsoft, Meta, Google at iba pa ay nagsusumikap sa pagbuo hindi lamang sa teknolohiya ng Malaking Modelo ng Wika, kundi pati na rin sa Modelo ng Maliit na Wika, na sa pagsasagawa ay makakapagdulot ng mas mahusay na mga resulta.
Hindi kailangang malaman ng assistant ng digital accountant ang tungkol sa quantum physics. Maaari itong maging mas maliit at hindi gaanong kumplikado (at samakatuwid ay mas mura), at sa pamamagitan lamang ng pagsasanay sa data na kinakailangan para sa layunin nito, ay dapat na theoretically mag-hallucinate. Bagaman, ito ay mas madaling sabihin kaysa gawin. Ang teknolohiya ng GenAI ay isa pa ring ligaw na pakikipagsapalaran sa IT. At bagama't ang gawain ay umuunlad sa hindi pa nagagawang bilis, mahirap pa rin ang praktikal na gumawa ng mga pambihirang tagumpay sa mga pangunahing isyu. Ngunit ang kumpanya Microsoft kamakailan ay inihayag ang gayong pambihirang tagumpay. Pinag-uusapan natin ang isang maliit na modelo ng wika Microsoft Phi.
Kawili-wili din: Paano nakikipaglaban ang Taiwan, China at US para sa teknolohikal na pangingibabaw: ang dakilang chip war
Ano ang nalalaman tungkol sa Microsoft Phi
Una sa lahat, dapat tandaan na ang eksperimento ay isinagawa nang walang paglahok ng kumpanya ng OpenAI. Ibig sabihin, ito ay ang pag-unlad ng mga inhinyero Microsoft.
Mga modelo Microsoft Ang Phi ay isang serye ng mga small language models (SLMs) na nakakamit ng mga pambihirang resulta sa iba't ibang pagsubok. Ang unang modelo, ang Phi-1, ay mayroong 1,3 bilyong mga parameter at nakamit ang pinakamahusay na resulta ng Python coding sa mga umiiral nang SLM.
Ang mga developer pagkatapos ay nakatuon sa pag-unawa at pag-iisip ng wika, na lumilikha ng Phi-1.5 na modelo, na mayroon ding 1,3 bilyong mga parameter at nagpakita ng pagganap na maihahambing sa mga modelo na may limang beses na mga parameter.
Ang Phi-2 ay isang 2,7 bilyong modelo ng parameter na nagpapakita ng pambihirang kakayahan sa pangangatwiran at pag-unawa sa wika, na gumaganap sa antas ng pinakamahusay na mga modelo ng baseline na may 13 bilyong mga parameter. Namumukod-tangi ang Phi-2 sa iba pang mga modelo dahil sa mga inobasyon nito sa pag-scale ng modelo at pagsasanay sa curation ng data.
Available ito sa katalogo ng modelong Azure AI Studio, na nagpapadali sa pananaliksik at pag-unlad sa larangan ng mga modelo ng wika. Ang Phi-2 ay inilunsad noong Disyembre 2023. Tinitiyak ng mga developer na gumagana ito pati na rin ang Mistral o llama 2 mula sa Meta. At mas mahusay na gumagana ang Phi-3 kaysa sa nakaraang bersyon.
Gayunpaman, ang modelo ng Phi-3 na inihayag ay ganap na bago sa kalidad. Hindi bababa sa iyon ang maaari mong hatulan mula sa impormasyong ibinigay Microsoft. Ayon sa kumpanya, ayon sa mga tagapagpahiwatig ng lahat ng kilalang mga benchmark, ang Phi-3 ay gumaganap nang mas mahusay kaysa sa anumang iba pang modelo ng isang katulad na laki, kabilang ang pagsusuri ng wika, gawain sa programming o gawaing matematika.
Ang Phi-3-mini, ang pinakamaliit na bersyon ng modelong ito, ay naging available na sa lahat ng interesadong partido. Ibig sabihin, available na ito simula April 23. Ang Phi-3-mini ay may 3,8 bilyong mga parameter at, ayon sa mga sukat Microsoft, dalawang beses na mas mahusay kaysa sa anumang iba pang modelo ng parehong laki. Matatagpuan ito sa catalog ng mga modelo ng AI ng serbisyo sa ulap Microsoft Azure, ang Hugging Face machine learning model platform, at Ollama, isang framework para sa pagpapatakbo ng mga modelo sa isang lokal na computer.
Gaya ng kanyang inaangkin Microsoft, Ang Phi-3-mini ay hindi nangangailangan ng malalakas na chips Nvidia. Ang modelo ay maaaring gumana sa mga ordinaryong computer chips. O magkasya kahit sa isang telepono na hindi nakakonekta sa Internet.
Ang mas kaunting kapangyarihan ay nangangahulugan din na ang mga modelo ay hindi magiging tumpak. Ang Phi-3 ay hindi angkop para sa mga doktor o tax accountant, ngunit makakatulong ito sa mas simpleng mga gawain. Halimbawa, para sa pag-target sa advertising o pagbubuod ng mga review sa Internet.
Dahil ang mas maliliit na modelo ay nangangailangan ng mas kaunting pagproseso, sila ay magiging mas mura para sa mga pribadong kumpanya na gamitin. Ibig sabihin, sa Microsoft magkakaroon ng higit pang mga customer na gustong isama ang AI sa kanilang trabaho, ngunit itinuturing itong masyadong mahal. Gayunpaman, hindi pa malinaw kung magkano ang kanilang halaga.
Hindi pa alam kung kailan lalabas ang mga small at medium na modelo. Ngunit ang huli ay magiging mas malakas at mas mahal. Bagaman alam na na ang Phi-3-small ay magkakaroon ng 7 bilyong mga parameter, at ang Phi-3-medium ay magkakaroon ng kasing dami ng 14 bilyong mga parameter.
Basahin din:
- Gagawin ng mga graphene microchip ang mga telepono nang mas mabilis at mas madali
- Tungkol sa mga quantum computer sa simpleng salita
Paano gamitin ang Phi-3-mini?
Ang GPT-4 Turbo ay nangangailangan ng malalakas na AI chips, na napakamahal pa rin. Ang Phi-3 small speech model ay maaaring gumana nang offline, nang walang cloud, kahit na may chip sa isang mobile phone.
Ang Phi-3 ay hindi isang produkto para sa mga end user, ngunit isang teknolohiya na magagamit at maipapatupad ng mga developer sa kanilang mga application - parehong cloud-based, iyon ay, malayuang matatagpuan, at yaong gumagana nang lokal at offline. Inaasahang gagana ito nang walang putol sa mga device at mga bahagi ng mga ito, tulad ng mga mobile phone, kotse at kanilang mga infotainment system, o kahit na mga IoT sensor. Sa ilang mga sitwasyon, ang teknolohiyang ito ay maaaring maging napakahalaga.
Microsoft nagbibigay pa nga ng konkretong halimbawa para hindi na natin pilitin ang ating mga imahinasyon. Isipin ang isang magsasaka na nag-inspeksyon sa kanyang mga pananim at nakakita ng mga palatandaan ng sakit sa mga dahon, tangkay at sanga. Dahil malayo sa mga palo ng telekomunikasyon, kakailanganin lang niyang kunin ang kanyang telepono, kunan ng larawan ang pinsala, ilagay ito sa isang application na gumagamit ng Phi-3 na teknolohiya - at mabilis at offline na susuriin ng modelo ang larawan at magbibigay ng payo sa kung paano eksaktong labanan ang sakit na ito.
Sa pagpapaliwanag niya Microsoft, ang susi sa tagumpay ng GPT ay ang pagkuha ng napakalaking dami ng data para sa pagsasanay. Sa napakalaking set ng data, hindi pinag-uusapan ang mataas na kalidad ng data. Samantala, kapag sinasanay ang modelo ng Phi, ginamit ang eksaktong kabaligtaran na diskarte sa OpenAI. Sa halip na siksikin ang modelo ng impormasyon, ang focus ay sa incremental at masusing pag-aaral.
Sa halip na gumamit ng hilaw na data sa Internet, ang mga mananaliksik Microsoft nilikha ang dataset ng TinyStories, na bumubuo ng milyun-milyong miniature na "baby" na kwento. Ang mga kuwentong ito ay ginamit upang sanayin ang napakaliit na modelo ng wika. Pagkatapos ay nagpatuloy ang mga mananaliksik sa pamamagitan ng paggawa ng dataset ng CodeTextbook, na gumamit ng maingat na napiling data na available sa publiko na na-filter para sa halagang pang-edukasyon at kalidad ng nilalaman. Ang data na ito ay na-filter nang maraming beses at ibinalik sa isang malaking modelo ng wika (LLM) para sa karagdagang synthesis.
Ang lahat ng ito ay naging posible upang lumikha ng isang hanay ng data na sapat upang sanayin ang isang mas may kakayahang SLM. Bilang karagdagan, ang isang multi-level na diskarte sa pamamahala ng peligro at pagpapagaan ay ginamit sa pagbuo ng modelo ng Phi-3, kabilang ang pagtatasa, pagsubok at mga manu-manong pagsasaayos. Bilang isang resulta, tulad ng kanyang inaangkin Microsoft, maaaring samantalahin ng mga developer na gumagamit ng Phi-3 model family ang toolset na available sa Azure AI para bumuo ng mas secure at maaasahang mga application.
Basahin din: Teleportasyon mula sa siyentipikong pananaw at sa hinaharap nito
Microsoft Papalitan ba ng Phi ang mga modelong uri ng ChatGPT?
Hindi talaga. Ang mga small language models (SLM), kahit na sinanay sa mataas na kalidad na data, ay may mga limitasyon at hindi idinisenyo para sa malalim na pag-aaral. Ang mga malalaking modelo ng wika (LLM) ay higit na mahusay sa mga SLM sa kumplikadong pangangatwiran dahil sa kanilang laki at kapangyarihan sa pag-compute. Ang mga LLM ay, at patuloy na magiging, partikular na kapaki-pakinabang sa mga lugar tulad ng pagtuklas ng droga, kung saan dapat maghanap ang isa sa malawak na koleksyon ng mga siyentipikong papel at suriin ang mga kumplikadong pattern. Sa kabilang banda, maaaring gamitin ang SLM para sa mas simpleng mga gawain, tulad ng pagbubuod ng mga pangunahing punto ng isang mahabang dokumento ng teksto, paglikha ng nilalaman, o pagpapagana ng mga chatbot ng serbisyo sa customer.
Microsoft, aniya, ay gumagamit na ng mga hybrid na set ng modelo sa loob, kung saan nangunguna ang LLM, na nagdidirekta ng ilang partikular na query na nangangailangan ng mas kaunting kapangyarihan sa pag-compute sa SLM habang pinangangasiwaan nito ang iba, mas kumplikadong mga query mismo. Nakaposisyon ang Phi para sa pag-compute sa mga device, nang hindi ginagamit ang cloud. Gayunpaman, magkakaroon pa rin ng agwat sa pagitan ng maliliit na modelo ng wika at sa antas ng katalinuhan na maaaring makuha sa malalaking modelo sa cloud. Ang puwang na ito, salamat sa patuloy na pag-unlad ng LLM, ay malamang na hindi mawawala anumang oras sa lalong madaling panahon.
Ang Phi-3 ay hindi pa nabe-verify ng mga panlabas na independiyenteng partido. Microsoft minsan ay nagsasalita tungkol sa 25 beses na mas mataas na kahusayan o kahusayan sa enerhiya sa matinding mga kaso, kumpara sa mga kakumpitensya, na mukhang hindi kapani-paniwala. Bagaman, sa kabilang banda, hindi makakalimutan na lumipas na ang mga taon na ito Microsoft medyo nahiwalay sa amin mula sa katotohanan na ito ay isang malinaw na nangunguna sa mga makabagong IT, at marahil iyon ang dahilan kung bakit hindi kami naniniwala dito. Mga program na nakabatay sa AI na tumutugon kaagad at tumatakbo offline sa halip na bumuo? Ito ay magiging isang karapat-dapat na paghantong ng kasalukuyang rebolusyon. Sa kasamaang palad, mayroong isang pangunahing problema.
Basahin din: Lahat ng tungkol sa Neuralink Telepathy chip: ano ito at kung paano ito gumagana
Phi-3 mula sa Microsoft English lang ang nakakaintindi
Hindi nilalamon ng Phi-3 ang mga petabytes na inihagis dito nang maramihan. Ang maingat at maingat na pagsasanay ng modelo ay nagsasangkot ng isang maliit na problema. Ang Phi-3 ay sinanay ng impormasyon sa Ingles at wala pang ideya ng anumang iba pang wika. Hindi lang Ukrainian, kundi German, Spanish, French o Chinese. Siyempre, lubos nitong binabawasan ang apela nito sa karamihan ng mga user sa buong mundo.
Ngunit sa Microsoft Tinitiyak na ang gawain sa pag-unlad at pagpapabuti nito ay isinasagawa. Kahit na hindi mo dapat linlangin ang iyong sarili na ang Ukrainian market ay isang priyoridad para sa alinman sa mga malalaking korporasyon. Samakatuwid, kailangan nating maghintay ng napakatagal na panahon para sa suporta ng wikang Ukrainian. Ngunit ang katotohanang ito ay hindi kailanman tumigil sa mga mahilig at sa mga gustong makasabay sa pag-unlad.
Basahin din: