Prijeđi na sadržaj

OpenAI

Coordinates: 37°45′44″N 122°24′53″W / 37.7623°N 122.4148°W / 37.7623; -122.4148
Izvor: Wikipedija

37°45′44″N 122°24′53″W / 37.7623°N 122.4148°W / 37.7623; -122.4148

OpenAI
IndustrijaUmjetna inteligencija
Osnivač(i)
ProizvodiDALL-E, GPT-3, GPT-2, ChatGPT

OpenAI je istraživačka laboratorija za umjetnu inteligenciju koja se sastoji od profitne korporacije OpenAI LP i njene matične kompanije, neprofitne OpenAI Inc. Kompanija, koja se smatra konkurentom DeepMind-u, sprovodi istraživanja u oblasti umjetne inteligencije sa navedenim ciljem da promoviše i razvija prijateljsku umjetnu inteligenciju na način koji koristi čovječanstvu u cjelini. Organizaciju su osnovali u San Francisku krajem 2015. Elon Musk, Sam Altman i drugi, koji su zajednički obećali milijardu američkih dolara. Musk je dao ostavku iz odbora u februaru 2018. godine, ali je ostao donator. 2019. OpenAI LP je dobio investiciju od 1 milijarde američkih dolara od Microsofta.

Historija

[uredi | uredi kod]
Zgrada The Pioneer Building u San Francisku, u kojoj se nalaze kancelarije OpenAI i Neuralink

U decembru 2015., Elon Musk, Sam Altman i drugi investitori najavili su osnivanje OpenAI-a i obećali više od 1 milijarde američkih dolara za taj poduhvat. Organizacija je navela da će "slobodno sarađivati" sa drugim institucijama i istraživačima tako što će svoje patente i istraživanja učiniti otvorenim za javnost.[1][2]

OpenAI je 27. aprila 2016. objavio javnu beta verziju "OpenAI Gym", svoje platforme za istraživanje učenja s pojačanjem.[3]

OpenAI je 5. decembra 2016. izdao "Universe", softversku platformu za mjerenje i obuku opće inteligencije AI u svjetskoj ponudi igara, web stranica i drugih aplikacija.[4][5][6]

Musk je 21. februara 2018. dao ostavku na mjesto u odboru, navodeći "potencijalni budući sukob interesa" s razvojem umjetne inteligencije za Tesla automobile koji se samostalno voze, ali je ostao donator.[7]

U 2019. OpenAI je prešao iz neprofitnog u profitnu organizaciju sa ograničenim profitom. Kompanija je distribuirala kapital svojim zaposlenima[8] i udružila se s Microsoft-om, koji je najavio investicijski paket od 1 milijarde američkih dolara u kompaniju. OpenAI je tada najavio svoju namjeru da komercijalno licencira svoje tehnologije, s Microsoftom kao njegovim preferiranim partnerom.[9]

Od 2020. godine OpenAI ima sjedište u Mission District-u San Franciska i dijeli bivšu zgradu Pioneer Trunk Factory-a sa Neuralinkom, drugom kompanijom osnovanom od strane Muska.[10][11]

U junu 2020., OpenAI je najavio GPT-3, jezički model obučen na trilionima riječi s interneta. Također je najavio da će povezani API, nazvan jednostavno "API", činiti temelj njegovog prvog komercijalnog proizvoda. GPT-3 je usmjeren na odgovaranje na pitanja na prirodnom jeziku, ali također može prevoditi između jezika i koherentno generirati improvizirani tekst.[12]

Učesnici

[uredi | uredi kod]
  • Izvršni direktor:[13] Sam Altman, bivši predsjednik startup akceleratora Y Combinator
  • Ilya Sutskever, direktor istraživanja, bivši Google stručnjak za mašinsko učenje[14]
  • Tehnički direktor:[15] Greg Brockman, bivši CTO, 3. zaposlenik Stripea[14]

Ostali sponzori projekta su:[14]

  • Reid Hoffman, suosnivač LinkedIn-a[16]
  • Peter Thiel, suosnivač PayPal -a[16]
  • Jessica Livingston, osnivačica Y Combinator-a

Kompanije:

Grupa je započela početkom januara 2016. sa devet istraživača. Prema Wired-u, Brockman se sastao s Yoshuom Bengiom, jednim od osnivača pokreta dubokog učenja, i sastavio listu "najboljih istraživača u ovoj oblasti". Microsoft-ov Peter Lee izjavio je da trošak vrhunskog istraživača vještačke inteligencije premašuje cijenu najboljeg NFL kvoterbeka. Iako OpenAI isplaćuje plaće na korporativnom nivou (a ne na neprofitnom nivou), trenutno ne isplaćuje plaće istraživačima umjetne inteligencije uporedive s onima na Facebook-u ili Google-u. Ipak, Sutskever je izjavio da je voljan da napusti Google za OpenAI "djelomično zbog vrlo jake grupe ljudi i, u velikoj mjeri, zbog njegove misije". Brockman je izjavio da je "najbolja stvar koju sam mogao da zamislim da uradim je približavanje čovječanstva izgradnji prave vještačke inteligencije na siguran način". Istraživač OpenAI-a Wojciech Zaremba izjavio je da je odbio "lude" ponude od dva do tri puta veće tržišne vrijednosti da se umjesto toga pridruži OpenAI-ju.[19]

Motivi

[uredi | uredi kod]

Neki naučnici, kao što su Stephen Hawking i Stuart Russell, izrazili su zabrinutost ako napredna umjetna inteligencija jednog dana stekne sposobnost da se redizajnira sve većom brzinom, da bi nezaustavljiva "eksplozija inteligencije" mogla dovesti do izumiranja ljudi. Musk karakterizira umjetnu inteligenciju kao "najveću egzistencijalnu prijetnju čovječanstvu".[20] Osnivači OpenAI-a su organizaciju strukturirali kao neprofitnu kako bi mogli usredotočiti svoje istraživanje na stvaranje pozitivnog dugoročnog utjecaja na ljude.[2]

Musk i Altman su izjavili da su djelimično motivirani zabrinutošću oko egzistencijalnog rizika od umjetne opće inteligencije.[19][21] OpenAI navodi da je "teško shvatiti koliko bi umjetna inteligencija na ljudskom nivou mogla biti od koristi društvu" i da je jednako teško shvatiti "koliko bi mogla naštetiti društvu ako bi se izgradila ili koristila pogrešno".[2] Istraživanje o sigurnosti se ne može bezbijedno odlagati: „zbog iznenađujuće historije vještačke inteligencije, teško je predvidjeti kada bi vještačka inteligencija na ljudskom nivou mogla da dođe na dohvat ruke“.[22] OpenAI navodi da umjetna inteligencija "treba biti produžetak individualnih ljudskih volja i, u duhu slobode, što je moguće šire i ravnomjernije raspoređena...",[2] i od koje je osjećaj izražen na drugim mjestima u odnosu na potencijalno ogromnu klasu proizvoda koji podržavaju umjetnu inteligenciju: „Jesmo li zaista voljni dopustiti da naše društvo infiltriraju autonomni softverski i hardverski agenti čiji su detalji o radu poznati samo nekolicini odabranih? Naravno da ne."[23] Kopredsjedavajući Sam Altman očekuje da će decenijama dug projekt nadmašiti ljudsku inteligenciju.

Vishal Sikka, bivši izvršni direktor Infosys -a, izjavio je da je "otvorenost" u kojoj bi poduhvat "generalno proizveo rezultate u većem interesu čovječanstva" temeljni uslov za njegovu podršku, te da je OpenAI "veoma dobro u skladu s našim dugogodišnjim vrijednostima " i njihov "napor da se svrsishodno radi".[24] Cade Metz iz Wired-a sugerira da korporacije kao što je Amazon mogu biti motivirane željom da koriste softver i podatke otvorenog koda kako bi izjednačili teren protiv korporacija kao što su Google i Facebook koje posjeduju ogromne zalihe vlasničkih podataka. Altman navodi da će kompanije Y Combinator dijeliti svoje podatke sa OpenAI.

U 2019. godini, OpenAI je postao profitna kompanija pod nazivom OpenAI LP kako bi osigurala dodatna sredstva dok je ostala pod kontrolom neprofitne organizacije pod nazivom OpenAI Inc u strukturi ograničenog profita,[25] koja je prethodno bila 501(c) (3) neprofitna organizacija.[26][27]

Strategija

[uredi | uredi kod]

Musk je postavio pitanje: „Šta je najbolja stvar koju možemo učiniti da osiguramo da je budućnost dobra? Mogli bismo sjediti po strani ili podsticati regulatorni nadzor, ili bismo mogli sudjelovati s pravom strukturom s ljudima koji duboko brinu o razvoju umjetne inteligencije na način koji je siguran i koristan za čovječanstvo." Musk je priznao da "uvijek postoji određeni rizik da u stvarnim pokušajima da unaprijedimo (prijateljsku) umjetnu inteligenciju možemo stvoriti stvar za koju smo zabrinuti"; ipak, najbolja odbrana je „osnažiti što više ljudi da posjeduju umjetnu inteligenciju. Ako svi imaju moći umjetne inteligencije, onda ne postoji nijedna osoba ili mali skup pojedinaca koji mogu imati supermoć umjetne inteligencije.".[14]

Muskova i Altmanova kontraintuitivna strategija pokušavajući da smanje rizik da će umjetna inteligencija nanijeti ukupnu štetu, dajući ovaj pristup svima, kontroverzna je među onima koji se bave egzistencijalnim rizikom od umjetne inteligencije. Filozof Nick Bostrom skeptičan je prema Muskovom pristupu: "Ako imate dugme koje može učiniti loše stvari svijetu, ne želite ga dati svima."[19] Tokom razgovora 2016. o tehnološkoj singularnosti, Altman je rekao da "ne planiramo da objavimo sav naš izvorni kod" i spomenuo plan da se "dozvoli širokim dijelovima svijeta da biraju predstavnike u novi upravni odbor". Greg Brockman je izjavio da je „Naš cilj trenutno... jeste da uradimo najbolju stvar koju možemo da uradimo. Malo je nejasno."

S druge strane, početna odluka OpenAI-a da zadrži GPT-2 zbog želje da se "pogriješi na strani opreza" u prisustvu potencijalne zloupotrebe, kritikovana je od strane zagovornika otvorenosti. Delip Rao, stručnjak za generisanje teksta, izjavio je sljedeće: "Ne mislim da je OpenAI proveo dovoljno vremena dokazujući da je GPT-2 zapravo opasan." Drugi kritičari su tvrdili da je otvorena publikacija neophodna da bi se repliciralo istraživanje i da bi se mogle pronaći protumjere.[28]

U poreskoj godini 2017. OpenAI je potrošio 7,9 miliona dolara, ili četvrtinu svojih funkcionalnih troškova, samo na računarstvo u oblaku.[29] Poređenja radi, ukupni troškovi DeepMind-a u 2017. su bili mnogo veći i iznosili su 442 miliona dolara. U ljeto 2018., samo obučavanje OpenAI-ovih Dota 2 botova zahtijevalo je iznajmljivanje 128.000 CPU-a i 256 GPU-a od Google-a na više sedmica. OpenAI navodi da model ograničene profitabilnosti koji je usvojen u martu 2019. omogućava OpenAI LP da legalno privuče investicije iz rizičnih fondova, i pored toga, da zaposlenima dodijeli udjele u kompaniji, a cilj je da oni mogu reći „Idem u OpenAI, ali dugoročno to neće biti štetno za nas kao porodicu." Mnogi vrhunski istraživači rade za Google Brain, DeepMind ili Facebook, Inc., koji nude dioničke opcije koje neprofitne organizacije ne bi mogle ponuditi.[30] U junu 2019. OpenAI LP je prikupio milijardu dolara od Microsoft-a, sumu koju OpenAI planira potrošiti "u roku od pet godina, a možda i mnogo brže".[31] Altman je izjavio da se čak i milijarda dolara može pokazati nedovoljnim i da bi laboratoriji na kraju moglo biti potrebno "više kapitala nego što je bilo koja neprofitna organizacija ikada prikupila" da bi postigla vještačku opću inteligenciju.[32]

Oren Etzioni iz neprofitne organizacije Allen Institute for AI skeptično je gledao na tranziciju iz neprofitne u kompaniju sa ograničenim profitom, i složio se da je teško pridobiti vrhunske istraživače u neprofitnu organizaciju, ali je izjavio: "Ne slažem se s idejom da se neprofitna organizacija ne može takmičiti" i ukazao na uspješne niskobudžetne projekte OpenAI-a i drugih. "Kada bi veće i bolje finansirano uvijek bilo bolje, IBM bi i dalje bio broj jedan.". Nakon tranzicije, javno objavljivanje naknada vrhunskim zaposlenicima u OpenAI LP više nije zakonski potrebno. Neprofitna organizacija, OpenAI Inc., jedini je kontrolni dioničar OpenAI LP. OpenAI LP, uprkos tome što je profitna kompanija, zadržava formalnu fiducijarnu odgovornost prema neprofitnoj povelji OpenAI Inc-a. Većini odbora OpenAI Inc-a zabranjeno je da ima finansijske udjele u OpenAI LP. Osim toga, manjinskim članovima sa udjelom u OpenAI LP zabranjeno je glasanje zbog sukoba interesa.[30] Neki istraživači su tvrdili da prelazak OpenAI LP-a na status profita nije u skladu s tvrdnjama OpenAI-a da "demokratizira" umjetnu inteligenciju.[33] Novinar Vice News-a napisao je da "općenito, nikada se nismo mogli osloniti na rizične kapitaliste za bolje čovječanstvo".[34]

Proizvodi i aplikacije

[uredi | uredi kod]

Istraživanja OpenAI-a se fokusiraju na učenje s pojačanjem. OpenAI se smatra važnim konkurentom DeepMind-a.[35]

Gym

[uredi | uredi kod]

Gym ima za cilj da pruži referentni standard opće inteligencije koji se lako postavlja sa širokim spektrom različitih okruženja – donekle slično, ali šire od ImageNet Large Scale Visual Recognition Challenge-a koji se koristi u istraživanju nadgledanog učenja – i tu se nada da će se standardizovati način u kojima su okruženja definirana u istraživačkim publikacijama umjetne inteligencije, tako da objavljeno istraživanje postaje lakše ponovljivo.[3][36] Projekat tvrdi da pruža korisniku jednostavan interfejs. Od sredine 2017, Gym se može koristiti samo sa Pythonom.[37] Stranice dokumentacije Gym-a se ne održavaju od 2017. godine, i umjesto toga se rad fokusira na njenu GitHub stranicu.[38]

RoboSumo

[uredi | uredi kod]

U "RoboSumo"-u, virtuelni humanoidni roboti koji koriste "meta učenje" u početku nemaju znanje kako čak hodati, s obzirom na ciljeve učenja kretanja i guranja protivničkog agenta iz ringa. Kroz ovaj suprotstavljeni proces učenja, agenti uče kako da se prilagode promjenjivim uvjetima; kada je agent tada uklonjen iz ovog virtuelnog okruženja i smješten u novo virtuelno okruženje sa jakim vjetrovima, agent se učvršćuje da ostane uspravan, što sugeriše da je naučio kako da se balansira na generalizovan način.[39] Igor Mordatch iz OpenAI-a tvrdi da konkurencija između agenata može stvoriti inteligencijsku "trku u naoružanju" koja može povećati sposobnost agenta da funkcionira, čak i izvan konteksta konkurencije.

Debate Game

[uredi | uredi kod]

OpenAI je 2018. pokrenuo igru Debate Game, koja uči mašine da raspravljaju o jednostavnim problemima pred ljudskim sucem. Svrha je istražiti može li takav pristup pomoći u reviziji odluka umjetne inteligencije i razvoju objašnjive umjetne inteligencije.[40][41]

Dactyl

[uredi | uredi kod]

Dactyl koristi mašinsko učenje da obuči takozvanu Shadow Hand (ruka robota nalik ljudskom) da manipuliše fizičkim objektima. Dactyl uči u potpunosti u simulaciji koristeći iste algoritme učenja uz pojačanje i kod za obuku kao OpenAI Five. OpenAI se pozabavio problemom objektne orijentacije koristeći randomizaciju domena, tj. simulacijski pristup koji izlaže učenika različitim iskustvima umjesto da pokušava da se uklopi u stvarnost. Postavka za Dactyl-a, osim što ima kamere za praćenje pokreta, ima i RGB kamere koje omogućavaju robotu da manipulira bilo kojim objektom samo s tim što ga vidi. 2018. OpenAI je pokazao da je sistem u stanju da manipuliše kocku i osmougaonu prizmu.

OpenAI je 2019. pokazao da Dactyl može riješiti Rubikovu kocku. Robot je mogao riješiti zagonetku u 60% slučajeva. Objekti poput Rubikove kocke se satoje od složene fizike koju je teže modelirati. OpenAI je ovo riješio poboljšanjem otpornosti Dactyl-a na perturbacije. Koristili su tehniku nazvanu Automatic Domain Randomization (ADR), tj. simulacijski pristup u kojem se beskonačno stvaraju sve teža okruženja. ADR se razlikuje od ručne randomizacije domena po tome što ne mora postojati čovjek za specificiranje raspona randomizacije.[42]

Generativni modeli

[uredi | uredi kod]

GPT

[uredi | uredi kod]

Originalni rad o generativnoj pre-obuci (GPT) jezičkog modela napisali su Alec Radford i kolege, a objavljen je u preštampi na web stranici OpenAI-a 11. juna 2018.[43] Rad je pokazao kako je generativni model jezika u stanju steći svjetsko znanje i obraditi duboke veze prethodnom obukom s dugim dijelovima uzastopnog teksta.

GPT-2

[uredi | uredi kod]
Primjer GPT-2 pisanja paragrafa na osnovu upita iz vlastitog članka na Wikipediji u februaru 2021.

Generative Pre-trained Transformer 2, opšte poznat po svom skraćenom obliku GPT-2, je nenadgledani model jezika transformatora i naslijednik GPT-a. GPT-2 je prvi put najavljen u februaru 2019. godine, sa samo ograničenim demonstrativnim verzijama koje su prvobitno objavljene za javnost. Puna verzija GPT-2 nije odmah objavljena zbog zabrinutosti zbog potencijalne zloupotrebe, uključujući aplikacije za pisanje lažnih vijesti.[44] Neki stručnjaci su izrazili skepticizam da GPT-2 predstavlja značajnu prijetnju. Allenov institut za umjetnu inteligenciju odgovorio je na GPT-2 alatom za otkrivanje "neuralnih lažnih vijesti".[45] Drugi istraživači, poput Jeremyja Howarda, upozorili su na "tehnologiju koja će u potpunosti popuniti Twitter, e-poštu i web prozom koja zvuči razumno i kontekstualno, a koja bi ugušila sav drugi govor i bilo bi je nemoguće filtrirati".[46] U novembru 2019. OpenAI je objavio kompletnu verziju GPT-2 jezičkog modela.[47] Nekoliko web stranica održava interaktivne demonstracije različitih primjeraka GPT-2 i drugih modela transformatora.[48][49][50]

Autori GPT-2 tvrde da su modeli jezika bez nadzora učenici opće namjene, što je ilustrovano time što je GPT-2 postigao najsavremeniju preciznost i perpleksnost na 7 od 8 zadataka jednim potezom (tj. model nije dodatno obučen ni sa jednim specifičnim primjerom za ulaz/izlaz). Korpus na kojem je obučen, nazvan WebText, sadrži nešto više od 8 miliona dokumenata sa ukupno 40 GB teksta sa web adresa podijeljene na Reddit prijave s najmanje 3 glasa. GPT-2 izbjegava određene probleme kodiranja vokabulara pomoću tokena riječi korištenjem kodiranja para bajtova. Ovo omogućava predstavljanje bilo kojeg niza znakova kodiranjem i pojedinačnih znakova i tokena sa više znakova.[51]

GPT-3

[uredi | uredi kod]

Generative Pre-trained[α 1] Transformer 3, opšte poznat po svom skraćenom obliku GPT-3, je nenadgledani Transformer jezički model i nasljednik GPT-2. Prvi put je opisan u maju 2020.[53][54] OpenAI je naveo da puna verzija GPT-3 sadrži 175 milijardi parametara,[55] dva reda veličine veće u usporedbi sa 1,5 milijardi parametara[56] u punoj verzij GPT-2 (iako je bilo GPT-3 modela koji su obučeni sa samo 125 miliona parametara).

OpenAI je naveo da GPT-3 uspijeva u određenim zadacima "meta učenja". Može generalizirati svrhu jednog para ulaz-izlaz. U radu je dat primjer prevođenja i međujezičkog transfernog učenja između engleskog i rumunskog, te između engleskog i njemačkog.[55]

GPT-3 je dramatično poboljšao rezultate benčmarka u odnosu na GPT-2. OpenAI je upozorio da bi se takvo skaliranje jezičkih modela moglo približiti ili naići na osnovna ograničenja sposobnosti prediktivnih jezičkih modela.[57] Priprema obuke GPT-3-a zahtijevalo je nekoliko hiljada petaflop-dana[α 2] računanja, u poređenju sa desetinama petaflop-dana za puni GPT-2 model. Kao i kod svog prethodnika,[44] potpuno obučeni model GPT-3 nije odmah pušten javnosti na osnovu moguće zloupotrebe, iako je OpenAI planirao omogućiti pristup putem plaćenog cloud API-ja nakon dvomjesečne besplatne privatne beta koja je počela u junu 2020.[59]

23. septembra 2020. GPT-3 je licenciran isključivo za Microsoft.[60][61]

Muzika

[uredi | uredi kod]

OpenAI MuseNet (2019) je duboka neuronska mreža obučena da predvidi naknadne muzičke note u MIDI muzičkim datotekama. Može da generiše pjesme sa deset različitih instrumenata u petnaest različitih stilova. Prema The Verge, pjesma koju je generirao MuseNet ima tendenciju da počne razumno, ali onda pada u haos kako duže svira.[62][63]

OpenAI-jev Jukebox (2020) je algoritam otvorenog koda za generiranje muzike sa vokalom. Nakon obuke sa 1,2 miliona uzoraka, sistem prihvata žanr, izvođača i isječak teksta i daje uzorke pjesama. OpenAI je naveo da pjesme "pokazuju lokalnu muzičku koherentnost, prate tradicionalne obrasce akorda", ali je priznao da pjesmama nedostaju "poznate veće muzičke strukture kao što su refreni koji se ponavljaju" i da "postoji značajan jaz" između džuboksa i muzike koju stvaraju ljudi. The Verge je naveo "Tehnološki je impresivno, čak i ako rezultati zvuče kao kašaste verzije pjesama koje bi mogle izgledati poznato", dok je Business Insider naveo "iznenađujuće, neke od rezultirajućih pjesama su privlačne i zvuče legitimno".[64][65][66]

API

[uredi | uredi kod]

U junu 2020. OpenAI je najavio višenamjenski API za koji je rekao da je "za pristup novim modelima vještačke inteligencije koje je razvio OpenAI" kako bi programeri mogli da ga pozovu za "bilo koji zadatak usmjeren vječkoj inteligenciji na engleskom jeziku".[67]

DALL-E i CLIP

[uredi | uredi kod]
Slike koje je proizveo DALL-E unoseći tekst "profesionalna visokokvalitetna ilustracija himere-zmaja-žirafe. žirafa koja imitira zmaja. žirafa napravljena od zmaja." (orginalni unos na engleskom: "a professional high quality illustration of a giraffe dragon chimera. a giraffe imitating a dragon. a giraffe made of dragon.")

DALL-E je model transformatora koji kreira slike iz tekstualnih opisa, koji je OpenAI otkrio u januaru 2021.[68]

CLIP radi suprotno: kreira opis za datu sliku.[69] DALL-E koristi verziju GPT-3 od 12 milijardi parametara za tumačenje unosa prirodnog jezika (kao što je "zelena kožna torbica u obliku pentagona" ili "izometrijski prikaz tužne kapibare") i generiranje odgovarajućih slika. U stanju je da kreira slike realističnih objekata ("vitraž sa slikom plave jagode") kao i objekata koji ne postoje u stvarnosti ("kocka sa teksturom dikobraza"). Od marta 2021. API i kod CLIP-a nisu više dostupni.

U martu 2021. OpenAI je objavio rad pod naslovom Multimodalni neuroni u umjetnim neuronskim mrežama,[70] gdje su prikazali detaljnu analizu CLIP (i GPT) modela i njihovih ranjivosti. Novi tip napada na takve modele opisan je u ovom radu.

"Mi referišemo na ove napade kao tipografske napade. Mi vjerujemo da napadi kao što su opisani iznad nisu jednostavno akademski problem. Iskorištavajući sposobnost modela da čita tekst na izdržljiv način, mi pronalazimo da čak i fotografije od rukom napisanog teksta često mogu nadmudriti model." – Multimodal Neurons in Artificial Neural Networks, OpenAI

U aprilu 2022. OpenAI je najavio DALL-E 2, ažuriranu verziju modela sa više realističnijim rezultatima.[71]

Microscope

[uredi | uredi kod]

OpenAI Microscope[72] je kolekcija vizualizacija svakog značajnog sloja i neurona osam različitih modela neuronske mreže koji se često proučavaju u interpretabilnosti. Microscope je kreiran za jednostavnu analizu karakteristika koje se formiraju unutar ovih neuronskih mreža. Uključeni modeli su AlexNet, VGG 19, različite verzije Inception-a i različite verzije CLIP Resnet-a.[73]

Codex

[uredi | uredi kod]

OpenAI Codex je potomak GPT-3 koji je dodatno obučen za kod iz 54 miliona GitHub repozitorija.[74][75] Najavljen je sredinom 2021. godine kao umjetna inteligencija koja omogućava alat za automatsko dovršavanje koda u programu GitHub Copilot.[75] U avgustu 2021. API je objavljen u privatnoj beta verziji.[76] Prema OpenAI-ju, model je u stanju da kreira radni kod u preko desetine programskih jezika, i najefikasnije u Python-u.[74]

Pronađeno je nekoliko problema s greškama, nedostacima u dizajnu i sigurnosnim ranjivostima u Codex-u.[77][78]

Botovi za video igre i benčmarkovi

[uredi | uredi kod]

OpenAI Five

[uredi | uredi kod]

OpenAI Five je ime tima od pet botova koje je izabrao OpenAI koji se koriste u video igrici Dota 2 u takmičenju pet na pet. Ovaj team uči igrati protiv ljudskih igrača na visokom nivou i u potpunosti kroz algoritme pokušaja i greške. Prije nego što je postao tim od petero, prve javne demonstracije dogodile su se na takmičenju The International 2017, premijernom šampionskom turniru za igru, gdje je Dendi, profesionalni ukrajinski igrač, izgubio od bota u igrajući uživo u utakmici 1 na 1.[79][80] Nakon meča, CTO Greg Brockman je objasnio da je bot naučio igrati igrajući protiv sebe u roku od dvije sedmice ukupnog vremena, te da je softver za učenje bio korak u pravcu stvaranja softvera koji može rješavati složene zadatke poput kirurga.[81][82] Sistem koristi oblik učenja s pojačanjem, jer botovi uče tokom vremena igrajući mjesecima protiv sebe i stotine puta dnevno, a nagrađeni su za akcije kao što su ubijanje neprijatelja i uzimanje ciljeva na mapi.[83][84]

U junu 2018. godine, sposobnost botova se proširila da igraju zajedno kao puni tim od pet članova. Uspjeli su pobijediti timove amaterskih i poluprofesionalnih igrača.[85][86][87] Na takmičenju The International 2018, OpenAI Five je igrao u dva egzibiciona meča protiv profesionalnih igrača, ali je na kraju izgubio obje utakmice.[88][89] U aprilu 2019., OpenAI Five je pobijedio 2:0 u egzibicionom meču uživo u San Franciscu protiv OG-a, aktuelnog svetskog šampiona u igri u to vrijeme.[90][91] Posljednje javno pojavljivanje bota bilo je kasnije tog mjeseca, gdje su igrali ukupno 42.729 utakmica u četverodnevnom otvorenom onlajn takmičenju, osvojivši 99,4% tih igara.[92]

GYM Retro

[uredi | uredi kod]

Gym Retro je platforma za istraživanje učenja s pojačanjem na video igrama. Gym Retro se koristi za istraživanje učenja s pojačanjem algoritama i generalizaciju studija. Prethodna istraživanja učenja s pojačanjem uglavnom su se fokusirala na optimizaciju agenata za rješavanje pojedinačnih zadataka. Gym Retro daje mogućnost generalizacije između igara sa sličnim konceptima, ali različitim izgledom.

Povezano

[uredi | uredi kod]

Bilješke

[uredi | uredi kod]
  1. ↑ Pojam "pre-training" se odnosi na opću jezičku obuku, a ne na preciznu obuku za određene zadatke.[52]
  2. ↑ Jedan petaflop-dan je približno jednako 1020 neural net operacija.[58]

Reference

[uredi | uredi kod]
  1. ↑ „Introducing OpenAI”. OpenAI Blog. 12. 12. 2015. Arhivirano iz originala na datum 2019-02-24. Pristupljeno 2023-01-08. 
  2. ↑ 2,0 2,1 2,2 2,3 „Tech giants pledge $1bn for 'altruistic AI' venture, OpenAI”. BBC News. 12. 12. 2015. Pristupljeno 19. 12. 2015. 
  3. ↑ 3,0 3,1 Dave Gershgorn (27. 4. 2016). „Elon Musk's Artificial Intelligence Group Opens A 'Gym' To Train A.I.”. Popular Science. Pristupljeno 29. 4. 2016. 
  4. ↑ Mannes, John. „OpenAI's Universe is the fun parent every artificial intelligence deserves”. TechCrunch. Pristupljeno 31. 12. 2016. 
  5. ↑ „OpenAI - Universe” (en-us). Arhivirano iz originala na datum 1. 1. 2017. Pristupljeno 31. 12. 2016. 
  6. ↑ Claburn, Thomas. „Elon Musk-backed OpenAI reveals Universe – a universal training ground for computers”. The Register. Pristupljeno 31. 12. 2016. 
  7. ↑ Vincent, James (21. 2. 2018). „Elon Musk leaves board of AI safety group to avoid conflict of interest with Tesla”. The Verge. 
  8. ↑ „OpenAI LP” (en). OpenAI. 11. 3. 2019. Pristupljeno 21. 2. 2020. 
  9. ↑ „Microsoft Invests In and Partners with OpenAI to Support Us Building Beneficial AGI” (en). OpenAI. 22. 7. 2019. Pristupljeno 21. 2. 2020. 
  10. ↑ Hao, Karen (17. 2. 2020). „The messy, secretive reality behind OpenAI's bid to save the world” (en-US). MIT Technology Review. Pristupljeno 9. 3. 2020. 
  11. ↑ Conger, Kate. „Elon Musk's Neuralink Sought to Open an Animal Testing Facility in San Francisco” (en-US). Gizmodo. Pristupljeno 11. 10. 2018. 
  12. ↑ Vance, Ashlee (11. 6. 2020). „Trillions of Words Analyzed, OpenAI Sets Loose AI Language Colossus”. Bloomberg News. 
  13. ↑ Bass, Dina (22. 7. 2019). „Microsoft to invest $1 billion in OpenAI”. Los Angeles Times. Pristupljeno 22. 7. 2019. 
  14. ↑ 14,0 14,1 14,2 14,3 „Silicon Valley investors to bankroll artificial-intelligence center”. The Seattle Times. 13. 12. 2015. Pristupljeno 19. 12. 2015. 
  15. ↑ Etherington, Darrell (22. 7. 2019). „Microsoft invests $1 billion in OpenAI in new multiyear partnership”. TechCrunch. Pristupljeno 22. 7. 2019. 
  16. ↑ 16,0 16,1 Liedtke, Michael. „Elon Musk, Peter Thiel, Reid Hoffman, others back $1 billion OpenAI research center”. San Jose Mercury News. Pristupljeno 19. 12. 2015. 
  17. ↑ „Elon Musk, Infosys, others back OpenAI with $1 bn”. Business Standard India. IANS (Business Standard). 12. 12. 2015. Pristupljeno 30. 8. 2019. 
  18. ↑ Vincent, James (22. 7. 2019). „Microsoft invests $1 billion in OpenAI to pursue holy grail of artificial intelligence”. The Verge. Pristupljeno 23. 7. 2019. 
  19. ↑ 19,0 19,1 19,2 Cade Metz (27. 4. 2016). „Inside OpenAI, Elon Musk's Wild Plan to Set Artificial Intelligence Free” (en-US). Wired magazine. Pristupljeno 28. 4. 2016. 
  20. ↑ Piper, Kelsey (2. 11. 2018). „Why Elon Musk fears artificial intelligence” (en). Vox. Pristupljeno 10. 3. 2021. 
  21. ↑ Lewontin, Max (14. 12. 2015). „Open AI: Effort to democratize artificial intelligence research?”. The Christian Science Monitor. Pristupljeno 19. 12. 2015. 
  22. ↑ Mendoza, Jessica. „Tech leaders launch nonprofit to save the world from killer robots”. The Christian Science Monitor. 
  23. ↑ Glenn W. Smith (10. 4. 2018). „Re: Sex-Bots—Let Us Look before We Leap”. Arts 7 (2): 15. DOI:10.3390/arts7020015. 
  24. ↑ Vishal Sikka (14. 12. 2015). „OpenAI: AI for All”. Infosys. Arhivirano iz originala na datum 22. 12. 2015. Pristupljeno 22. 12. 2015. 
  25. ↑ „OpenAI shifts from nonprofit to 'capped-profit' to attract capital” (en-US). TechCrunch. Arhivirano iz originala na datum 2019-12-16. Pristupljeno 10. 5. 2019. 
  26. ↑ Levy, Steven (11. 12. 2015). „How Elon Musk and Y Combinator Plan to Stop Computers From Taking Over”. Medium/Backchannel. Pristupljeno 11. 12. 2015. »"Elon Musk: ...we came to the conclusion that having a 501(c)(3)... would probably be a good thing to do"« 
  27. ↑ Brockman, Greg (3. 4. 2017). „Yes, we're a 501(c)(3). As you mention in /r/ControlProblem, we will file our 990 later this year as required. Not yet sure of exact date.”. 
  28. ↑ Vincent, James (21. 2. 2019). „AI researchers debate the ethics of sharing potentially harmful programs” (en). The Verge. Pristupljeno 6. 3. 2020. 
  29. ↑ „Microsoft to invest $1 billion in OpenAI” (en). Reuters. 22. 7. 2019. Pristupljeno 6. 3. 2020. 
  30. ↑ 30,0 30,1 Kahn, Jeremy (11. 3. 2019). „AI Research Group Co-Founded by Elon Musk Starts For-Profit Arm”. Bloomberg News. Pristupljeno 6. 3. 2020. 
  31. ↑ Murgia, Madhumita (7. 8. 2019). „DeepMind runs up higher losses and debts in race for AI”. Financial Times. Pristupljeno 6. 3. 2020. 
  32. ↑ „OpenAI Will Need More Capital Than Any Non-Profit Has Ever Raised” (en). Fortune. Pristupljeno 6. 3. 2020. 
  33. ↑ Vincent, James (22. 7. 2019). „Microsoft invests $1 billion in OpenAI to pursue holy grail of artificial intelligence” (en). The Verge. Pristupljeno 6. 3. 2020. 
  34. ↑ Haskins, Caroline (12. 3. 2019). „OpenAI's Mission to Benefit Humanity Now Includes Seeking Profit” (en). Vice News. Pristupljeno 6. 3. 2020. 
  35. ↑ Lee, Dave (15. 10. 2019). „Robot solves Rubik's cube, but not grand challenge”. BBC News. Pristupljeno 29. 2. 2020. 
  36. ↑ Greg Brockman; John Schulman (27. 4. 2016). „OpenAI Gym Beta” (en-us). OpenAI. Pristupljeno 29. 4. 2016. 
  37. ↑ „OpenAI Gym”. GitHub. Arhivirano iz originala na datum 28. 1. 2019. Pristupljeno 8. 5. 2017. 
  38. ↑ Brockman, Greg (12 Sep 2017). „Yep, the Github repo has been the focus of the project for the past year. The Gym site looks cool but hasn't been maintained.” (en). @gdb. Pristupljeno 7. 11. 2017. 
  39. ↑ „OpenAI's Goofy Sumo-Wrestling Bots Are Smarter Than They Look” (en). MIT Technology Review. Pristupljeno 2. 11. 2017. 
  40. ↑ Greene, Tristan (4. 5. 2018). „OpenAI's Debate Game teaches you and your friends how to lie like robots” (en-US). The Next Web. Pristupljeno 31. 5. 2018. 
  41. ↑ „Why Scientists Think AI Systems Should Debate Each Other”. Fast Company. 8. 5. 2018. Pristupljeno 2. 6. 2018. 
  42. ↑ OpenAI. „Solving Rubik's Cube with a Robot Hand”. arXiv:1910.07113v1. 
  43. ↑ „Improving Language Understanding by Generative Pre-Training”. Pristupljeno 9. 6. 2020. 
  44. ↑ 44,0 44,1 Hern, Alex (14. 2. 2019). „New AI fake text generator may be too dangerous to release, say creators”. The Guardian. Pristupljeno 14. 2. 2019. 
  45. ↑ Schwartz, Oscar (4. 7. 2019). „Could 'fake text' be the next global political threat?”. The Guardian. Pristupljeno 16. 7. 2019. 
  46. ↑ Vincent, James (14. 2. 2019). „OpenAI's new multitalented AI writes, translates, and slanders”. The Verge. Pristupljeno 16. 7. 2019. 
  47. ↑ „GPT-2: 1.5B Release” (en). OpenAI. 5. 11. 2019. Pristupljeno 14. 11. 2019. 
  48. ↑ „Write With Transformer”. Arhivirano iz originala na datum 2019-12-04. Pristupljeno 4. 12. 2019. 
  49. ↑ „Talk to Transformer”. Pristupljeno 4. 12. 2019. 
  50. ↑ „CreativeEngines”. Arhivirano iz originala na datum 2023-02-03. Pristupljeno 25. 6. 2021. 
  51. ↑ Language Models are Unsupervised Multitask Learners. Arhivirano iz originala na datum 2019-12-12. Pristupljeno 4. 12. 2019. 
  52. ↑ Ganesh, Prakhar (17. 12. 2019). „Pre-trained Language Models: Simplified”. Pristupljeno 9. 9. 2020. »"The intuition behind pre-trained language models is to create a black box which understands the language and can then be asked to do any specific task in that language."« 
  53. ↑ „openai/gpt-3”. OpenAI. 29. 5. 2020. Pristupljeno 29. 5. 2020. 
  54. ↑ Sagar, Ram (3. 6. 2020). „OpenAI Releases GPT-3, The Largest Model So Far” (en-US). Analytics India Magazine. Pristupljeno 14. 6. 2020. 
  55. ↑ 55,0 55,1 Brown. „Language Models are Few-Shot Learners”. arXiv:2005.14165. 
  56. ↑ Language Models are Unsupervised Multitask Learners. Arhivirano iz originala na datum 2019-12-12. Pristupljeno 4. 12. 2019. »"GPT-2, is a 1.5B parameter Transformer"« 
  57. ↑ Ray, Tiernan (2020). „OpenAI's gigantic GPT-3 hints at the limits of language models for AI” (en). ZDNet. Pristupljeno 5. 6. 2020. 
  58. ↑ Amodei, Dario; Hernandez, Danny (16. 5. 2018). „AI and Compute”. »"A petaflop/s-day (pfs-day) consists of performing 1015 neural net operations per second for one day, or a total of about 1020 operations. The compute-time product serves as a mental convenience, similar to kW-hr for energy."« 
  59. ↑ Eadicicco, Lisa. „The artificial intelligence company that Elon Musk helped found is now selling the text-generation software it previously said was too dangerous to launch”. Business Insider. Pristupljeno 6. 7. 2020. 
  60. ↑ „OpenAI is giving Microsoft exclusive access to its GPT-3 language model” (en). MIT Technology Review. Pristupljeno 24. 9. 2020. 
  61. ↑ „Microsoft gets exclusive license for OpenAI's GPT-3 language model” (en-US). VentureBeat. 22. 9. 2020. Pristupljeno 24. 9. 2020. 
  62. ↑ „OpenAI's MuseNet generates AI music at the push of a button”. The Verge. april 2019. Pristupljeno 8. 6. 2020. 
  63. ↑ „MuseNet”. OpenAI. 25. 4. 2019. Pristupljeno 8. 6. 2020. 
  64. ↑ „OpenAI introduces Jukebox, a new AI model that generates genre-specific music”. The Verge. 30. 4. 2020. Pristupljeno 8. 6. 2020. 
  65. ↑ Stephen, Bijan (30. 4. 2020). „OpenAI introduces Jukebox, a new AI model that generates genre-specific music” (en). Business Insider. Pristupljeno 8. 6. 2020. 
  66. ↑ „Jukebox”. OpenAI. 30. 4. 2020. Pristupljeno 8. 6. 2020. 
  67. ↑ „TechCrunch – Startup and Technology News”. TechCrunch. Pristupljeno 11. 6. 2020. »If you’ve ever wanted to try out OpenAI’s vaunted machine learning toolset, it just got a lot easier. The company has released an API that lets developers call its AI tools in on “virtually any English language task.”« 
  68. ↑ „DALL·E: Creating Images from Text”. 5. 1. 2021. 
  69. ↑ „CLIP: Connecting Text and Images”. 5. 1. 2021. 
  70. ↑ „Multimodal Neurons in Artificial Neural Networks”. 4. 3. 2021. 
  71. ↑ „DALL·E 2” (en). OpenAI. Pristupljeno 6. 4. 2022. 
  72. ↑ „OpenAI Microscope”. 14. 4. 2020. 
  73. ↑ „The OpenAI Microscope: Models”. Arhivirano iz originala na datum 2023-02-03. Pristupljeno 2023-01-08. 
  74. ↑ 74,0 74,1 Alford, Anthony (31. 8. 2021). „OpenAI Announces 12 Billion Parameter Code-Generation AI Codex”. InfoQ. Pristupljeno 3. 9. 2021. 
  75. ↑ 75,0 75,1 Wiggers, Kyle (8. 7. 2021). „OpenAI warns AI behind GitHub's Copilot may be susceptible to bias”. VentureBeat. Pristupljeno 3. 9. 2021. 
  76. ↑ Zaremba, Wojciech (10. 8. 2021). „OpenAI Codex”. OpenAI. Pristupljeno 3. 9. 2021. 
  77. ↑ Dickson, Ben (16. 8. 2021). „What to expect from OpenAI's Codex API”. VentureBeat. Pristupljeno 3. 9. 2021. 
  78. ↑ Claburn, Thomas (25. 8. 2021). „GitHub's Copilot may steer you into dangerous waters about 40% of the time – study”. The Register. Pristupljeno 3. 9. 2021. 
  79. ↑ Savov, Vlad (14. 8. 2017). „My favorite game has been invaded by killer AI bots and Elon Musk hype”. The Verge. Pristupljeno 25. 6. 2018. 
  80. ↑ Frank, Blair Hanley. „OpenAI's bot beats top Dota 2 player so badly that he quits”. Venture Beat. Arhivirano iz originala na datum 12. 8. 2017. Pristupljeno 12. 8. 2017. 
  81. ↑ „Dota 2”. blog.openai.com. 11. 8. 2017. Arhivirano iz originala na datum 2017-08-11. Pristupljeno 12. 8. 2017. 
  82. ↑ „More on Dota 2”. blog.openai.com. 16. 8. 2017. Arhivirano iz originala na datum 2017-08-16. Pristupljeno 16. 8. 2017. 
  83. ↑ Kahn, Jeremy. „A Bot Backed by Elon Musk Has Made an AI Breakthrough in Video Game World”. Bloomberg. Pristupljeno 27. 6. 2018. 
  84. ↑ Clifford, Catherine (28. 6. 2018). „Bill Gates says gamer bots from Elon Musk-backed nonprofit are 'huge milestone' in A.I.”. CNBC. Pristupljeno 29. 6. 2018. 
  85. ↑ „OpenAI Five Benchmark”. blog.openai.com. 18. 7. 2018. Arhivirano iz originala na datum 2019-02-13. Pristupljeno 25. 8. 2018. 
  86. ↑ Vincent, James (25. 6. 2018). „AI bots trained for 180 years a day to beat humans at Dota 2”. The Verge. Pristupljeno 25. 6. 2018. 
  87. ↑ Savov, Vlad (6. 8. 2018). „The OpenAI Dota 2 bots just defeated a team of former pros”. The Verge. Pristupljeno 7. 8. 2018. 
  88. ↑ Quach, Katyanna. „Game over, machines: Humans defeat OpenAI bots once again at video games Olympics”. The Register. Pristupljeno 25. 8. 2018. 
  89. ↑ „The International 2018: Results”. blog.openai.com. 24. 8. 2018. Arhivirano iz originala na datum 2018-08-24. Pristupljeno 25. 8. 2018. 
  90. ↑ Statt, Nick (13. 4. 2019). „OpenAI's Dota 2 AI steamrolls world champion e-sports team with back-to-back victories”. The Verge. Pristupljeno 20. 7. 2019. 
  91. ↑ „How to Train Your OpenAI Five”. OpenAI Blog. 15. 4. 2019. Pristupljeno 20. 7. 2019. 
  92. ↑ Wiggers, Kyle (22. 4. 2019). „OpenAI's Dota 2 bot defeated 99.4% of players in public matches.”. Venture Beat. Pristupljeno 22. 4. 2019. 

Vanjske veze

[uredi | uredi kod]
Izvor: https://sh.wikipedia.org/w/index.php?title=OpenAI&oldid=42261180