Tekoälystä innostuneet ovat tänä kesänä päässeet leikkimään uudella lelulla.
Yhdysvaltalainen tekoäly-yritys OpenAI julkaisi kesäkuussa tuoreimman luonnollista kieltä tuottavan mallinsa nimeltä GPT-3. Sille voi syöttää tekstinpätkän, josta se pystyy luomaan lisää samankaltaista tekstiä.
Julkaistujen esimerkkien perusteella työkalu taipuu moneen, esimerkiksi kirjoittamaan erilaisia tekstilajeja ja käymään chat-keskusteluja. Sanfransiscolainen ohjelmoija Sharif Shameem sanoo tehneensä sillä apuvälineen, joka osaa kuvailun perusteella kirjoittaa halutun koodinpätkän, esimerkiksi luomaan erivärisiä painikkeita.
OpenAI:n ideana on ollut kehittää yleiskäyttöinen kielikone, joka pystyisi ihmisen lailla mukautumaan erilaisiin kielellisiin tehtäviin. Yhtiö on julkaissut mallistaan myös version, joka generoi kuvia.
GPT-3 perustuu tilastolliseen kielen oppimiseen, ja se on ennennäkemättömän suuri kielimalli. OpenAI:n julkaisemassa artikkelissa kerrotaan mallissa olevan 175 miljardia muuttujaa ja sitä on opetettu 45 teratavulla tekstiä. (Tekstitiedosto, joka sisältää yhden kirjaimen, on kooltaan yhden tavun. Teratavu on tuhat miljardia tavua.)
Toistaiseksi vain harva on päässyt kokeilemaan uutta työkalua, sillä OpenAI kutsuu beta-testausvaiheeseen käyttäjiä valikoiden.
Koodi saattaa sisältää vinoutumia
Uusi työkalu on saanut osakseen myös kritiikkiä.
Facebookin tekoälyjohtaja Jerome Pesenti arvosteli GPT-3:een perustuvaa sovellusta, joka kirjoittaa tviittejä mistä tahansa aiheesta. Pesenti kokeili sovellusta sanoilla juutalaiset, mustat, naiset ja holokausti. Osa koneen tuotoksista ei ollut mairittelevia.
GPT-3:n valtava opetusmateriaali on kaivettu internetistä. Joten vaikka GPT-3 olisikin kaikkien aikojen laajin ja paras luonnollista kieltä tuottava malli, sen koodi voi silti sisältää ennakkoluuloja ja vinoutumia, aivan kuten verkon kirjoitukset.
Yhtiön johtokin on sanonut, ettei GPT-3 ole täydellinen. Sen edeltäjää GPT-2:ta yhtiö ei aluksi uskaltanut julkaista väärinkäytösten pelossa.
OpenAI perustettiin voittoa tavoittelemattomaksi järjestöksi. Perustajiin kuului muun muassa Elon Musk.
OpenAI kuitenkin käänsi kelkkansa ja pyrkii nyt kaupallistamaan kielikoneensa.
Luottoa löytyy: Microsoft sijoitti yhtiöön viime vuonna miljardi dollaria.
Rahaa tarvitaan, sillä luonnollisen kielen omaksuminen on koneelle haastava tehtävä, joka vaatii paljon energiaa. Parantuneiden kielimallien kääntöpuolena onkin energiankulutuksen lisääntyminen.
Kone on edelleen tyhmä kuin saapas
OpenAI:n kielimallin ympärillä on paljon kuhinaa. Rohkeimmat ovat veikkailleet sitä “tekoälyn iPhoneksi”, jota myöhemmin muistellaan läpimurtona erilaisten tekoälysovellusten kehityksessä.
Helsingin yliopiston tietojenkäsittelytieteen professori Hannu Toivonen tutkii työkseen koneoppimista ja on parhaillaan mukana kahdessa luonnollisen kielen käsittelyyn liittyvässä hankkeessa.
Toivonen ei ole itse päässyt kokeilemaan uutta OpenAI:n työkalua, mutta kuvailee näkemiään sillä tehtyjä juttuja “huikeiksi”. Hän on kuitenkin vain varovaisen innostunut.
– Näihin liittyy hypetyksen uhka. Toivon, että pidetään jalat maassa.
– Nämä eivät – näin voidaan varmaan sanoa – edelleenkään ymmärrä tekstin sisällöstä yhtään mitään. Ne ovat vain tilastollisia koneita, jotka laittavat sanoja jonoon, joka niiden mielestä näyttää järkevältä, Toivonen kertoo.
Ymmärrys sisällöstä olisi seuraava askel
Kysyimme professori Toivoselta, miten merkittävä OpenAI:n uusi malli on automaattisen kirjoittamisen kehityksessä.
1. Mihin OpenAI GPT-3:n toiminta perustuu?
Se tuottaa tekstiä, joka näyttää päällisin puolin uskottavalta. Idea on se, että monilla tilastollisilla kriteereillä voidaan katsoa, mitkä sanat esiintyvät yhdessä ja missä muodoissa, jotta lopputulos näyttäisi mahdolliselta tekstiltä. Sisältö saattaa olla ihan diibadaabaa.
2. Mitä uutta siinä on?
Siinä on käytetty entistä suurempi määrä opetusaineistoa, miljardeja sanoja enemmän. Se on nähnyt, jos ei nyt ihan kaikkea, mitä netissä on, niin melkein kuitenkin.
Laajempi opetusaineisto ja uudempi malli mahdollistavat paremman mukautumisen siihen, mitä käyttäjä antaa alkusyötteenä. Eli kone tunnistaa sen, mitä ollaan hakemassa ja pystyy tuottamaan sen näköistä tekstiä lisää.
3. Mitkä ovat sen heikkoudet?
Yleensä, jos tekstiä tuotetaan automaattisesti, tekstillä halutaan välittää tietty sisältö. GPT-3 kuitenkin keksii sisällön itse eikä sille voi oikein kertoa, mitä sen pitäisi sanoa.
Jos vaikka haluaisin generoida raportin automaattisesti jostakin tapahtumasta, minun pitäisi pystyä syöttämään dataa ja luottamaan siihen, että kone pystyisi tuottamaan datasta sujuvan kuvauksen luonnollisella kielellä. Sitä tämä ei tee, vaan keksii jatkoa syötteenä annetulle tekstille.
4. Missä siitä voisi olla hyötyä?
Tällaisenaan tämä sopii tilanteisiin, joissa halutaan uskottavan näköistä tekstiä ilman, että sisällöllä on väliä. Sovellukset eivät ole välttämättä kauhean yleviä.
Ääripäässä valeuutiset ja muu materiaali, jossa on suorastaan eduksi, että sisältö on keksittyä ja valheellista.
Välimaastossa ovat viihde ja luovuus. Tietokonepeleihin voidaan generoida pätkiä täytteeksi tai omaa luovuutta voidaan tukea pyytämällä koneelta ideoita esimerkiksi novellin juonen käänteisiin.
Yksi tärkeä kielimallien sovellus on kielenkäännös. Monikielinen versio GPT-3:sta voisi osata kääntää merkityksiä aiempaa paremmin.
5. OpenAI:n kielimalleja on pidetty vaarallisen hyvinä. Mihin uhkakuvat liittyvät?
GPT-2:n yhteydessä sanottiin, ettei sitä julkaista, koska se on liian vaarallinen. Se on varmaan osin markkinointipuhetta, jotta saadaan kiinnitettyä huomiota.
Valeuutisten riski on ilmeinen. Niiden generointi tulee hirvittävän helpoksi, ja niitä voidaan räätälöidä. Voisin esimerkiksi kirjoittaa jotain kyseenalaista Sanna Marinista ja antaa generaattorin keksiä lisää.
Valeuutisointia voisi myös tehdä personoidusti. Esimerkiksi Twitteriin voisi ajatella sellaista bottia, joka ottaa haluamasi henkilön tviitistä aineksia, generoi siitä jotain ja tviittaa sen sille henkilölle. Näin voitaisiin saada äärimmilleen yksilöityä ja täysin räätälöityä valeuutisointia, jos halutaan vain aiheuttaa hämmennystä.
6. OpenAI on kaupallinen yritys. Mitä ongelmia tähän liittyy?
Vielä jokin aika sitten yliopistot olivat johtavassa asemassa koneoppimistutkimuksessa. Nyt meillä ei ole monilla osa-alueilla mitään mahdollisuuksia kilpailla yritysten kanssa, jotka pystyvät tekemään tämmöisiä hankkeita. Ne vaativat valtavia aineistoja ja suurta laskentakapasiteettia eli energiaa ja rahaa.
Näen tämän tietyssä määrin huonona suuntana. Olemme yhä enemmän yritysten armoilla. Ei tiedetä tarkkaan, miten heidän mallinsa toimii ja mitä se tekee. Riippumattomilla tutkijoilla on vähän mahdollisuuksia arvioida mallien toimintaa ja esimerkiksi mahdollisia vääristymiä.
7. Voisiko GPT-3 toimia suomen kielellä?
Suomen kielen pullonkaula on se, että opetusaineistojen pitää olla valtavia. Englanniksi ja muilla valtakielillä netistä löytyy niin paljon enemmän materiaalia kuin suomeksi.
Mutta kun menetelmät kehittyvät ja tarvittavan opetusaineiston määrä pienenee, niin tilanne voi muuttua.
8. Mikä voisi olla seuraava merkittävä kehitysaskel?
Mielenkiintoista ja hyödyllistä olisi faktuaalisen sisällön yhdistäminen automaattiseen tekstin generointiin. Eli ei vain tuotettaisi puppua, joka näyttää oikealta. Tämä mahdollistaisi uutisraporttien ja muiden lähdetietoihin perustuvien tekstien tuottamisen.
Urheilu- ja pörssiuutisia on jo automatisoitu, mutta tämä perustuu siihen, että on ennalta määritelty kaava, jota tarinat noudattavat. Luvut vain syötetään paikalleen.
Jos tätä ideaa pystyisi laajentamaan, aiheita pystyisi käsittelemään joustavammin.
Lue lisää: