Lineaariregression perusidea on laskea yhteen eri syötearvojen vaikutukset. Tästä käytetään usein teknistä termiä lineaarikombinaatio. Jutun idea on hyvinkin yksinkertainen, ja sitä voi havainnollistaa kauppalaskulla.

Sana lineaarinen tarkoittaa sitä, että kun yhtä syötteistä kasvatetaan tietyllä määrällä, tulosteena saatava arvo kasvaa aina saman verran. Toisin sanoen kun lisäät ostoskoriin esimerkiksi kaksi kiloa porkkanoita, lasku kasvaa 8 €. Jos lisäät vielä toiset kaksi kiloa porkkanoita, lasku kasvaa taas 8 €. Jos sen sijaan lisäätkin vain puolet tästä eli yhden kilon, lisälaskukin on puolet pienempi eli 4 €.

Tehtävässä savuttomien, vihanneksia inhoavien naisten elinajanodote, 80 vuotta, oli lähtökohtana laskutoimituksille. Tästä lähtökohdasta käytetään vakiotermi-nimitystä (engl. intercept, leikkauspiste).

Lineaariregressiomallin oppiminen

Edellä olemme käsitelleet lineaariregressiomallin käyttöä tapauksessa, jossa sekä kertoimet että syötedata on tunnettu. Meille on siis annettu data ja kertoimet ja laskemme yksinkertaisesti lineaarikombinaation – aivan kuten Alepan kassa.

Joskus meillä on kuitenkin käytössämme syötedata ja oikeat vastaukset (tulosteet) ja tehtävänämme on valita kertoimet siten, että lineaariregressiomalli ennustaa oikeat vastaukset mahdollisimman tarkasti. Tähän tehtävään sopii ohjattu koneoppiminen. (Tosin tavanomaisin lineaariregressiomallin oppimiseen soveltuva menetelmä on tunnettu jo 1800-luvun alkupuolella, jolloin ei tosiaankaan puhuttu koneoppimisesta.)

Käytännössä ongelma on kuitenkin yleensä monimutkaisempi, koska oikea tulos ei välttämättä riipu pelkästään syötedatasta ja kertoimista, vaan siihen voi liittyä myös tietty määrä epävarmuutta tai ”kohinaa”. Kuvittele vaikkapa basaaria, jossa hinnat vaihtelevat alituiseen tai ravintolaa, jossa kokonaishintaan lisätään vaihteleva määrä juomarahaa. Tällaisissa tilanteissa hintojen arviointi on mahdollista vain rajallisella tarkkuudella.

Sellaisten painokertoimien löytäminen, joiden avulla lineaariregressiomallin tuottamien vastausten ja oikeiden vastausten ero on mahdollisimman pieni, on klassinen tilastotieteen ongelma, jonka historia ulottuu 1800-luvun alkuun saakka. Nykyisillä tietokoneistetuilla menetelmillä se voidaan ratkaista sekunnin murto-osissa jopa silloin, kun datan määrä on massiivinen.

Emme syvenny tämän enempää painokertoimien löytämiseen sopiviin algoritmeihin, kuten niin sanotun pienimmän neliösumman menetelmään, vaikka ne ovatkin melko yksinkertaisia. Pääset kuitenkin kokeilemaan itse tehtävän sujumista tähän lukuun sisältyvissä harjoitustehtävissä.

Lineaariregressio kuvina

Hyvä keino saada parempi ja konkreettisempi käsitys lineaariregressiosta on piirtää kaavio, joka esittää samassa kuvassa sekä datapisteet että lineaarisen mallin. Aloitetaan kuvitteellisella esimerkillä, jossa data koostuu koodarina työskentelevien työntekijöiden kahvinkulutuksesta (kuppeja päivässä) ja heidän tuottamastaan ohjelmakoodista (koodirivejä päivässä tai tarkemmin sanottuna vuorokaudessa, koska riittävällä määrällä kahvia koodia syntyy myös yöllä). Selvyyden vuoksi todettakoon, että kyseessä ei ole todellinen aineisto. Oikeasti tuottavuuteen vaikuttaa moni muukin tekijä, ja eri tekijät ovat riippuvuussuhteessa keskenään. Tuottavuutta ei myöskään kannata yrittää kasvattaa kahvia kittaamalla, koska vaikka sopiva määrä kahvia saattaakin piristää, alkaa käsien tärinä tietyn rajan jälkeen häiritä näpyttelyä. (Kaverin puolesta vaan kerron.)

Kun data esitetään kuten yllä olevassa kaaviossa, jossa jokainen työntekijä on yksi datapiste, näemme selvän trendin: enemmän kahvia tarkoittaa keskimäärin enemmän koodia. Tästä datasta voimme estimoida kertoimen, joka kertoo, kuinka monta koodiriviä enemmän voidaan odottaa, jos kahvinkulutus kasvaa yhdellä kupilla päivässä. Silmämääräisesti katsoen kerroin näyttää olevan noin viisi. Vaikuttaa siis siltä, että noin kaksi kupillista kahvia kumoavat koodarit tuottavat keskimäärin 20 riviä koodia, kun taas neljä kuppia juovat tuottavat noin 30 riviä.

Huomaa, että myös ne koodarit, jotka eivät juo lainkaan kahvia, tuottavat koodia: kaavion perusteella heidän tuottavuutensa on noin 10 riviä päivässä. Tämä on mallin vakiotermi, jonka mainitsimme jo edellä. Vakiotermi on siinä mielessä aivan kuten mikä tahansa kerroin, eli sekin voidaan oppia datasta. Kuten elinajanodotetehtävässä, vakiotermi toimii lähtökohtana, kun mallin avulla halutaan tuottaa ennusteita. Malliin kuuluvien muuttujien (kuten kahvinkulutus tai tupakointi ja vihannesten kulutus) vaikutukset lisätään vakiotermiin, jotta saadaan selville mallin tuottama ennuste.

Suora viiva, joka on piirretty yllä olevaan kaavioon kuvaamaan lineaarisen mallin tuottamaa ennustetta, on saatu aikaan estimoimalla vakiotermi ja muut kertoimet niin sanotulla pienimmän neliösumman menetelmällä. Estimoinnin jälkeen mallin avulla voidaan helposti ennustaa tuotettuja koodirivejä, kunhan tunnetaan työntekijän kahvinkulutus. Huomaa, että voimme helposti ennustaa tuottavuutta myös silloin, kun kahvinkulutus on vaikkapa kolme ja puoli (3,5) kuppia.

On syytä huomioida, että edellisenkaltaiset mallit eivät voi sellaisenaan osoittaa kausaalisia riippuvuuksia. Toisin sanoen tällaisen datan perusteella ei voida suoraan päätellä, lisääkö koulutus elinajanodotetta esimerkiksi valistuneempien ja terveellisempien elintapojen tai muiden mekanismien välityksellä, vai onko datassa havaittava riippuvuus seurausta muista sekä koulutukseen että elinajanodotteeseen vaikuttavista tekijöistä. On esimerkiksi luultavaa, että sellaisissa maissa, joissa koulutustaso on korkea, on tarjolla myös hyvälaatuista ja ravitsevaa ruokaa, laadukas terveydenhuoltojärjestelmä ja turvallisempi elinympäristö. Kaikki nämä tekijät korottavat elinajanodotetta. Suoraviivainen regressioanalyysi voi vain tunnistaa riippuvuuksia, jotka voivat joka tapauksessa tuottaa hyödyllisiä ennusteita.

Lineaariregression käyttötarkoituksia tekoälyssä

Lineaariregressio on todellinen työhevonen tekoälyn ja datatieteen sovelluksissa. Sillä on omat rajoituksensa, mutta menetelmän yksinkertaisuus, suoraviivainen tulkinta sekä tehokkuus korvaavat nämä usein moninkertaisesti. Lineaariregressiota on hyödynnetty hyvällä menestyksellä esimerkiksi seuraavissa käyttötapauksissa:

• klikkausten määrän ennustaminen verkkomainonnassa
• kysynnän ennustaminen vähittäiskaupassa
• elokuvien lipputulojen ennustaminen Hollywood-tuotannoissa
• ohjelmistojen elinkaarikustannusten ennustaminen
• vakuutuskorvausten ennustaminen
• rikollisuuden määrän ennustaminen
• asuntojen hintojen ennustaminen.

Voisiko regressiota käyttää luokitteluun?

Kuten sanottu, lineaariregressio ja lähimmän naapurin luokitin tuottavat erityyppisiä ennusteita. Lineaariregressio tuottaa numeerisia ennusteita ja lähimmän naapurin luokitin valitsee ennusteen rajatusta määrästä vaihtoehtoja eli luokkia.

Lineaariregressiomallin etuna lähimmän naapurin menetelmään verrattuna on tulkittavuus. Mitä se tarkoittaa? Voidaan kyllä sanoa, että lähimmän naapurin luokittimen antama vastaus on helppo tulkita, koska se perustuu suoraan yhteen opetusdatan esimerkkiin, lähimpään naapuriin! Tämä onkin totta, mutta kun on kyse koko mallin tulkitsemisesta, ero on selvä. Lähimmän naapurin luokitinta ei voida esittää joukkona kertoimia samaan tapaan kuin lineaariregressiomallia. Lähimmän naapurin luokittimen oppima malli on tavallaan yhtä kuin koko opetusdatajoukko, joka on useimmiten niin suuri, ettei sen tutkimisesta ole paljon apua. Mitä jos olisi olemassa menetelmä, joka tuottaisi samantyyppisiä vastauksia kuin lähimmän naapurin menetelmä eli luokkia, mutta olisi yhtä helposti tulkittavissa kuin lineaariregressio?

Logistinen regressio pelastaa

Meillä on sinulle hyviä uutisia: lineaariregressiomallin tuottamat vastaukset on mahdollista muuntaa luokiksi. Tekniikka, jolla tämä onnistuu on nimeltään logistinen regressio. Emme paneudu tarkemmin teknisiin yksityiskohtiin, vaan kerromme ainoastaan, että yksinkertaisimmillaan otamme lineaariregression tuottaman vastauksen, joka on lukuarvo, ja tulostamme yhden luokan, (A) lukuarvon ollessa negatiivinen eli miinusmerkkinen ja toisen luokan (B) lukuarvon ollessa positiivinen eli plusmerkkinen. Logistisen regression avulla saamme lisäksi myös arvion siitä, kuinka varma tai luotettava ennuste on. Voimme siis vaikkapa ennustaa, että asiakas X ostaa matkapuhelimen 90 prosentin todennäköisyydellä, mutta toinen, vaikeammin ennustettava asiakas Y ei osta puhelinta 55 prosentin todennäköisyydellä (eli toisin sanoen hän ostaa puhelimen 45 prosentin todennäköisyydellä).

Samaa menetelmää voidaan käyttää myös silloin, kun vaihtoehtoisia luokkia on enemmän kuin kaksi, joten sen lisäksi, että voimme ennustaa aina A tai B (ostaa uuden puhelimen tai ei, valeuutisia tai ei, roskapostia tai asiallista postia jne.), voimme myös käyttää logistista regressiota, kun haluamme tunnistaa käsin kirjoitettuja numeroita, jolloin vaihtoehtoja on kymmenen.

Esimerkki logistisesta regressiosta

Kuvitellaan, että keräämme dataa ruoanlaittokurssin oppilaista. Opiskelijanumeron, nimen ja muiden perustietojen lisäksi pyydämme oppilaita raportoimaan, kuinka monta tuntia he käyttivät loppukokeeseen valmistautumiseen (miten ruoanlaittokokeeseen sitten opiskellaankaan – varmaankin laittamalla ruokaa?). Toivottavasti he raportoivat tunnit rehellisesti! Kokeen jälkeen tiedämme, ketkä onnistuivat hyväksytysti ja ketkä reputtivat. Tässä on hiukan dataa:

Mitä päätelmiä voit tehdä taulukon perusteella valmistautumiseen käytetyn ajan vaikutuksesta kokeen hyväksymiseen? Keräämällä satojen opiskelijoiden tiedot saisimme ehkä selville, paljonko valmistautumista tarvitaan kokeen läpäisemiseen? Kuvitellaan siis, että dataa on paljon enemmän kuin yllä ja piirretään kaavio, jonka näet alla.

Myös logistista regressiota käytetään lukuisissa oikeissa tekoälysovelluksissa, kuten finanssiriskien ennakoimisessa, lääketieteellisissä tutkimuksissa ja monissa muissa. Lineaariregression tavoin silläkin on omat rajoituksensa ja tarvitsemme työkalupakkiimme myös monta muuta menetelmää. Palaamme vielä näihin rajoituksiin seuraavassa neuroverkkoja käsittelevässä osassa.

Koneoppimisen rajat

Jonkinlaisena yhteenvetona voidaan todeta, että koneoppiminen on tehokas keino rakentaa tekoälyratkaisuja. Lähimmän naapurin menetelmän, lineaariregression ja logistisen regression lisäksi on olemassa kirjaimellisesti satoja, ellei tuhansia erilaisia koneoppimistekniikoita. Nämä kaikki perustuvat kuitenkin yhteen ja samaan periaatteeseen eli datassa olevien säännönmukaisuuksien ja riippuvuuksien etsimiseen sekä niiden käyttämiseen ymmärryksen ja ennusteiden tuottamiseen.

Ongelmat ja tehtävät, joihin koneoppimista sovelletaan, ovat usein äärimmäisen haastavia, emmekä useimmiten pysty saavuttamaan täydellistä ratkaisua, joka antaisi aina juuri oikean vastauksen. Yleensä täydellisyys ei kuitenkaan ole tarpeen, vaan hyvä on riittävä. Joskus me ihmiset voimme itse osata ennustaa paremmin kuin paraskaan koneoppimisalgoritmi, mutta tästä huolimatta algoritmi voi olla käytännöllisempi. Se voi olla esimerkiksi tuhat kertaa nopeampi ja tuottaa ennusteita yötä päivää väsymättä ja herpaantumatta. Hyviä esimerkkejä tästä ovat muun muassa suosittelujärjestelmät.

Esimerkiksi seuraavat tekijät voivat vaikuttaa siihen, kuinka tarkkoja ennusteita koneoppimisen avulla saadaan aikaan:

• ongelman vaikeus: jos käsin kirjoitetut numerot on sutaistu huolimattomasti, edes ihminen ei aina voi arvata, mitä numeroa kirjoittaja tarkoitti
• koneoppimismenetelmä: jotkin menetelmät sopivat tiettyihin tehtäviin toisia paremmin
• opetusdatan määrä: vain pienellä määrällä opetusdataa on mahdotonta saavuttaa hyvää tulosta
• datan laatu.

On myös tärkeää korostaa, että eri algoritmit ja menetelmät sopivat eri tilanteisiin. Ei siis ole olemassa yhtä menetelmää, joka olisi paras kaikissa tilanteissa (”yksi algoritmi heitä hallitsee...”). Onneksi on mahdollista kokeilla useita eri menetelmiä ja selvittää, mikä niistä sopii juuri sinun ongelmaasi parhaiten.

Tästä pääsemmekin toiseen aiheeseen, joka on myös hyvin tärkeä, mutta jää liian usein käytännössä vähäiselle huomiolle. Se on kysymys siitä, mitä tarkoittaa ”sopii parhaiten”. Numeroiden tunnistuksessa hyvä menetelmä tuottaa tietysti useimmiten oikean vastauksen. Tätä voidaan mitata luokitteluvirheellä, joka on virheellisten luokitusten osuus kaikista luokituksista. Asuntojen kauppahintojen ennustamisessa ennusteen laatua arvioidaan yleensä vertaamalla toteutunutta ja ennustettua hintaa. Käytännön sovelluksissa saattaa olla pahempi virhe erehtyä yhteen suuntaan kuin toiseen suuntaan. Jos esimerkiksi asetamme hinnan ennusteen perusteella liian korkeaksi, kaupanteko voi viivästyä kuukausilla, mutta liian matala hinta tarkoittaa vähemmän rahaa myyjälle (ja välittäjälle, jos sopimus on provisiopohjainen). Toinen selvä esimerkki on jalankulkijan havaitseminen auton reitillä: on paljon suurempi virhe olla havaitsematta reitillä olevaa jalankulkijaa kuin tehdä väärä havainto silloin, kun reitillä ei ole ketään.

Kuten todettu, emme yleensä pysty saavuttamaan nollan prosentin virhettä, mutta kenties yksi virhe sadasta (1 %) on riittävä. Tämäkin riippuu sovelluksesta – tuskinpa olisit tyytyväinen 99-prosenttisesti turvallisen auton kyydissä, mutta jos saat kuunneltavaksi kappaleita, joista pidät samalla tarkkuudella, veikkaamme kuuntelukokemuksesi olevan miellyttävä. Tekoälyratkaisujen(kin) toteuttamisessa on olennaista, että pidämme tavoitteen kirkkaana mielessä ja mittaamme onnistumista mittarilla, joka on linjassa sen kanssa.