Kolme näkökulmaa tekoälyn liiketoimintahyödyn mittaamiseen

Tekoälyratkaisujen määrä kasvaa nopeasti, mutta yksi tärkeä kysymys jää organisaatioissa usein liian vähälle huomiolle: mitä hyötyä tekoälystä todella syntyy liiketoiminnalle? Käyttäjämäärät, lisenssien lukumäärä, kulutetut tokenit tai mallin tekninen tarkkuus voivat kertoa miten tekoälyä käytetään määrällisesti. Ne eivät kuitenkaan vielä osoita, että liiketoiminta toimii paremmin. Tekoälyhankkeen onnistumista pitäisi arvioida samalla tavalla kuin mitä tahansa muutakin liiketoiminnan kehittämistä: saimmeko aikaan sen muutoksen, jota tavoittelimme?

Tässä artikkelissa käsittelemme, miksi tekoälyn liiketoimintahyötyä on tärkeää mitata, miten oikeat mittarit valitaan ja millaisia KPI-mittareita tekoälyhankkeissa kannattaa käyttää.

Tekoäly ei ole itseisarvo

Monessa organisaatiossa tekoälyhankkeita lähdetään toteuttamaan teknologia edellä. Tavoitteeksi voi muodostua esimerkiksi tekoälyagentin rakentaminen, Copilot-lisenssien käyttöönotto tai generatiivisen tekoälyn hyödyntäminen tietyssä prosessissa. Tällöin vaarana on, että tekoälyä liimataan olemassa olevan toiminnan päälle ilman, että itse prosessia tarkastellaan kriittisesti.

Parempi lähtökohta olisi kysyä, miten tämän työn tai prosessin pitäisi toimia tulevaisuudessa, jos voisimme suunnitella sen uudelleen? Perinteisessä IT-projektissa toteutetaan usein ennalta määriteltyä toimintalogiikkaa. Tekoälyhankkeissa kaikkia mahdollisuuksia tai lopputuloksia ei välttämättä tunneta etukäteen. Ensin voidaan joutua selvittämään, mitä käytettävissä olevan datan avulla ylipäätään voidaan tehdä.

Tekoälyhanke voikin johtaa yksittäisen työkalun sijasta koko prosessin uudistamiseen. Tämä edellyttää teknologian lisäksi uudenlaista johtamista, kokeilemista, oppimista ja kykyä sietää epävarmuutta. Kokeilukulttuuri ei kuitenkaan tarkoita sitä, että jokaisen kokeilun pitäisi onnistua ensimmäisellä kerralla. Todellinen kokeilukulttuuri syntyy siitä, että hankkeet jaetaan riittävän pieniin osiin, palautetta saadaan nopeasti ja toimintaa muutetaan opitun perusteella.

Tehokkuus ei tarkoita vain säästöjä

Tekoälyn hyötyjä perustellaan usein tehokkuudella. Tehtävä, johon aikaisemmin kului kaksi viikkoa, voidaan ehkä suorittaa tekoälyavusteisesti kahdessa päivässä tai jopa muutamassa tunnissa.

Tämä on arvokasta, mutta pelkkä ajan säästäminen ei vielä kerro liiketoimintahyödystä. Olennaista on kysyä, mitä vapautuneella ajalla tehdään. Jos asiantuntija käyttää vähemmän aikaa tiedon etsimiseen, dokumenttien luonnosteluun tai rutiininomaiseen raportointiin, voiko hän käyttää enemmän aikaa esimerkiksi:

• asiakkaiden palvelemiseen
• analysointiin ja päätöksentekoon
• uusien palveluiden kehittämiseen
• riskien arviointiin
• liiketoiminnan kehittämiseen
• vaativaan asiantuntijatyöhön?

Tekoälyn tavoitteena pitäisi olla löytää ne tehtävät, joissa tekoäly pystyy hoitamaan rutiinit ja joissa ihmisen asiantuntemus tuottaa eniten arvoa. Siksi tehokkuutta kannattaa mitata myös siitä, kasvaako ihmisen tekemän työn arvo.

Kolme näkökulmaa AI:n liiketoimintahyödyn mittaamiseen

Tekoälyhankkeiden mittarit voidaan jäsentää kolmeen pääryhmään:

1. Tehokkuuteen ja ketteryyteen

2. Laatuun, luottamukseen ja riskienhallintaan

3. Kasvuun ja uuteen liiketoimintaan.

Näitä kaikkia tarvitaan, sillä yksittäinen mittari antaa aina vain rajallisen kuvan hankkeen vaikutuksista.

1. Tehokkuus ja ketteryys

Time to market

Time to market kertoo, kuinka nopeasti idea saadaan käyttöön tai tuotantoon. Se on erityisen hyödyllinen mittari, koska se pakottaa tarkastelemaan koko kehitysprosessia. Yhden työvaiheen nopeutuminen ei vielä auta, jos prosessin todellinen pullonkaula sijaitsee muualla. Kehittäjä voi esimerkiksi tuottaa tekoälyavusteisesti koodin kahdessa päivässä kolmen viikon sijasta. Jos ratkaisu odottaa tämän jälkeen useita viikkoja hyväksyntää, testausta tai käyttöönottoa, kokonaisläpimenoaika ei välttämättä lyhene lainkaan. Time to market auttaa siis tunnistamaan, missä arvontuotanto todellisuudessa hidastuu.

Time to value

Nopea tuotantoon pääsy ei kuitenkaan vielä tarkoita, että ratkaisu tuottaa arvoa. Tämän vuoksi time to marketin rinnalla pitäisi seurata myös time to value -mittaria. Time to value kertoo, kuinka nopeasti ratkaisu alkaa tuottaa tavoiteltua hyötyä käyttäjille tai liiketoiminnalle. Organisaatio voi esimerkiksi rakentaa nopeasti 30 uutta raporttia. Jos kukaan ei käytä niitä, time to market voi olla erinomainen mutta time to value käytännössä olematon. Arvo syntyy vasta, kun ratkaisu otetaan käyttöön ja se muuttaa toimintaa.

Iteraatioiden nopeus

Tekoäly voi nopeuttaa merkittävästi prototyyppien, sovellusten, analyysien ja uusien ominaisuuksien rakentamista. Siksi myös kehityssyklin nopeus on hyödyllinen mittari. Kehityssyklin nopeutta voidaan arvioida esimerkiksi seuraamalla, kuinka kauan yhden muutoksen toteuttaminen kestää, kuinka nopeasti käyttäjäpalautteeseen pystytään reagoimaan, kuinka monta testattavaa versiota syntyy tietyssä ajassa ja kuinka nopeasti kokeilusta päästään seuraavaan iteraatioon. Nopeampi kehityssykli auttaa selvittämään aikaisemmin, olemmeko ratkaisemassa oikeaa ongelmaa. Tekninen nopeus ei kuitenkaan yksin riitä. Organisaation ja käyttäjien täytyy myös ehtiä omaksua muutokset. Sata uutta ominaisuutta tunnissa ei tuota arvoa, jos kukaan ei pysty ottamaan niitä käyttöön.

2. Laatu, luottamus ja riskienhallinta

Erityisesti rahoitus-, vakuutus- ja muilla vahvasti säännellyillä toimialoilla tekoälyratkaisun arvo riippuu sen luotettavuudesta. Nopea tai teknisesti vaikuttava ratkaisu ei tuota liiketoimintahyötyä, jos käyttäjät eivät luota sen tuloksiin tai siihen liittyviä riskejä ei pystytä hallitsemaan.

Käyttäjien luottamusta ja ratkaisun laatua voidaan arvioida esimerkiksi seuraamalla:

• kuinka luotettavana käyttäjät pitävät järjestelmän tuottamaa tietoa
• kuinka usein käyttäjät tarkistavat tuloksen toisesta lähteestä
• kuinka hyvin käyttäjät ymmärtävät, mihin järjestelmän tulos tai suositus perustuu
• kuinka suuri osa tuloksista vaatii ihmisen korjausta
• kuinka paljon aikaa tulosten tarkistamiseen ja korjaamiseen kuluu
• miten virheiden ja korjausten määrä kehittyy ajan myötä.

Luottamus ei synny pelkästä teknisestä tarkkuudesta, vaan käytännön kokemuksista, läpinäkyvyydestä ja tasaisesta laadusta. Jos käyttäjät eivät luota viralliseen ratkaisuun, he voivat siirtyä henkilökohtaisiin tekoälypalveluihin, omiin Excel-tiedostoihinsa tai muihin vaihtoehtoisiin työkaluihin. Tämä kasvattaa varjo-IT:n, tietoturvapoikkeamien ja tietovuotojen riskiä.

Yksittäisten virheiden sijaan laatua ja luotettavuutta on tärkeää arvioida suhteessa tuotosten kokonaismäärään. Esimerkiksi kolme korjausta 15 000 vastauksessa kertoo aivan eri tasoisesta laadusta kuin kolme korjausta kymmenessä vastauksessa. Vertailukohtana ei myöskään tulisi olla kuvitteellinen täydellisyys, vaan nykyinen toimintatapa, sillä ihmisen tekemä työ ei sekään ole virheetöntä.

Tekoäly voi uusien riskien lisäksi auttaa organisaatiota parantamaan sääntelyn noudattamista. Sitä voidaan hyödyntää esimerkiksi sääntelydokumenttien tulkinnassa, tiedonhaussa, raportoinnissa ja dokumentaation tuottamisessa.

Sääntelyn noudattamista voidaan mitata esimerkiksi seuraamalla:

• uuden sääntelyvaatimuksen tunnistamisesta sen toimeenpanoon kuluvaa aikaa
• sääntelyraporttien laatimiseen kuluvaa aikaa
• auditoinneissa havaittujen puutteiden määrää
• dokumentaation ajantasaisuutta
• käsiteltyjen sääntelymuutosten kattavuutta.

Riskienhallinnassa kaikkia käyttötapauksia ei kuitenkaan kannata käsitellä samalla tavalla. Sisäiseen tiedonhakuun tai dokumentointiin tarkoitettu matalan riskin ratkaisu ei välttämättä tarvitse yhtä raskasta hyväksyntäprosessia kuin asiakasdataa käsittelevä tai päätöksentekoon vaikuttava korkean riskin ratkaisu.

Riskiperusteinen toimintamalli auttaa organisaatiota etenemään nopeasti siellä, missä vaikutukset ovat vähäisiä, ja kohdistamaan tarkemman valvonnan niihin käyttötapauksiin, joissa virheillä voi olla merkittäviä seurauksia.

3. Kasvu ja uusi liiketoiminta

Tekoälyn hyötyjä tarkastellaan usein säästöjen kautta, koska säästettyjen työtuntien ja kustannusten laskeminen on suhteellisen helppoa. Kasvun ja uuden liiketoiminnan vaikutukset syntyvät usein hitaammin, mutta juuri siksi ne pitäisi huomioida mittaristossa alusta asti.

Kasvua voidaan arvioida esimerkiksi seuraamalla:

• uusien palveluiden, konseptien tai käyttötapausten määrää
• aikaa ideasta ensimmäiseen asiakaskokeiluun
• asiakastyytyväisyyttä, asiakaspysyvyyttä tai suositteluhalukkuutta
• asiakkaan asian ratkeamista ensimmäisellä yhteydenotolla
• korkean lisäarvon työhön käytetyn ajan osuutta.

Pelkkä käyttäjien tai tekoälylisenssien määrä ei vielä kerro liiketoimintahyödystä. Olennaista on, käytetäänkö ratkaisua aidosti merkityksellisissä tehtävissä ja johtaako käyttö parempaan asiakaskokemukseen, arvokkaampaan asiantuntijatyöhön tai uuteen liiketoimintaan.

Tekoälyn pitäisi parhaimmillaan vapauttaa ihmisille enemmän aikaa asiakkaiden kohtaamiseen, päätöksentekoon ja liiketoiminnan kehittämiseen. Kasvu ei siis synny pelkästään siitä, että nykyiset tehtävät tehdään nopeammin, vaan siitä, mitä organisaatio pystyy tekemään vapautuneella ajalla, osaamisella ja datalla.

Mitä tekoälyhankkeissa ei kannata käyttää liiketoiminnan päämittarina?

Kaikki tekoälyyn liittyvät tunnusluvut eivät ole liiketoimintamittareita. Kulutettujen tokenien määrä, rakennettujen agenttien lukumäärä, hankittujen lisenssien määrä, rekisteröityneiden käyttäjien määrä, mallin tekninen tarkkuus tai tuotettujen sisältöjen määrä voivat kaikki olla hyödyllisiä teknisiä mittareita. Yksinään ne eivät kuitenkaan kerro, syntyykö tekoälystä liiketoimintahyötyä. Tekniset mittarit ovat tärkeitä ratkaisun kehittämisessä, kustannusten hallinnassa ja laadun seurannassa. Liiketoiminnan näkökulmasta olennaisempaa on kuitenkin kysyä, mitä niiden seurauksena tapahtui.

Paraniko asiakaskokemus? Lyhenikö läpimenoaika? Kasvoiko työn arvo? Vähenivätkö virheet? Syntyikö uutta liiketoimintaa? Näihin kysymyksiin vastaamalla selviää, tuottaako tekoäly aidosti liiketoiminta-arvoa.

kuuntelisitko mieluummin? Kuuntele webinaaritallenne tästä.

Alta voit katsoa / kuunnella tämän artikkelin kirjoittajien Simo Rintakosken ja Tuomas Herojan webinaarin aiheesta. Keskustelua moderoi Ville Muuraneva.