Miten tekoälykokeilun hyötyä mitataan

Tekoälykokeilun hyötyä mitataan vertaamalla koko työtehtävää aiempaan toimintatapaan. Nopeasti syntynyt luonnos ei vielä säästä aikaa, jos sen tarkistaminen ja korjaaminen vievät aiempaa enemmän työtä.

Mittaa lähtötilanne

Valitse rajattu tehtävä ja riittävän samankaltaiset vertailutapaukset. Kirjaa käytetty aika, lopputuloksen laatu ja tarvittavat korjaukset. Kuvaa, kuka tehtävän teki ja millaista osaamista se vaati.

Esimerkiksi asiakasviestin luonnostelussa mittaus päättyy vasta hyväksyttyyn vastaukseen. Mukaan lasketaan tiedon haku, luonnos, tarkistus ja mahdollinen uudelleenkirjoitus. Pelkkä tekstin tuottamiseen kulunut aika antaa puutteellisen kuvan.

Sovi laatu ennen kokeilua

Määrittele hyväksyttävän vastauksen kriteerit: oikeat tiedot, olennainen sisältö, ymmärrettävyys ja tilanteeseen sopiva toiminta. Lisää vakavat virhetyypit, joiden esiintyminen estää laajemman käytön. Kaikkia puutteita ei voi kuitata pienellä keskimääräisellä ajansäästöllä.

Vertaa helppoja ja vaikeita tapauksia erikseen. Jos kokeilu sisältää vain tyypilliset onnistumiset, sen perusteella ei voi päätellä poikkeustilanteiden toimivuutta.

Laske hyöty käytön kustannuksilla

Huomioi lisenssit, käyttömaksut, tietopohjan ylläpito, koulutus ja seuranta. Kirjaa myös tehtävät, jotka siirtyvät toiselle työntekijälle. Ajan säästyminen yhdessä kohdassa ei auta, jos sama työ syntyy uudelleen muualla.

Tee päätös sovituilla kriteereillä: jatketaanko, rajataanko käyttötapaa vai lopetetaanko kokeilu? Asiakaspalvelun tekoälyhankkeessa ihmisen käsittelyyn ohjautuminen voi olla onnistunut lopputulos, jos automaatio ei sovellu asiaan. Hyöty muodostuu toimivasta työnjaosta, ei mahdollisimman suuresta automaation osuudesta.