Täpärälle meni! Näin ChatGPT pärjäsi KLT-tentissä
ChatGPT 4 -tekoäly ei läpäissyt taloushallintoalan vaativinta testiä eli KLT-tenttiä. ChatGPT:n saamia tuloksia esiteltiin Taloushallinnon työ ja tulevaisuus -tapahtumassa keskiviikkona 24. huhtikuuta.
Tentin ChatGPT:n kanssa tekivät tietojenkäsittelytieteen professori Hannu Toivonen ja Taloushallintoliiton asiakkuusjohtaja Juha Sihvonen. Tekoäly sai laskentatoimen osiosta 93 pistettä, kun läpimenoon olisi tarvittu 100. Oikeustieteen osiossa pisteitä tuli 138, kun läpimenoon tarvittiin 100 pistettä. Kokeen laskentatoimen osion tekemiseen ChatGPT:llä meni noin tunti. Laajaa tilinpäätöstä koskeva kysymys oli sellainen, jossa Chat GPT jopa suorastaan hyytyi. Oikeustieteen osion vastausaika on kaksi tuntia ja laskentatoimen osiossa neljä tuntia.
Tenttiä varten käytössä oli ChatGPT 4 Plus:n maksullinen versio ja siinä GPT-4-kielimalli. ChatGPT:lle annettiin tiedostossa yksi tehtävä kerrallaan. Sille annettiin kehote: “Olet taloushallinnon erikoisasiantuntija. Tunnet perusteellisesti alaa koskevan lainsäädännön sekä laskentatoimen. Laadi oheisen taloushallinnon kokeen mallivastaukset perustuen suomalaisiin säädöksiin ja käytäntöihin. Harkitse kutakin kysymystä huolellisesti, ja vastaa vain kysyttyyn asiaan. Anna jokaiseen numeroituun tai aakkosella merkittyyn kysymykseen selkeä vastaus. Käytä laskinta tai ohjelmointia aina, kun vastaaminen edellyttää laskemista.”
“Laskemistehtävät olivat ChatGPT:lle vaikeita. Joihinkin laskuihin ohjelma saattoi ottaa vääriä lähtötietoja ja päätyä eri tulokseen eri kerralla”, sanoo tuloksia esitellyt Hannu Toivonen.
Jo vuoden 2024 keväällä kokeilimme, miten ChatGPT 3.5 läpäisee Junior KLT -tasotestin. Tällöin suoritus meni läpi pisteillä 24/30.
Yllättivätkö tulokset professori Toivosen?
“Kun tietää kokeen vaativuuden, olin yllättynyt, että tekoäly pärjäsi näinkin hyvin. Mutta kielimallien ongelma on se, että ne eivät käsittele faktoja, ne käsittelevät vain kieltä ja sanoja”, Toivonen sanoo.
Kielimalliin perustuva tekoäly ei vielä vie kaikkia alan töitä. Toivonen tiivistää tärkeimmän esityksensä päätteeksi: “Tekoäly voi korvata ajatustyötä, mutta se ei ajattele eikä ymmärrä.”
