Päivitetty 24.8.2026 · Mittausajo 6.–7.8.2026

Miten Tesletin luotettavuus on mitattu

Tesletin tarkkuutta mitataan toistettavalla testisarjalla. Tällä sivulla ovat viimeisimmän mittauksen (elokuu 2026) tulokset, tapa, jolla ne syntyivät, ja se, mitä mittaus ei kerro.

Kolme ensimmäistä lukua tulee ohjelmallisesta tarkistuksesta, ei kielimallin arviosta. Testisarja ajettiin kolme kertaa: vastauksissa oli yhteensä 1216 viittausta, joista 1213 oli sekä sopimustekstin tukemia että sanatarkkoja. Jokainen lainaus vastasi sopimustekstiä sanasta sanaan.

Mitä mittaus oikeuttaa sanomaan

Tämä sivu on rakennettu niin, että väitteet seuraavat lukuja eivätkä toisin päin. Jokaiselle väitteelle on ennalta asetettu kynnys, ja väite julkaistaan vasta kun mittaus ylittää sen. Tämän mittauksen jälkeen kaikki kolme väitettä ovat voimassa:

Faktaväitteen marginaali on kapea: 220 osumaa 231:stä ylittää 95 prosentin kynnyksen 0,2 prosenttiyksiköllä, ja yksi kysymys suuntaansa siirtäisi tuloksen kynnyksen alle. Väite on siksi voimassa juuri niin kauan kuin seuraavakin mittaus sen vahvistaa. Keksittyjen pykälien nolla kattaa myös 33 ansakysymystä, joissa kysyttiin olemattomista pykälistä, aineiston ulkopuolisista aloista ja virheellisistä oletuksista.

Mihin vastaukset perustuvat

Teslet ei vastaa kielimallin yleistiedosta. Haku poimii kohdat alkuperäisestä sopimustekstistä, vastaus kootaan vain löytyneestä aineistosta, ja mukaan tulee sanatarkka lainaus sekä pykäläviite, josta väitteen voi tarkistaa. Virheitä silti sattuu, ja siksi tarkkuutta mitataan.

Mittausasetelma

Testisarjan 114 kysymystä jakautuvat jokaiselle Tesletin kattamalle sopimukselle ja kuuteen kysymystyyppiin. Koko sarja ajettiin kolme kertaa, jotta yksittäisen ajon sattuma ei määrää lukuja. Kysymykset on laadittu palkanlaskennan tyypillisistä tilanteista, ei poimittu käyttäjien keskusteluista. Rinnalla ajettiin 33 ansakysymystä, joissa kysytään olemattomia pykäliä tai aineistoon kuulumattomia aloja ja joissa oikea vastaus on kieltäytyä tai tarkentaa.

Tärkeimmät luvut tulevat kolmesta ohjelmallisesta tarkistuksesta. Jokainen lainaus verrataan sopimustekstiin, ja jokaisesta viittauksesta katsotaan, tukeeko mainittu sopimuskohta esitettyä väitettä; lainausvertailu yhtenäistää välimerkit ja sallii erikseen merkityt poistot, mutta tulkintaa siihen ei sisälly. Lisäksi 77 kysymykselle on ennalta merkitty arvot, jotka oikeasta vastauksesta on löydyttävä: euromäärät, prosentit ja määräajat tarkistetaan vastauksesta ohjelmallisesti. Kielimalli pisteytti kunkin vastauksen kolme kertaa, ja pisteiden keskihajonta kysymystä kohti oli keskimäärin 0,14. Kolme kierrosta samalta arvioijalta ei tietenkään vastaa kolmea riippumatonta arvioijaa.

Tulokset

Luvut ovat nykyisestä tuotantokokoonpanosta ja kaikista 114 kysymyksestä. Ennen vastauksen näyttämistä Teslet tarkistaa sen haettuja sopimuskohtia vasten ja täydentää puuttuvat arvot, mikä näkyy kattavuudessa. Heikoin mittari on nyt esitystapa: täydennys tekee osasta vastauksia kaksiosaisia. Se on tietoinen vaihtokauppa, jossa oikeat luvut menevät sujuvan rakenteen edelle.

Missä Teslet meni pieleen

Nämä ovat mittauksen kolme heikointa vastausta, ja ne edustavat kolmea eri vikaluokkaa. Ensimmäisessä haku nosti väärän käsitteen ja vastaus rakentui sen varaan. Toisessa yhden henkilöstöryhmän erityissääntö yleistettiin koko sopimukseen. Kolmannessa rakenne oli oikein mutta ratkaisevat luvut eivät koskaan nousseet haussa mallin käyttöön. Yhdessäkään ei keksitty mitään: jokainen lainaus oli sanatarkkaa sopimustekstiä.

Haku nosti ennalta merkityistä sopimuskohdista mallin käyttöön keskimäärin 0,94-osuuden, ja jäljelle jäävä häntä on juuri se, mistä yllä olevat tapaukset syntyvät. Kun oikea kohta ei nouse hakuun, mikään myöhempi tarkistus ei voi pelastaa vastausta, ja siksi hakuaukot ovat korjauslistan kärjessä.

Rajoitukset

Mittaus ei osoita kaikkea. 114 kysymystä kattaa jokaisen Tesletin aineistoon kuuluvan sopimuksen mutta ei kaikkia tilanteita, joita työehtosopimuksista voi kysyä, eikä sopimuskohtaisiin prosentteihin riitä vielä aineistoa. Kysymykset on laadittu itse, ja vastaukset pisteytti kielimalli, ei ihmisraati. Faktatarkistus kattaa 77 kysymystä, joille odotetut arvot on merkitty ennalta; muiden kysymysten täydellisyydestä kertoo vain kielimallin arvio.

Arvioijan moitteet tarkistetaan sopimustekstiä vasten ennen kuin ne päätyvät tälle sivulle, eikä kielimallin arvioihin luoteta sokeasti kumpaankaan suuntaan. Tämän sivun virhetapaukset on varmennettu sopimusteksteistä: esimerkiksi lomarahatapauksen yleissääntö on luettavissa suoraan lainatusta pykälästä.

Osa puutteista johtuu aineistosta, ei vastaamisesta. Vuosilomavertailun tapaus on tällainen: kertymäluvut ovat sopimusteksteissä ja Tesletin aineistossa, mutta haku ei yhdistänyt niitä kysymykseen. Tällaiset puutteet korjataan sitä mukaa kuin mittaus löytää niitä. Tämän sivun edellinen versio nosti esimerkiksi MaRa:n palkkaryhmäkysymyksen, jossa haku ei löytänyt oikeaa kohtaa lainkaan; puute on sen jälkeen korjattu, ja nykyisessä mittauksessa sama kysymys sai arvioinnissa 4,9 pistettä viidestä.

Teslet ei korvaa oikeudellista neuvontaa, ja vastuu tulkinnasta on aina käyttäjällä. Siksi jokaisen vastauksen lähde näytetään: väitteen voi tarkistaa itse.

Milloin luvut päivitetään

Tulokset ovat mittausajosta 6.–7.8.2026. Mittaus ajetaan uudelleen, kun kielimalli vaihtuu tai sopimusaineistoon tulee iso päivitys, ja luvut korvataan uusilla.