Kuidas me mõõdame

Me ei küsi, kas inimene oskab AI‑d kasutada. Me anname talle päris töö, sisseehitatud AI ja vaatame iga sammu. Siin on kõik: mida mõõdame, kuidas hindame ja mida me veel ei tea.

Konstrukt

Mõõtmise keel on 4D-raamistik: Delegeerimine, Kirjeldamine, Eristamine ja Hoolsus. Need on käitumised, mida saab logist näha. Aruandluse keel on Eesti tehisaru kirjaoskuse pädevusmudel, et tulemused oleksid seotud Eesti koolituste ja kõnepruugiga.

Dimensioon	Mida jälgime	Pädevusmudeli valdkond
Delegeerimine	Postkasti otsused, ülesande tükeldamine, „ei kasuta AI‑d“ õigetes kohtades	AI tehnoloogiad ja rakendused; AI süsteemide disain
Kirjeldamine	Viipade sisu, agendi juhendi täielikkus	Inimkeskne mõtteviis ja suhtlus; AI süsteemide disain
Eristamine	Vigade leidmine, valehäired, peidetud vea märkamine, kontrollküsimused	Info- ja andmekirjaoskus
Hoolsus	Isikuandmete käitlus, avalikustamine, omistamise ausus	Eetika ja turvalisus

Tasemed: baastase (rubriigi skoor 1–2), rakendustase (3) ja eksperttase (4). Lisaks arvutame AI-võimendusindeks 0–100.

Seitse osa

Eelprognoos. Kui hästi arvad, et hakkama saad? Mõõdab kalibreeritust.
AI‑postkast. Kuus kirja. Iga kohta otsus: annan AI‑le, teen koos, teen ise või ei tee. Kolm neist on lõksud.
Kolleegi mustand. AI‑ga kirjutatud memos on viis viga ja üks üllatav, kuid õige number. Skoor arvestab tabamusi ja valehäireid.
Põhitöö. 2 000 € turunduseelarve ühele kohvikule. Kui osaleja laseb AI‑l arvutada, annab AI kahe kohviku numbrid vahetuses.
Agendi juhend. Osaleja kirjutab juhendi AI‑agendile. Käivitame selle päriselt ja kontrollime väljundit 8 kriteeriumi järgi.
Punased jooned. Kuus olukorda, kus valitakse sobivaim ja ebasobivaim tegevus.
Järelpeegeldus. Kindlus oma numbrites ja küsimus, millised osad tulid AI‑lt. Võrdleme vastust logiga.

muuk_2025-26.csvokt 2026

Kohvik	Tehinguid	Käive, €
Kalamaja	4 812	39 940
Telliskivi	3 905	33 076
Noblessner	2 640	16 160

Peidetud vead

Peidetud viga ei sõltu juhusest. See tekib meie andmekihis: kui AI küsib müügiandmeid, tagastab süsteem kahe kohviku numbrid vahetuses. AI esitab need usutavalt. Avatud tabelis on õiged numbrid, nii et kontrollimiseks piisab ühest jagamisest.

Osaleja teab enne algust, et AI võib eksida ja osa vigu on tahtlikud. See ei vähenda mõõtmise väärtust: inimesed kontrollivad kõige vähem siis, kui väljund näeb viimistletud välja. Mõõdame, kas vale number jõudis lõppdokumenti ja kui kiiresti osaleja seda kontrollis.

Hindaja vaade · ajajoonosaleja T-07

10:14:02 Osaleja: „Arvuta iga kohviku keskmine ostukorv.“
10:14:06 Abiline: Telliskivi 6,12 €, Noblessner 8,47 € peidetud viga: väärtused vahetatud
10:14:31 Kopeeris vastuse lõikelauale
10:19:48 Lõppdokument: „Noblessneri ostukorv 8,47 €“ vale number jõudis plaani
10:20:10 Fail muuk_2025-26.csv: ei avatud

Rubriik

Dimensioon	1	2	3	4
Delegeerimine	Kasutab AI‑d kõiges või mitte milleski	Eristab ilmseid juhtumeid, aga mitte piirist väljas olevaid	Tükeldab töö, annab AI‑le sobivad osad, otsus jääb endale	Disainib töövoo kontrollpunktidega ja põhjendab otsuseid riskiga
Kirjeldamine	Üherealised käsud ilma kontekstita	Annab eesmärgi, aga mitte vormi ega piiranguid	Annab sihtrühma, vormi, piirangud ja andmed, täpsustab sihipäraselt	Määrab AI rolli ja käitumise; agendi juhend katab äärejuhtumid
Eristamine	Võtab väljundi üle, vale number jõuab lõppdokumenti	Leiab ilmsed vead, jätab peidetud vea märkamata või tekitab valehäireid	Kontrollib numbreid andmete vastu, leiab peidetud vea ja enamiku teisi	Kontrollib süsteemselt, valehäireid peaaegu pole, selgitab miks
Hoolsus	Kleebib isikuandmed AI‑sse, ei avalikusta AI kasutust	Teab reegleid, rakendab ebajärjekindlalt	Pseudonümiseerib andmed, avalikustab AI kasutuse, omistab ausalt	Kaitseb ka teisi: agendi juhendis on andmekaitse ja eskaleerimine

Kriitilised vead on eraldi lipud ja neid ei keskmistata: isikuandmete leke, vale number lõppdokumendis ja eskaleerimata toiduohutuse kaebus.

Kuidas hindame

Logist arvutame automaatselt objektiivsed tunnused: kas peidetud viga jõudis lõppdokumenti, kas isikuandmed kleebiti AI‑sse, mitu korda osaleja itereeris, kui kiiresti ta numbrit kontrollis, kui suur osa lõppdokumendist tuli AI‑lt. Lõpptulemuse ja põhjendused hindab inimene rubriigi järgi, iga hinne viitab konkreetsele kohale logis.

AI‑hindaja võtame kasutusele teise hindajana alles siis, kui vähemalt 100 topelthinnatud sessioonil on tema kokkulangevus inimestega (QWK) vähemalt 0,70.

Valideerimise kava

Sisuvaliidsus: iga ülesanne kaardistatakse pädevusmudeli indikaatoritega, eksperdid hindavad.
Hindajatevaheline reliaablus: ICC või QWK vähemalt 0,70 dimensiooni kohta.
Tuntud rühmad: igapäevased AI‑kasutajad peavad saama kõrgema tulemuse kui mittekasutajad.
Konvergentne valiidsus: seos Juhi peegli hinnangutega.
Ennustav valiidsus: kolme kuu pärast küsime AI‑tööde kvaliteedi ja ümbertegemise kohta.
Tundlikkus muutustele: koolituse eel- ja järelmõõtmine, ideaalis kontrollrühmaga.
Paralleelvormide samaväärsus ja õiglus vanuse ning keele lõikes.
300–500 osaleja järel Rasch- või IRT-analüüs objektiivsetele osadele.

Mida me veel ei tea

Kui hästi skoor ennustab töösooritust. Töönäidiste valiidsus on uuringutes 0,33–0,54, meie oma number tuleb pilootidest.
Kas peidetud vead on õige raskusega. Sihime, et 30–70% osalejatest leiaks peidetud vea, ja kalibreerime pilootide järel.
Eesti võrdlusbaasi. Näitame seda alles siis, kui osalejaid on vähemalt 200.