Þegar gervigreind verður dómari (2. hluti): Tvískinnungurinn: Þegar gervigreind dæmir nemendur.

Þetta verður líklega það síðasta sem ég skrifa sem háskólanemi – í bili að minnsta kosti. Undanfarin tvö ár, samhliða vinnu minni við skapandi gervigreind (e. Generative AI), hef ég rannsakað uppgang þess sem ég kalla „Hinn stafræna Levíatan“ (Digital Leviathan): hægfara normaliseringu á valdi reiknirita yfir mannlegri dómgreind og þeim skaðlegu samfélagslegu áhrifum sem af því hljótast.

Að einhverju leyti má segja að þetta sé rökrétt framhald af BA-verkefninu mínu í lögfræði sem snéri að lögbundinni gagnageymd fjarskiptafyrirtækja. Eftir eina viku ver ég síðan meistararitgerð mína, Beyond Fragmentation: A Life-Value Alternative for AI Governance. Ég mun deila meiru úr henni fljótlega, en leyfið mér fyrst að klára það sem ég byrjaði á.

Lærdómurinn frá Bifröst er að við getum ekki treyst reikniritum til að vera dómarar. Lærdómurinn af Turnitin er að við getum ekki treyst stofnunum til að vernda okkur gegn þessum reikniritum.

Í fyrri hlutanum fjallaði ég um atvik hjá Háskólanum á Bifröst þar sem stjórnendur, samkvæmt fréttaflutningi, notuðu gervigreind til að dæma starfsferil starfsfólks síns. Við sáum reiðina. Við sáum „2/10“ einkunnina. Við sáum kerfið hafna þeirri hugmynd að „svartur kassi“ ætti að ákvarða faglegt virði fólks.

En á meðan við vorum upptekin af því að hneykslast fyrir hönd prófessoranna, gleymdum við nemendunum.

Á hverjum degi, í nánast öllum háskólum á Íslandi, eru verkefni nemenda „dæmd“ samkvæmt nákvæmlega sama svarta kassanum og við vorum rétt í þessu að lýsa yfir að væri ósiðlegur gagnvart starfsfólki.

Við köllum það Turnitin.

Tvískinnungurinn

Ef það telst stjórnsýsluleg vanræksla að nota Claude til að dæma framlag prófessors, hvers vegna gildir annað um nemendur? Bæði kerfin eru:

• Ógagnsæ: Enginn veit nákvæmlega hvernig reikniritið vinnur gögnin eða hvaða vægi ólíkir þættir hafa.
• Yfirgangssöm (e. Extractive): Þau treysta á gögn sem hefur verið safnað (harvested) án merkingarbærs samþykkis höfunda.
• Ofskynjanir og tölfræðilegar ágiskanir: Ólíkt hefðbundinni ritstuldarvörn, sem byggir á staðreyndum, byggir AI-skanninn á líkindamati (probability) sem kerfið framleiðir en stjórnendur meðhöndla oft sem óskeikulan sannleika.

Einn sannleikur, ein ágiskun

Hér er mikilvægt að gera greinarmun á tveimur ólíkum „fídusum“ innan Turnitin.

Annars vegar er Similarity Report, sem ber texta saman við gagnagrunn og finnur beina samsvörun – það er staðreyndatékk.

Hins vegar er AI Writing Detection, nýja tólið sem á að grípa gervigreind. Það tól ber ekki saman texta, heldur leitar að tölfræðilegum mynstrum í setningauppbyggingu. Þetta er ekki sönnun, heldur spá. Rannsóknir og prófanir sýna ítrekað að þessir skannar gefa „fölsk jákvæð“ svör (e. false positives), þar sem heiðarlegum nemendum er gefin falleinkunn af véfrétt sem getur ekki útskýrt niðurstöðu sína. Þegar háskólar nota þetta líkindamat sem grundvöll fyrir agaviðurlögum er réttaröryggi nemenda fórnað fyrir þægindi tækninnar.

Munurinn? Prófessorarnir á Bifröst höfðu stéttarfélag og siðanefnd. Nemendurnir merkja í reit sem segir: „I Agree.“

Er ekki ákveðin kaldhæðni fólgin í því að íslenskir nemendur afsali sér réttinum til verka sinna með því að samþykkja samning á ensku?

Leiguliðamódel menntunar

Turnitin var keypt á 1,75 milljarða dollara. Það virði kemur ekki til vegna kóðans þeirra. Það kemur til vegna þeirra milljarða ritgerða og verkefna sem þeir hafa sogað til sín frá nemendum.

Þegar þú skilar ritgerð ertu ekki bara að fá einkunn. Þú ert að inna af hendi ólaunaða gagnavinnu. Þú ert að þjálfa gervigreindina sem verður seld aftur til skólans þíns á næsta ári – á hærra verði. Þetta er peningahringrásin að verki: hugverkarétti þínum er breytt í auðmagn þeirra. Skólagjöldin þín greiða fyrir þau forréttindi að fá að mata vélina.

„Gildran“

Flestir nemendur lesa ekki notendaskilmálana (EULA). Ég gerði það.

„...You hereby grant to Turnitin... a non-exclusive, royalty-free, perpetual, worldwide, irrevocable license to use such papers...“

Þýðing: Þú borgar skólagjöld til að skapa verkið. Þeir eiga það að eilífu – frítt.

Lausnin: „Ekki vista.“

Það er leið út. Turnitin hefur stillingu sem heitir „Do not store the submitted papers“ (Ekki vista skilin verk). Ef kennari virkjar þennan valmöguleika er ritgerðin þín skönnuð en ekki vistuð í gagnagrunninum. Hún er tékkuð fyrir ritstuld en aldrei bætt við varanlega gagnasafnið.

Hvers vegna er þetta ekki sjálfgefin stilling?

Vegna þess sem ég kalla ábyrgðarþoku (Responsibility Fog). Söfnunarstillingin er sjálfgefin (default). Fáir setja líklegast spurningarmerki við hana. Enginn „á“ ákvörðunina. Og þegar þú áttar þig á hvað gerðist er verkið þitt nú þegar orðið eign einhvers annars.

Hvernig á að segja sig úr þessu

Ef þú ert nemandi áttu réttindi – samkvæmt 17. grein persónuverndarlaganna (GDPR) og samkvæmt eigin notendaskilmálum Turnitin – til að krefjast þess að gögnum þínum sé eytt eftir mat.

Ekki samþykkja hið velviljaða búr. Notaðu þessi sniðmát eða gerðu þín eigin, þú þarft ekki að fylgja forkröfum til að endurheimta það sem er þitt.

Fyrir skil: Yfirlýsingin

Láttu þetta eða svipaðan texta fylgja með verkefninu þínu:

Ég skila þessu verkefni inn á Turnitin til að uppfylla kröfur þessa skóla. Ég veiti hins vegar ekki samþykki fyrir varanlegri vistun á mínum hugverkum í viðskiptalegum gagnagrunni. Ég mun leggja fram formlega beiðni um eyðingu strax að loknu mati.

Fyrir eyðingu: Krafan

Sendu þetta á kennarann þinn eftir að einkunn hefur verið gefin:

Efni: Formleg beiðni um eyðingu úr gagnagrunni Turnitin

Vinsamlegast áframsendið þetta á tengilið Turnitin hjá skólanum:

Ég skilaði verkefninu [Titill] (Auðkenni ritgerðar/Paper ID: [ID]) til námsmats. Nú þegar yfirferð er lokið nýti ég rétt minn samkvæmt notendaskilmálum Turnitin („License by You“) og 17. grein GDPR til að krefjast þess að þessu skilaverkefni verði varanlega eytt úr gagnagrunninum (repository).

Vinsamlegast staðfestið með tölvupósti þegar þessari aðgerð er lokið.

Niðurlag

Eini lærdómurinn sem eftir stendur er þessi: við verðum að vernda okkur sjálf.

Ítarefni

1. Turnitin User Agreement
2. Insight Partners Acquisition
3. Resisting EdTech (Hybrid Pedagogy)
4. Turnitin Acquired by Advance Publications
5. Turnitin "Do Not Store" Feature Guide