Þegar gervigreind verður dómari: Lexía sem Ísland má ekki missa af

Magnús Smári Smárason
Deila:

Mál Háskólans á Bifröst afhjúpar alvarlega bresti í skilningi á tækni þegar mállíkanið Claude var nýtt til að meta starfsheiður fólks. Gervigreind er öflugt hjálpartæki en hræðilegur húsbóndi. Hér er fjallað um takmarkanir mállíkana, háleita vitleysu „sophisticated bullshit“ og hvers vegna vélar eiga aldrei að sitja í dómarasæti þegar ákvarðanir hafa alvarlegar afleiðingar.

Hamar dómarans með upplýsingum frá vefnaði stórra mállíkana

Greinin byggir alfarið á opinberri fjölmiðlaumfjöllun og gerir ekki ráð fyrir að öll málsatvik séu fullkunn.

Mál Háskólans á Bifröst getur varpað ljósi á þá hættu sem skapast þegar tækni er notuð án fulls skilnings til að meta mannlegt framlag og hvernig hún getur orðið að yfirvarpi fyrir ákvarðanir með alvarlegum afleiðingum.

Síðustu daga hafa fjölmiðlar greint frá deilum innan Háskólans á Bifröst. Það sem hefur komið fram er, vægt til orða tekið, uggvænlegt.

Samkvæmt umfjöllun var gervigreindin Claude notuð til að meta hvort þrír starfsmenn ættu tilkall til meðhöfundaréttar. Við þá vinnslu var persónuupplýsingum, ferilskrám og óbirtum greinum hlaðið upp í leyfisleysi, ferli sem getur varðað við höfundarrétt og persónuvernd. Þessar „niðurstöður“ gervigreindarinnar voru síðan lagðar til grundvallar kæru til siðanefndar.

Verði þetta staðfest orkar það tvímælis frá siðferðilegu og faglegu sjónarmiði.

Rektor á að hafa óskað eftir því við siðanefnd að starfsmennirnir yrðu ekki upplýstir um að þeir væru til rannsóknar, beiðni sem siðanefnd hafnaði þar sem hún bryti gegn stjórnsýslulögum. Erlendum háskólum var gert viðvart um að starfsmenn væru „til skoðunar“ áður en nokkur niðurstaða lá fyrir.

Félag akademískra starfsmanna samþykkti vantraustsyfirlýsingu með sextán atkvæðum gegn einu. Erlendir meðhöfundar hafa staðfest þátttöku íslensku starfsmannanna. Þá liggur fyrir að siðanefnd háskóla í Serbíu, sem kom að annarri greininni, hafði þegar úrskurðað að engin brot hefðu átt sér stað, staðreynd sem virtist ekki stöðva frekari eftirgrennslan.

Í opnu samfélagi þurfa stofnanir að þola gagnrýni. Þetta mál á skilið harða gagnrýni, ekki aðeins vegna þess sem gerðist, heldur vegna þess sem það afhjúpar: skilningsleysis á tækninni og ábyrgðarleysisins sem fylgir þegar hún er sett í dómarasæti.

„Einkunn: 2/10“ – Þegar gervigreind leikur sérfræðing

Í minnisblöðum sem dagsett eru 13. október 2025, sem bendir til þriggja mánaða undirbúnings, má sjá hvernig gervigreindin „mat“ höfundarstöðu starfsmannanna. Meðal rökstuðnings sem gefinn var:

  • „Engar þakkir til stofnunarinnar“ (No acknowledgement)
  • „Engin íslensk viðskiptadæmi.“
  • „Ekkert áþreifanlegt framlag: Ekki einu sinni gagnasöfnun eða skilningur á samhengi.“

Einn starfsmaður fékk „einkunnina“ 2 af 10 fyrir höfundarstöðu sína. Annars staðar segir að Claude telji „einungis 30% líkur“ á að starfsmennirnir uppfylli skilyrði siðareglna.

Þetta stenst ekki skoðun og það er mikilvægt að skilja af hverju.

Stóru mállíkönin eins og Claude, ChatGPT eða Gemini eru ekki sérfræðikerfi. Þau hafa ekki innbyggðan aðgang að gagnagrunnum um höfundarframlag, rannsóknargögn eða birtingarsögu nema þau séu mötuð á slíkum upplýsingum, og jafnvel þá geta þau ekki sannreynt það sem þau fá.

Þegar þú spyrð mállíkan: „Getur þessi höfundur hafa skrifað þessa grein?“ þá er svarið ekki niðurstaða úr rannsókn. Það er líklegasta og mest sannfærandi svarið miðað við orðalag spurningarinnar(prompt) og gögnin sem þú lætur því í té. Líkanið framleiðir texta sem hljómar fagmannlega, skreytir hann prósentum og „mati“ og byggir upp röksemdir sem virðast sanngjarnar en þetta er í grunninn sviðsmynd.

Í fræðilegri umræðu er þetta stundum kallað „háleit vitleysa“ (e. sophisticated bullshit) eða einfaldlega „ofskynjanir“ (e. hallucinations): afar sannfærandi framsetning án traustra stoða.

„Engar þakkir til stofnunarinnar“ er ekki vísindaleg mæling á höfundarframlagi. Þetta er mállíkan sem reynir að vera „hjálplegt“.

Undirlægjuhátturinn: Þegar tæknin segir þér það sem þú vilt heyra

Lögmaður starfsmannanna benti á mikilvægan punkt: mállíkön þjást oft af undirlægjuhætti (sycophancy) þar sem þau hallast að því að staðfesta forsendur notandans.

Þetta er ekki illska. Þetta er hönnunareinkenni. Líkönin eru þjálfuð til að vera hjálpleg og lipur — og „hjálplegt“ getur orðið að því að gefa notandanum það svar sem hann virðist óska eftir. Leiðandi spurning gefur leiðandi svar. Grunur sem er settur fram sem staðreynd verður að „málatilbúnaði“ í úttakinu.

Nýlegar rannsóknir styðja þetta; Petrov et al. (2025) kynntu BrokenMath, viðmið sem metur undirlægjuhátt í sönnunarverkefnum og sýnir hvernig líkön hallast að því að staðfesta rangar forsendur notandans.

Ábyrgðarþoka: Þegar tækni er notuð til að réttlæta ákvarðanir

Þetta mál sýnir það sem ég kalla ábyrgðarþoku: þegar tækni er notuð til að gefa ákvarðanatöku yfirbragð hlutlægni og dreifa ábyrgð.

„Gervigreindin mat þetta“ hljómar vísindalegra en „við ákváðum þetta“. En gervigreind tekur ekki ákvarðanir. Hún ber enga ábyrgð. Hún finnur ekki út sannleikann. Hún skrifar bara sannfærandi texta.

Almenn hætta tækninnar er að ákvarðanir séu teknar fyrst, og tæknin síðan notuð til að framleiða rökstuðning sem styður þær. Þetta er öfugt við góð vinnubrögð: fyrst gögn, svo ályktun.

Hugsanaskuld: þegar dómgreind er útvistuð

Í þessu samhengi er gagnlegt að nefna annað fyrirbæri sem ég kalla vitræna skuld (e. cognitive debt). Hún myndast þegar stofnanir reiða sig í vaxandi mæli á reiknirit og mállíkön til að styðja mat og ákvarðanir, án þess að viðhalda mannlegri getu, ferlum og þekkingu til að rýna, efast og bera ábyrgð. Eins og tækniskuld í hugbúnaði safnast hugsanaskuld upp með vöxtum: því meira sem dómgreind er útvistuð, því dýrara og erfiðara verður að endurheimta hana þegar kerfi bregðast eða mál verða viðkvæm.

GULLNA REGLAN: Ef þú getur ekki rökstutt ákvörðunina sjálfur án þess að benda á tölvuna, þá hefur þú ekki tekið ákvörðun – þú hefur aðeins hlýtt skipun. Slík undirgefni við tækni er óásættanleg þegar réttindi og orðspor fólks eru í húfi.

Sem betur fer virðist siðanefndin í þessu tilfelli hafa gripið inn í og stöðvað ferli sem annars hefði getað leitt til enn meiri skaða. Það sýnir mikilvægi þess að mannlegir eftirlitsventlar virki.

Persónuvernd og höfundarréttur

Hér er ekki bara siðferðileg spurning. Þetta gæti líka verið lögfræðilegt álitaefni. Ef gögn voru unnin án viðeigandi heimildargrundvallar (sbr. GDPR) gæti það farið gegn meginreglum um lögmæti og meðalhóf. Sömuleiðis gæti hleðsla á óbirtum fræðigreinum í kerfi þriðja aðila án samþykkis vakið álitaefni um höfundarrétt og samnings- eða trúnaðarskyldur gagnvart meðhöfundum og útgefendum.

Hér er „gagnsæi“ líka villandi ef tæknilæsi vantar. Að segja „við notuðum Claude“ segir ekki alla söguna því þjónustan er samsett úr ólíkum líkangerðum og stillingum.

Í neytenda- og almennum áskriftarlausnum stórra mállíkana er hvorki sjálfgefið að gögn séu undanskilin þjálfun né að vinnsla þeirra fari fram eingöngu innan EES. Í slíkri notkun er almennt nauðsynlegt að tryggja skýra stofnana- eða fyrirtækjalausn, vinnslusamning (DPA) og viðeigandi flutningsheimildir og verndarráðstafanir ef vinnsla eða aðgangur fer fram utan EES. Án slíkra ráðstafana er ekki tryggt að vinnsla persónuupplýsinga og meðferð óbirtra fræðiverka uppfylli kröfur GDPR og meginreglur um trúnað og meðalhóf.

Ljósi punkturinn: Þegar mannleg dómgreind virkar

Mitt í þessari atburðarás er þó eitt sem virkaði nákvæmlega eins og það átti að gera, og það er sjálfstæði siðanefndarinnar.

Þegar rektor óskaði eftir því að halda rannsókninni leyndri fyrir starfsmönnunum sagði nefndin nei. Hún vísaði í stjórnsýslulög og grundvallarréttindi fólks til að vita af því þegar það er til rannsóknar.
Þetta er kjarni málsins: Siðanefndin beitti mannlegri dómgreind, lögfræðilegri þekkingu og siðferðisþreki til að stöðva ferli sem var komið út af sporinu.

Gervigreindin (Claude) gerði það sem henni var ætlað – hún var hlýðin og undirgefin. Siðanefndin gerði hið gagnstæða – hún var gagnrýnin og fylgdi reglum. Þetta sýnir svart á hvítu hvers vegna eftirlitshlutverk mega aldrei vera í höndum tækni eða stjórnenda sem vilja „skjótar lausnir“. Það var mannlegi þátturinn sem kom í veg fyrir að réttindabrotið yrði enn alvarlegra.

Bifröst er ekki einsdæmi en Bifröst á skilið gagnrýni

Það sem gerir þetta mál mikilvægt er ekki bara Bifröst, heldur sú staðreynd að þetta gæti gerst hvar sem er. Íslenskar stofnanir og fyrirtæki nota gervigreind í síauknum mæli, oft án skýrra reglna, eftirlits eða fræðslu.

En háskólar ættu að standa vörð um gagnrýna hugsun, aðferðafræði og réttindi. Þegar háskóli nýtir gervigreind til að byggja ásakanir á „mati“ sem stenst ekki rýni, þá er eitthvað farið alvarlega úrskeiðis.

Leiðin áfram: Vitund og rammar

Ísland þarf núna vitundarvakningu og ramma.

Vitundarvakning: Fólk í ábyrgðarstöðum þarf að skilja grunnatriði:

  • að stór mállíkön spá fyrir um texta, ekki sannleika
  • að þau hljómi öruggari en þau eru,
  • að þau geti staðfest forsendur notandans,
  • og að ábyrgðin er alltaf mannleg.

Í hvaða málum er AI aðeins hjálpartæki og hvar er bannað að nota hana sem grunn fyrir ásakanir eða ákvarðanir?

  • Hvenær þarf að upplýsa fólk um að gervigreind hafi verið notuð?
  • Hver ber ábyrgð og hvernig er rýni, skráningu og skjölun háttað?
  • Hvernig er tryggt að réttindi (andmælaréttur, málsmeðferð og meðalhóf) séu virt?

Við Háskólann á Akureyri tökumst við á við þessar áskoranir líkt og aðrar stafrænar áskoranir um persónuvernd, gagnaöryggi og siðferðilega notkun tækni í kennslu og rannsóknum. Enginn hefur öll svörin, en við verðum að spyrja réttra spurninga áður en skaðinn verður staðreynd.

Lokaorð

Gervigreind er öflugt tól. Hún getur aukið framleiðni og hjálpað við rannsóknir og greiningar. En hún er ekki dómari. Hún er ekki sérfræðingur. Og hún er ekki afsökun.

Ef þú notar gervigreind til að réttlæta ákvörðun sem hefur áhrif á líf og feril fólks þá ert þú enn sá sem tekur ákvörðunina og þú berð ábyrgð á afleiðingunum.

Tæknin er ný. Reglurnar eru ekki til. En réttindin voru aldrei óljós.

Heimild

Petrov, I., Dekoninck, J., & Vechev, M. (2025). BrokenMath: A benchmark for sycophancy in theorem proving with LLMs. arXiv. https://arxiv.org/abs/2510.04721

Nokkrir hlekkir á umfjallanir um málið úr fréttum:

MBL

https://www.mbl.is/frettir/innlent/2026/01/15/ovenjulegt_mal_sem_fjallar_um_heidur_folks/

https://www.mbl.is/frettir/innlent/2026/01/14/vantraust_samthykkt_a_rektor_og_stjornendur_skolans/

Vísir

https://www.visir.is/g/20262829141d/akademiskir-starfs-menn-lysa-yfir-van-trausti-a-rektor

https://www.visir.is/g/20262829485d/lodin-svor-gervi-greindar-sem-brjoti-gegn-hofundarretti-engin-thakk-laeti-til-stofnunarinnar-

https://www.visir.is/g/20262829874d/mikil-vaegt-ad-vanda-sig-og-beita-var-ud

https://www.visir.is/g/20262830320d/likir-kaerunni-vid-faglega-aftoku-

RÚV

https://www.ruv.is/frettir/innlent/2026-01-15-lysa-vantrausti-a-rektor-haskolans-a-bifrost-463784