Gervi­greindin getur séð allt. En hver getur séð það sem hún sér?

Í byrjun nóvember bárust fréttir af því að hitastig í frystikerfum sænskrar matvöruverslunar hefði hækkað upp í 50 gráður. Ekki vegna rafmagnsleysis eða venjulegrar bilunar. Grunur lék á að einhver hefði komist inn í tölvukerfið og breytt hitastillingunum. Matvæli eyðilögðust og starfsfólk þurfti að bregðast við aðstæðum sem fæstir hefðu líklega ímyndað sér að gætu skapast með þessum hætti.

Á sama tíma hafa fréttir af öryggisbrestum og árásum á stórar rafmyntakauphallir, meðal annars Binance, minnt okkur á hversu viðkvæm jafnvel stærstu tölvukerfi heims geta verið.

Þetta eru ólík dæmi, en þau vekja sömu spurningu. Hversu mikið tjón er hægt að valda þegar óviðkomandi fær aðgang að kerfi sem við treystum?

Nú er ný tækni að fá sífellt meiri aðgang að okkar eigin kerfum. Tækni sem getur ekki aðeins lesið upplýsingar heldur líka tekið ákvarðanir og framkvæmt aðgerðir fyrir okkar hönd.

Gervigreindin.

Þegar gervigreindin fær lyklana

Flest þekkjum við ChatGPT. Við spyrjum spurninga, fáum svör, skrifum texta og spörum okkur tíma. En næsta skref er þegar hafið.

Svokallaðir gervigreindarfulltrúar geta tengst tölvupósti, opnað skjöl, unnið í forritum, leitað að upplýsingum og framkvæmt verkefni sem við hefðum áður þurft að sinna sjálf.

Ímyndaðu þér að mæta í vinnuna og gervigreindin sé þegar búin að fara yfir tölvupóstinn, flokka reikninga, undirbúa fundi og svara viðskiptavinum.

Það hljómar vel. Og það getur sannarlega verið það.

En hvað gerist þegar kerfi sem getur gert allt þetta fær fyrirmæli frá röngum aðila?

Við höfum eytt áratugum í að verja tölvukerfi með lykilorðum, aðgangsstýringum og öryggisvörnum. Nú erum við farin að veita gervigreind aðgang að sömu kerfum svo hún geti unnið fyrir okkur.

Það þarf ekki að vera hættulegt. En það breytir því hvað þarf að verja.

Áður þurfti árásaraðili oft að komast inn í kerfið sjálfur. Nú getur í sumum tilfellum nægt að blekkja kerfi sem hefur þegar fengið leyfi til að vera þar.

Þegar tölvupóstur verður að fyrirmælum

Í tölvuöryggi er til árásaraðferð sem kallast prompt injection. Hún felst í því að koma fyrirmælum fyrir í efni sem gervigreind á að lesa.

Þetta getur verið tölvupóstur, skjal eða jafnvel venjuleg vefsíða.

Segjum að fyrirtæki noti gervigreind til að lesa tölvupóst og undirbúa svör. Kerfið hefur jafnframt heimild til að senda skilaboð og nálgast ákveðin skjöl.

Árásaraðili sendir tölvupóst sem virðist saklaus en inniheldur fyrirmæli sem beinast að gervigreindinni sjálfri.

Ef öryggisvarnir bregðast gæti kerfið túlkað þessi fyrirmæli sem verkefni og sent trúnaðarupplýsingar á netfang sem árásaraðilinn stjórnar.

Enginn þurfti að stela lykilorði. Enginn þurfti að brjótast inn með hefðbundnum hætti.

Kerfið hafði þegar aðganginn. Það var einfaldlega blekkt til að nota hann rangt.

Alþjóðlegu öryggissamtökin OWASP hafa sérstaklega fjallað um þessa áhættu og varað við því þegar gervigreind fær meiri heimildir en nauðsynlegt er.

Þetta þýðir ekki að öll gervigreindarkerfi séu óörugg. En eftir því sem þau fá fleiri heimildir, þeim mun alvarlegri geta afleiðingar mistaka orðið.

Hvað verður um allt sem við segjum?

Það er önnur hlið á þessu sem mér finnst við ræða of lítið.

Fólk segir gervigreind hluti sem það myndi jafnvel ekki segja sínum nánustu.

Við spyrjum um veikindi, fjárhagsvandræði, sambönd, erfiðar ákvarðanir og hugmyndir sem við höfum ekki enn deilt með neinum.

Fyrirtæki nota sömu tækni til að vinna með samninga, viðskiptaáætlanir, upplýsingar um viðskiptavini og innri gögn.

En hvað gerist svo við þessar upplýsingar?

Svarið fer eftir þjónustunni sem við notum.

Hjá OpenAI geta almennir notendur til dæmis slökkt á því að samtöl þeirra séu notuð til þjálfunar gervigreindarlíkana. Í fyrirtækjaþjónustu fyrirtækisins eru gögn ekki notuð í þeim tilgangi sjálfgefið.

En það er mikilvægt að skilja eitt.

Að upplýsingar séu ekki notaðar til þjálfunar þýðir ekki sjálfkrafa að þær séu aldrei geymdar, unnar eða aðgengilegar samkvæmt skilmálum þjónustunnar.

Þarna er stór munur.

Persónuvernd snýst ekki aðeins um hvort einhver ætli sér að misnota upplýsingar. Hún snýst líka um hver hefur aðgang að þeim, hversu lengi þær eru geymdar og hvað getur gerst ef eitthvað fer úrskeiðis.

Við höfum vanist því að afhenda upplýsingar í skiptum fyrir þægindi.

En þegar tæknin fer að þekkja venjur okkar, hugsanir, samskipti og jafnvel viðkvæmustu ákvarðanir okkar, er kannski kominn tími til að spyrja hvort við séum að afhenda meira en við þurfum.

Er hægt að gera þetta öðruvísi?

Á meðan stærstu tæknifyrirtæki heims keppast um að þróa öflugustu gervigreindarlíkönin eru aðrir farnir að einbeita sér að annarri spurningu.

Hvernig getum við nýtt þessa tækni án þess að afhenda allar okkar upplýsingar?

Ein leið er að keyra gervigreind staðbundið í eigin tölvu. Önnur er að þróa kerfi sem takmarka gagnasöfnun eða nýta sérstakar aðferðir til að verja upplýsingar við vinnslu.

Eitt dæmi er Dot, gervigreindarþjónusta á usedot.xyz, sem leggur áherslu á persónuvernd og aðgang með stafrænu veski í stað hefðbundinnar skráningar með netfangi.

Aðstandendur þjónustunnar segjast ekki geyma fyrirspurnir notenda eða halda skrár yfir þær. Þeir bjóða jafnframt upp á notkun með keyptri inneign eða áskrift.

Slíkar yfirlýsingar eru áhugaverðar, en þær þarf að sannreyna með óháðri tæknilegri úttekt. Stafræn veski tryggja ekki sjálfkrafa nafnleynd og það skiptir líka máli hvernig upplýsingar fara á milli þjónustunnar og þeirra gervigreindarlíkana sem hún notar.

Engin lausn er fullkomin.

En það sem mér finnst áhugavert er ekki eitt tiltekið fyrirtæki heldur sú staðreynd að það er hægt að nálgast þetta vandamál á mismunandi vegu.

Við ættum ekki að þurfa að velja á milli þess að nýta öfluga tækni og þess að hafa stjórn á eigin upplýsingum.

Þetta snýst líka um Ísland

Það er auðvelt að lesa fréttir af netárásum erlendis og hugsa að þær komi okkur lítið við.

En hugsum aðeins um íslenskt fyrirtæki með tíu starfsmenn.

Bókhaldsstofu sem vinnur með fjárhagsupplýsingar hundruða einstaklinga. Lögmannsstofu með viðkvæm málsgögn. Heilbrigðisþjónustu sem geymir upplýsingar sem enginn vill að komist í rangar hendur.

Það þarf ekki milljarðafyrirtæki til að afleiðingar gagnaleka verði alvarlegar.

Íslensk persónuverndarlög, nr. 90/2018, og evrópska persónuverndarreglugerðin gera meðal annars kröfur um að aðeins sé unnið með þær persónuupplýsingar sem nauðsynlegar eru og að viðeigandi öryggis sé gætt.

En lögin ein og sér stöðva ekki netárás.

Þegar fyrirtæki tengir gervigreind við innri kerfi þarf að liggja fyrir hvað hún má sjá, hvað hún má gera og hvernig hægt er að afturkalla heimildir hennar.

Starfsfólk þarf að vita hvaða upplýsingar má setja inn í slíka þjónustu. Stjórnendur þurfa að skilja áhættuna áður en aðgangur er veittur.

Og við sem notendur eigum að geta fengið skýr svör við einföldum spurningum.

Hver sér gögnin okkar? Hvar eru þau geymd? Hverju er deilt áfram? Og hvað gerist ef kerfið gerir eitthvað sem við báðum það aldrei um að gera?

Við þurfum ekki að óttast tæknina

Ég tel að gervigreind geti orðið ein mikilvægasta tæknibreyting okkar tíma.

Hún getur sparað ótrúlegan tíma, gert smærri fyrirtækjum kleift að keppa við stærri aðila og opnað möguleika sem áður voru aðeins á færi þeirra sem höfðu mikið fjármagn eða sérfræðiþekkingu.

Það væri fráleitt að hafna henni vegna áhættunnar.

En það væri jafnframt óábyrgt að veita henni sífellt meiri aðgang án þess að gera alvarlegar kröfur um öryggi.

Við þurfum ekki að velja á milli framfara og persónuverndar. Við þurfum að krefjast beggja.

Kannski erum við of upptekin af því að spyrja hversu mikið gervigreindin getur gert fyrir okkur.

Kannski ættum við líka að spyrja hversu mikinn aðgang við erum tilbúin að gefa henni.

Því þegar við höfum afhent lyklana skiptir ekki aðeins máli hver heldur á þeim.

Það skiptir líka máli hver getur fengið þann sem heldur á þeim til að opna dyrnar.

Höfundur er rithöfundur.