LLM-eitrun og rannsóknir gegn misnotkun

Chad Scira rannsakar hvernig stórmódel tungumáls (LLM) geta verið eitrað og misnotuð til að skaða einstaklinga, og hann þróar varnarkerfi til að mæta þessum ógnunum. Hættan er brýn: traust til niðurstaðna LLM hefur vaxið hraðar en geta okkar til að sannreyna yfirlýsingar, á meðan andstæðingar geta ódýrt birt texta sem snýr hegðun módela og leitarímynd fólks með lítið netfótspor.

Á einkafjárfestingarhring var tryggður 3. október 2025 til að halda áfram þessari rannsókn.

Stjórnendayfirlit

Almennt fólk með lítið netfótspor stendur frammi fyrir óhóflegri áhættu vegna ærumeiðinga og gagnasmittar sem eru margfölduð af gervigreind. Einn hvattur einstaklingur getur sáð falskar frásagnir sem leitarvélarnar, samfélagsstraumar og stórmódel (LLM) endurtaka. Þetta skjal útskýrir algengar árásarleiðir, áþreifanleg áhrif á orðspor og öryggi, og hagnýta verklagsræðu til uppgötvunar og verndar. Einnig er lýst hvernig dulritunarlega staðfestar yfirlýsingar og upprunavitund í leit geta dregið úr skaða fyrir einstaklinga og samþættara.

Markhópur og ógnarlíkan

Markhópur: einstaklingar og litlar stofnanir sem hafa ekki mikla sýnileika í leitarvélum (SEO). Takmarkanir: takmarkaður tími, fjármagn og tæknilegar auðlindir. Andstæðingur: einn aðili sem getur framleitt og birt mikinn fjölda texta, notað einföld tengjanet og nýtt sér blindsvæði í tilkynningakerfum. Markmið: brengla niðurstöður leitarkerfa/LLM, skaða orðspor, skapa efa hjá vinnuveitendum, viðskiptavinum, vettvangi eða umboðsmönnum.

Hvað er eitrun stórra tungumálalíkana?

LLM-eitrun vísar til hagræðingar á hegðun líkans með því að planta markvisst eða samhæft efni — til dæmis illgjarnar færslur, gervigreinar eða spamm á umræðuvettvangi — sem geta verið teknar upp af leitarkerfum eða notaðar af mönnum sem vísbendingar, og ýtt þannig líkönum í átt að falskri tengingu og meiðandi frásögnum.

Þar sem stórmódel (LLM) og leitarkerfi eru hönnuð til að hámarka umfang og umfjöllun getur einn hvattur andstæðingur mótað það sem módel „sjáir“ um einstakling með því að fylla lítinn hluta vefjarins af efni. Þetta er sérstaklega áhrifaríkt gagnvart einstaklingum með takmarkaða netveru.

Hvernig mannorð verður skekkt

Leitar- og samfélagseitrun – prófílöflun (profile jacking), tengjagarðar (link farms) og fjöldapostun til að skekkja röðunareiginleika og sjálfvirkar tillögur.
Mengun þekkingargrunns og RAG - að búa til einingarsíður og QA-nótur sem virðast merkingarlega viðeigandi og eru sóttar sem samhengi.
Óbeint 'prompt injection' - óvinsamlegt vefefni sem fær vafraumboð til að endurtaka leiðbeiningar eða flytja út viðkvæm gögn.
Afturhleraðir endapunktar - illgjarnar umbúðir fyrir líkön sem virka eðlilega þar til virkjunarsetningar koma fram, en birta þá markvissar ósannindi.

Viðbótar áhættur og bilunarleiðir

Líkanshrun vegna þjálfunar á gervilegum úttaki - endurgjöfshringir þar sem framleitt texti rýrir gæði framtíðarlíkans ef hann er ekki síaður eða vigtaður.
Óbeint 'prompt injection' - óvinsamlegt efni á vefnum sem leiðbeinir umboðs- eða vafraverkfæri um að flytja út leyndarmál eða dreifa ærumeiðingum þegar því er vitnað.
Mengun innflettingar (embedding) – innsetning árásargjarna kafla í þekkingargrunn svo leitarniðurstöður sýni falskar staðhæfingar sem virðast merkingarlega viðeigandi.
Afturhleraðar útgáfur - birting breyttra "checkpoints" eða API-umbúða sem hegða sér eðlilega þar til virkjunarsetning er til staðar.

Áþreifanleg tilvik og heimildir

Ítarlegar varúðarráðstafanir

Söfnun og röðun

Stigagjöf heimilda og vigtun uppruna – forgangsraðið undirrituðu eða útgefenda-staðfestu efni; lækkið vægi nýstofnaðra eða lágs orðspors síða.
Tímarof með bótartíma - krefjast biðtíma áður en nýjar heimildir hafa áhrif á svör sem skipta miklu máli; bæta mannlega yfirferð fyrir viðkvæmar einingar.
Greining bergmálsherbergja – flokka nánast tvítekna kafla og takmarka endurtekin áhrif frá sama uppruna eða neti.
Greining á útpunktum og frávikum í embedding-rými – merkja textabrot þar sem vektorstaðsetningar hafa verið markvisst fínstilltar af árásaraðilum.

Gagna- og þekkingargrunnshreinlæti

Myndatökur og breytingaskrár í þekkingarbönkum – farið yfir stórar breytingar, sérstaklega fyrir persónueiningar og ásakanir án frumheimilda.
Canary- og bannlistar - koma í veg fyrir að þekkt misnotkunarlén séu innlimuð; setja canary-merki til að mæla óheimila útbreiðslu.
Mannlegur í lykkjunni fyrir hááhættu efni - setja tillögur að breytingum á staðreyndum um mannorð í biðröð til handvirks úrskurðar.

Staðfestingar og orðspor

Kryptógrafískt sannreyndar yfirlýsingar – undirritaðar yfirlýsingar frá sannreyndum sérfræðingum og stofnunum sem birtar eru í skrá sem aðeins bætir við færslum.
Orðsporaferlar – safna undirrituðum stuðningi og lækka röðun efnis frá endurteknum misnotendum eða botnetum.
Viðmót fyrir notendur - krefjist þess að líkön sýni heimildir og traustmat með upprunamerkjum fyrir viðkvæmar staðhæfingar.

Athugasemdalisti fyrir fyrirtæki

Kortleggðu viðkvæmar einingar á þínu sviði (fólk, vörumerki, lögfræðileg málefni) og beina fyrirspurnum í varin ferli með kröfum um upprunagögn.
Innleiðið C2PA eða sambærileg efnisvottorð fyrir efni frá fyrsta aðila og hvetjið samstarfsaðila til að gera hið sama.
Fylgstu með áhrifum nýrra heimilda með tímanum og varaðu við óvenjulegum sveiflum í svörum á einingastigi.
Keyrið stöðugt red‑teaming fyrir RAG og vafraagentum, þar með taldar prófseríur fyrir óbeina innspýtingu skipana.

Áreitni og ærumeiðingar með gervigreind

Fólk til ráðningar nýtir nú gervigreind og sjálfvirkni til að massaframleiða áreitni og ærumeiðingar, búa til trúverðugan texta og falskar “heimildir” sem auðvelt er að skrá, skrapa og endurdeila. Þessar herferðir eru ódýrar, hafa mikil áhrif og erfiðlega lagfæranlegar þegar sjálfvirk kerfi magna þær.

Chad Scira hefur persónulega orðið fyrir markvissri áreitni og ærumeiðingum ásamt spamtengslum sem ætlað var að afbaka orðsporsmerki og áhrif leitarniðurstaðna. Nákvæm frásögn og sönnunargögn eru skjalfest hér: Jesse Nickles - Áreitni og ærumeiðingar.

Flokkun ógna

Eitursetning forþjálfunargagna – eitra opinbera textasöfn sem notuð eru við upphaflega þjálfun til að planta fölskum tengslum eða bakdyrum.
RAG-eitursetning – sáning í þekkingargrunn eða ytri uppsprettur sem sækniferlar nota við ályktun.
Leitar-/samfélags-eitrun – flóð af færslum eða lélegum síðum til að skekkja leitar- og röðunarmerki um einstakling eða efni.
Árásarspurningar og árásarefni - að búa til inntak sem kveikir óæskilega hegðun eða jailbreaks sem endurtaka ærumeiðandi staðhæfingar.

Nýleg atvik og rannsóknir (með dagsetningum)

Ath: Dagsetningar hér að ofan endurspegla útgáfu- eða opinbera birtingardagsetningu hjá þeim heimildum sem vísað er til.

Af hverju þetta er hættulegt

LLM-líkön geta virst áreiðanleg jafnvel þegar undirliggjandi heimildir eru veikar eða hafa verið illgjarnlega plantaðar.
Leitar- og röðunarferlar geta ofmetið endurtekið texta, sem gerir einum aðila kleift að skekkja niðurstöður með magni einum saman.
Mannlegar staðfestingarferlar eru hægar og kostnaðarsamar miðað við hraða sjálfvirkrar efnisframleiðslu og -dreifingar.
Fórnarlömb sem hafa ekki mikla nærveru á netinu eru sérstaklega viðkvæm fyrir eitrun með einni færslu og árásum gegn auðkenni.

Djúpgreining áhættu

Starfsmannaleit og vettvangsskoðun – leitarniðurstöður og samantektir úr LLM geta endurtekið mengað efni við ráðningar, stjórnun eða inngönguathuganir.
Ferðalög, húsnæði og fjármálaþjónusta - sjálfvirkar athuganir geta dregið fram falskar frásagnir sem seinka eða hindra þjónustu.
Varanleiki – þegar falskar staðhæfingar hafa einu sinni verið skráðar í þekkingargrunn eða settar í skyndiminni geta þær komið upp aftur jafnvel eftir niðurtöku.
Gerviendurgjöf - framleitt efni getur leitt til frekari framleiðslu á slíkum efnum og aukið með tímanum sýnileika ósanninda.

Greining og eftirlit

Setjið upp leitarviðvaranir fyrir nafn ykkar og viðurnefni; athugið reglulega site:-fyrirspurnir fyrir lén með lágu orðspori sem nefna ykkur.
Fylgstu með breytingum á upplýsingaspjöldum eða einingasíðum; geymdu dagsett skjáskot og útflutt eintök sem sönnunargögn.
Fylgstu með félagslegum tengslanetum fyrir reikninga með sama uppruna eða skyndilegar aukningar í svipuðu orðalagi.
Ef verið er að reka RAG eða þekkingargrunn, framkvæmið athuganir á færslu eininga og endurskoðið verulegar breytingar á persónusíðum eða ásökunum sem skortir upprunalegar heimildir.

Varnarleiðbeiningar – einstaklingar

Birta persónulegan vef með skýrum auðkenningaryfirlýsingum, stuttum æviágripi og tengiliðaleiðum; halda dagsettum breytingaskrá.
Samræmið prófílgögn milli vettvanga; eignist staðfestar prófílsíður þar sem unnt er og tengið þær við vefsíðuna ykkar.
Notið C2PA eða svipuð innihaldsvottorð fyrir lykilmyndir og skjöl þegar mögulegt er; geymið upprunalegu eintökin á einkageymslu.
Haltu skrá yfir sönnunargögn með tímasetningum: skjámyndir, hlekkir og öll málanúmer hjá vettvangi fyrir síðarlegar tilkynningar.
Undirbúðu sniðmát fyrir niðurtöku; bregstu fljótt við nýjum árásum og skráðu hvert skref til að mynda skýra skjalfesta rekjanleika.

Varnarleiðbeiningar – teymi og samþættaraðilar

Kosta fyrir fram undirritaða eða af útgefanda staðfesta efni við heimt; beita tímabundnu náðartímabili fyrir nýjar uppsprettur.
Takmarka endurtekin áhrif frá sama uppruna og fjarlægja nánast eins eintök fyrir hvert upprunanet.
Bættu við upprunamerkjum og heimildaskrám sem eru sýnilegar notendum fyrir staðhæfingar um einstaklinga og önnur viðkvæm málefni.
Innleiðið fráviksgreiningu á innfellingargeymslum; merkjið útstök frá árásarvigrum og keyrið kanaríuprófanir til að greina óheimila útbreiðslu.

Rannsókn: Kryptógráfískar staðfestingar

Chad Scira er að þróa dulkóðuð staðfestingarkerfi til að auka traust á yfirlýsingum um einstaklinga og atburði. Markmiðið er að útvega LLM og leitarkerfum undirritaðar, fyrirspurnarhæfar fullyrðingar frá vottaðri fagmennsku og stofnunum, sem gerir kleift að tryggja traustan uppruna og sterkari mótstöðu gegn gagnasmiti.

Hönnunarreglur

Auðkenni og uppruni: yfirlýsingar eru undirritaðar af staðfestum einstaklingum/stofnunum með notkun almenningslykla-dulritunar.
Sannprófanleg geymsla: staðfestingar eru festar við skrár sem aðeins taka við viðbótum (append-only) og eru sýnilegar fyrir breytingum (tamper-evident), til að gera sjálfstæða staðfestingu mögulega.
Samþætting leitarsafna: RAG‑ferlar geta forgangsraðað eða krafist kryptógráfískra staðfestra heimilda fyrir viðkvæmar fyrirspurnir.
Lágmarksmótstaða: API og SDK gera útgefendum og vettvangi kleift að gefa út og athuga staðfestingar við móttöku gagna.

Orðspor og viðvaranir

Auk staðfestinga safnar traustlag undirrituðum meðmælum og merkir þekkta misnotendur. Viðvörunarkerfi tilkynnir viðkomandi þegar samhæfðar árásir eða óeðlilegar aukningar eru greindar, sem gerir kleift að bregðast hraðar og senda beiðnir um niðurtöku.

Lagalegar og vettvangsrásir

Notið tilkynningakerfi á vettvangi með skýrum sönnunarpökkum: hlekkir, dagsetningar, skjáskot og áhrif. Vísið í stefnu um ærumeiðingar og áreitni.
Leitaðu til æðri aðila með formlegum tilkynningum þegar við á; haltu skrá yfir samskipti og miðaauðkenni í sönnunargögnunum.
Taktu tillit til mismunar í lögsögu varðandi ærumeiðingar og ábyrgð vettvangs; leitaðu til lögmanns í málum með mikla áhættu.

Innleiðingaráætlun (1. ár)

MVP: vottunarskema og útgefenda-SDK til undirritunar á auðkennisyfirlýsingum og yfirlýsingum um atburði.
Prófunarverkefni með litlum hópi úrvöldra fagmanna og stofnana; setja upp vinnuflæði fyrir staðfestingu.
RAG-viðbætur: virkja upprunafyrsta svarstillingu sem forgangsraðar staðfestum heimildum fyrir viðkvæmar fyrirspurnir.

Frekari lesning (með dagsetningum)

Samvinna

Þessi rannsókn er á mörkum vísinda og er stöðugt í þróun. Chad Scira fagnar samstarfi við aðra sérfræðinga á þessu sviði.

Ef þú hefur áhuga á samstarfi, vinsamlegast hafðu samband á: [email protected]