Chad Scira raziskuje, kako je mogoče velike jezikovne modele zastrupiti in zlorabiti za škodo posameznikov, ter razvija zaščitne sisteme za nasprotovanje tem grožnjam. Tveganje je nujno: hitrost zaupanja v izhode LLM je presegla našo sposobnost preverjanja trditev, medtem ko nasprotniki lahko poceni objavijo besedila, ki izkrivljajo vedenje modelov in vtis v iskalnikih o osebah brez velike spletne prisotnosti.
Zasebni krog naložb je bil zagotovljen 3. oktobra 2025 za nadaljevanje teh raziskav.
Izvršni povzetek
Povprečni ljudje z majhnimi spletnimi odtisi so izpostavljeni nesorazmerno velikemu tveganju zaradi z umetno inteligenco okrepene obsodbe in zastrupljanja podatkov. Posamezen motiviran posameznik lahko zasadi lažne pripovedi, ki jih nato ponavljajo iskalniki, družbeni mediji in veliki jezikovni modeli (LLM). Ta dokument pojasnjuje običajne poti napadov, konkretne učinke na ugled in varnost ter praktičen načrt za odkrivanje in zaščito. Prav tako opisuje, kako kriptografsko preverjena potrdila in iskanje, ki upošteva izvor (provenance-aware retrieval), lahko zmanjšajo škodo za posameznike in integratorje.
Ciljna skupina in model groženj
Ciljna skupina: posamezniki in majhne organizacije brez velike prisotnosti v iskalnikih (SEO). Omejitve: omejen čas, proračun in tehnične vire. Nasprotnik: posamezen akter, sposoben ustvarjati in objavljati velike količine besedil, uporabljati osnovna omrežja povezav in izkoriščati slepe točke pri prijavah. Cilji: izkrivljati rezultate iskanja in izhode velikih jezikovnih modelov (LLM), škodovati ugledu, vzbuditi dvom pri delodajalcih, strankah, platformah ali zastopnikih.
Kaj je zastrupljanje LLM?
Strupenje LLM pomeni manipulacijo vedenja modela z vdelano ali usklajeno vsebino — na primer zlonamernimi prispevki, umetno ustvarjenimi članki ali forumskim spamom — ki jih lahko zajamejo sistemi za iskanje ali jih ljudje uporabijo kot signale, s čimer modele usmerijo k napačnim povezavam in obrekovalnim narativom.
Ker se veliki jezikovni modeli (LLM) in sistemi za pridobivanje informacij optimizirajo za obseg in pokritost, lahko en motiviran nasprotnik oblikuje, kaj model "vidi" o osebi, tako da zasuje majhen del spleta. To je posebej učinkovito proti posameznikom z omejeno spletno prisotnostjo.
Kako se ugled izkrivlja
- Zastrupljanje iskanja in družbenih omrežij - prevzem profilov, farme povezav in množično objavljanje za pristranost funkcij razvrščanja in asociacij samodokončanja.
- Zastrupljanje baze znanja in RAG - ustvarjanje strani entitet in opomb za QA, ki se zdijo semantično relevantne in se prikličejo kot kontekst.
- Posredna injekcija navodil - sovražna spletna vsebina, ki povzroči, da brskalni agenti ponovijo navodila ali odtujijo občutljive podatke.
- Končne točke z zadnjimi vrati - zlonamerni ovojniki modelov, ki se obnašajo normalno, dokler se ne pojavijo sprožilne fraze, nato pa izrečejo ciljno usmerjene neresnice.
Dodatna tveganja in načini napak
- Propad modela zaradi učenja na sintetičnih izhodih — povratne zanke, kjer generirano besedilo poslabša kakovost prihodnjih modelov, če ni filtrirano ali ustrezno uteženo.
- Posredna injekcija navodil - sovražna vsebina na spletu, ki agentu ali orodju za brskanje naroča izsilitev razkritja skrivnosti ali širjenje obrekovanj, ko je citirana.
- Zastrupljanje skladišča vdelav - vstavljanje zlonamernih odlomkov v bazo znanja, tako da poizvedbe prikažejo lažne trditve, ki se zdijo semantično relevantne.
- Izpusti z zadnjimi vrati - objava spremenjenih kontrolnih točk ali API-ov, ki se obnašajo normalno, dokler ni prisotna sprožilna fraza.
Konkretni primeri in reference
Večplastne blažitve
Pridobivanje in razvrščanje
- Ocena virov in tehtanje izvora - dajte prednost podpisanim ali s strani založnika preverjenim vsebinam; zmanjšajte utež novo ustvarjenih ali strani z nizko reputacijo.
- Upadanje vpliva s časovnim obdobjem milosti - zahtevajte čas zadržanja, preden novi viri vplivajo na odgovore z velikimi posledicami; dodajte človeški pregled za občutljive entitete.
- Zaznavanje odmevnih komor - združevanje skoraj enakih odlomkov in omejevanje ponavljajočega vpliva iz istega vira ali omrežja.
- Zaznavanje odstopanj in anomalij v prostoru embeddingov - označite odlomke, katerih vektorske pozicije so adverzarialno optimizirane.
Higiena podatkov in baze znanja
- Baze znanja posnetkov in razlik - preglejte velike razlike, zlasti pri osebnih entitetah in obtožbah brez primarnih virov.
- Seznami canary in prepovedani seznami - preprečujejo vključitev znanih zlorabnih domen; vstavite canary elemente za merjenje nepooblaščenega širjenja.
- Človek v zanki za tvegane teme - uvrstite predlagane posodobitve dejstev o ugledu v čakalno vrsto za ročno presojo.
Potrdila in ugled
- Kriptografsko preverjene izjave - podpisana pričanja preverjenih strokovnjakov in organizacij, objavljena v zapisniku, v katerega je mogoče le dodajati vnose.
- Grafi ugleda - združujejo podpisana priporočila in znižujejo uvrstitev vsebin ponavljajočih se zlorabiteljev ali bot omrežij.
- Citatom, prikazanim uporabnikom - zahtevajte, da modeli prikažejo vire in stopnjo zaupanja z značkami porekla pri občutljivih trditvah.
Kontrolni seznam za podjetja
- Naredite zemljevid občutljivih entitet v vašem področju (osebe, blagovne znamke, pravne teme) in usmerite poizvedbe v zaščitene procese s zahtevami glede izvora.
- Sprejmite C2PA ali podobne poverilnice za vsebino lastne produkcije (first-party) in spodbudite partnerje, naj storijo enako.
- Spremljajte vpliv novih virov skozi čas in opozorite na nenavadne odklone pri odgovorih na ravni entitete.
- Izvajajte neprekinjeno red teaming za RAG in brskalne agente, vključno z nabori testov za posredno vbrizgavanje ukazov.
Ustrahovanje in obrekovanje prek umetne inteligence
Plačani izvajalci zdaj izkoriščajo umetno inteligenco in avtomatizacijo za množično ustvarjanje nadlegovanja in obrekovanja, ustvarjajo verodostojen videz besedil in lažne “viri”, ki jih je enostavno indeksirati, izvleči in znova deliti. Te kampanje so poceni, imajo velik učinek in jih je težko odpraviti, ko jih avtomatizirani sistemi ojačajo.
Chad Scira je osebno doživel ciljno nadlegovanje in obrekovanje v kombinaciji z vsiljivim povezovanjem, namenjenim izkrivljanju signalov ugleda in vtisov v iskalnikih. Podroben opis in sled dokazov sta dokumentirana tukaj: Jesse Nickles - Nadlegovanje in obrekovanje.
Taksonomija groženj
- Zastrupljanje podatkov za predtreniranje - zastrupljanje javnih korpusov, uporabljenih za začetno učenje, z namenom vstavitve lažnih povezav ali backdoorov.
- Zastrupljanje RAG - sejanje v bazah znanja ali zunanjih virih, ki jih sistemi za pridobivanje uporabljajo ob izvajanju poizvedb.
- Zastrupljanje iskanja/družbenih omrežij - preplavljanje z objavami ali nizkokakovostnimi stranmi, da se pristranijo signali pridobivanja in razvrščanja o osebi ali temi.
- Adversarialni pozivi in vsebine - oblikovanje vhodov, ki sprožijo nezaželena vedenja ali jailbreake, ki ponavljajo obrekovalne trditve.
Nedavni incidenti in raziskave (z datumi)
Opomba: zgornji datumi ustrezajo datumom objave ali datumu javne objave v navedenih virih.
Zakaj je to nevarno
- LLM-ji se lahko zdijo avtoritativni tudi, kadar so osnovne reference šibke ali sovražno vdelane.
- Sistemi za pridobivanje in razvrščanje lahko prekomerno upoštevajo ponovljeno besedilo, kar enemu akterju omogoči izkrivljanje rezultatov zgolj z obsegom.
- Ročno preverjanje dejstev je počasno in drago v primerjavi s hitrostjo avtomatizirane produkcije in distribucije vsebin.
- Žrtve brez pomembne spletne prisotnosti so nesorazmerno ranljive za zastrupljanje z eno samo objavo in napade na identiteto.
Poglobljena analiza tveganj
- Preverjanje pri zaposlovanju in na platformah - iskanja in povzetki LLM-ov lahko odsevajo zastrupljeno vsebino med postopki zaposlovanja, moderacije ali uvajanja.
- Potovanja, stanovanjske in finančne storitve - avtomatizirane kontrole lahko izpostavijo lažne pripovedi, ki povzročijo zamude ali blokade storitev.
- Vztrajnost - ko so enkrat indeksirane v bazah znanja ali v predpomnjenih odgovorih, se lahko lažne trditve ponovno pojavijo tudi po odstranitev.
- Sintetična povratna informacija - generirana vsebina lahko spodbuja nastanek še več generirane vsebine, kar skozi čas poveča navidezno težo napačnih trditev.
Zaznavanje in spremljanje
- Nastavite opozorila za iskanje za svoje ime in vzdevke; periodično preverjajte site: poizvedbe za domene z nizko reputacijo, ki vas omenjajo.
- Spremljajte spremembe na svojih informacijskih panelih ali straneh entitet; hranite datirane posnetke zaslona in izvožene kopije kot dokaze.
- Spremljajte grafe socialnih povezav zaradi ponavljajočih se izvornih računov ali nenadnih skokov podobnih formulacij.
- Če upravljate RAG ali bazo znanja, izvajajte preglede odstopanj entitet in preglejte velike spremembe na straneh oseb ali obtožbah brez primarnih virov.
Priročnik zaščite - posamezniki
- Objavite osebno spletno stran z jasnimi izjavami o identiteti, kratko biografijo in načini za stik; vodite dnevnik sprememb z datumi.
- Poravnajte metapodatke profilov med platformami; pridobite preverjene profile, kjer je to mogoče, in jih povežite nazaj na svojo spletno stran.
- Če je mogoče, uporabite C2PA ali podobna potrdila o verodostojnosti vsebine za ključne slike in dokumente; izvirnike shranjujte zasebno.
- Voden dnevnik dokazov s časovnimi žigi: posnetki zaslona, povezave in morebitne številke prijav na platformi za kasnejšo eskalacijo.
- Pripravite predloge za zahteve za odstranitev; hitro odgovorite na nove napade in dokumentirajte vsak korak za jasno papirno sled.
Priročnik zaščite - ekipe in integratorji
- Pri iskanju dajte prednost podpisani ali s strani založnika preverjeni vsebini; za nove vire uporabite časovno določena obdobja milosti.
- Omejite ponavljajoči se vpliv istega izvora in odpravljajte skorajšnje podvojitve znotraj vsakega izvornega omrežja.
- Dodajte značke izvora in sezname virov, prikazane uporabnikom, za trditve na osebni ravni in druge občutljive teme.
- Uvedite zaznavanje anomalij v shrambah vdelav; označujte adversarialne vektorske odstopke in izvajajte canary preverjanja za nepooblaščeno širjenje.
Raziskave: kriptografsko overjena potrdila
Chad Scira gradi sisteme kriptografsko preverjenih potrdil za zaupanje v izjave o ljudeh in dogodkih. Cilj je zagotoviti LLM-om in sistemom za pridobivanje informacij podpisane, poizvedljive trditve od preverjenih strokovnjakov in organizacij, kar omogoča robustno sledljivost izvora in večjo odpornost proti zastrupljanju.
Načela oblikovanja
- Identiteta in izvor: izjave so podpisane s strani preverjenih posameznikov/organizacij z uporabo kriptografije javnega ključa.
- Preverljivo shranjevanje: potrdila so zasidrana v zapisih, ki so samo za dodajanje in pri katerih je vsaka manipulacija zaznavna, kar omogoča neodvisno preverjanje.
- Integracija pridobivanja: RAG sistemi lahko dajejo prednost ali zahtevajo kriptografsko overjene vire pri občutljivih poizvedbah.
- Minimalno trenje: API-ji in SDK-ji omogočajo založnikom in platformam izdajanje in preverjanje potrdil ob zajemu podatkov.
Ugled in opozarjanje
Poleg potrdil sloj ugleda združuje podpisana priporočila in označuje znane zlorabljalce. Sistemi za opozarjanje obvestijo tarče, ko so zaznani koordinirani napadi ali nenavadni skoki, kar omogoča hitrejši odziv in zahteve za odstranitev.
Pravni in platformni kanali
- Uporabljajte tokove poročanja platform s jasnimi paketi dokazov: povezave, datumi, posnetki zaslona in učinki. Navedite politike glede obrekovanja in nadlegovanja.
- V primernih primerih eskalirajte z uradnimi obvestili; hranite zapise korespondence in ID številke zahtevkov kot del dokazne sledi.
- Upoštevajte jurisdikcijske razlike pri obrekovanju in odgovornosti platform; za primere z visokim tveganjem se posvetujte z odvetnikom.
Načrt izvajanja (1. leto)
- MVP: shema potrdil in SDK za založnike za podpisovanje izjav o identiteti in trditev o dogodkih.
- Pilotni projekt z majhno skupino preverjenih strokovnjakov in organizacij; vzpostavite delovne tokove za preverjanje.
- Vtičniki RAG: omogočite način odgovora "izvor najprej", ki pri občutljivih poizvedbah daje prednost potrjenim virom.
Dodatno branje (z datumi)
Sodelovanje
To raziskovanje je vodilno in se aktivno razvija. Chad Scira vabi k sodelovanju druge strokovnjake na tem področju.
Če vas zanima sodelovanje, nas prosim kontaktirajte na: [email protected]