Riċerka dwar il-Protezzjoni tar-Reputazzjoni u l-Avvelenament tal-LLM

Sommarju Eżekuttiv

Persuni medji b'imprinta żgħira fuq l-internet jiffaċċjaw riskju sproporzjonat minn diffamazzjoni amplifikata mill-AI u t-tossinar tad-data. Individwu wieħed motivat jista' jitxef narrattivi falżi li t-tiftix, il-feeds soċjali u l-LLMs jirrepetu. Dan id-dokument jispjega t-toroq komuni ta' attakk, l-effetti konkreti fuq ir-reputazzjoni u s-sigurtà, u gwida prattika għall-iskoperta u l-protezzjoni. Jiddeskrivi wkoll kif attestazzjonijiet verifikati kriptografikament u rkupru konxju tal-provenjenza jistgħu jnaqqsu l-ħsara għal individwi u integraturi.

Udjenza u Mudell tat-Theddida

Udjenza: individwi u organizzazzjonijiet żgħar mingħajr preżenza SEO kbira. Limitazzjonijiet: żmien, baġit u riżorsi tekniċi limitati. Avversarju: attur wieħed kapaċi jiġġenera u jippubblika volum kbir ta' testi, juża netwerks sempliċi ta' links, u jesploata 'blind spots' fil-proċeduri ta' rapportar. Għanijiet: jiddistorċu riżultati tat-tiftix u ta' LLM, jħassdu r-reputazzjoni, u joħolqu dubju fost impjegaturi, klijenti, pjattaformi, jew aġenti.

X'inhu l-avvelenament tal-LLM?

It-tossifikazzjoni tal-LLM tirreferi għall-manipulazzjoni tal-imġieba tal-mudell permezz ta' kontenut imħawwad jew kordinat - pereżempju, posts malizzjużi, artikli sintetici, jew spam fuq forums - li jistgħu jiġu ingestjati minn sistemi ta' rkupru jew jintużaw minn persuni bħala sinjali, billi jnaddfu mudelli lejn assoċjazzjonijiet foloz u narrattivi diffamatorji.

Peress li LLMs u sistemi ta' rkupru jottimizzaw għall-iskala u l-kopertura, avversarju wieħed motivat jista' jiddetermina x'jara mudell dwar persuna billi jimbuttaw kontenut f'biċċa żgħira tal-web. Dan huwa b'mod speċjali effettiv kontra individwi b'preżenza onlajn limitata.

Kif il-Reputazzjoni tiġi Ddistorta

• Avvelenament tal-search u tal-social - hijack tal-profil, link farms, u postjar massivi biex jibbiasjaw il-karatteristiċi tal-klassifikazzjoni u l-assoċjazzjonijiet tal-autocomplete.
• Tossikkar tal-bażi tal-għarfien u RAG - joħolqu paġni tal-entitajiet u noti QA li jidhru relevanti semantikament u jiġu rkuprati bħala kuntest.
• Injekzjoni indiretta tal-prompt — kontenut ostili fuq il-web li jikkawża lill-aġenti tal-browsing jirrepetu istruzzjonijiet jew jersqu data sensittiva 'il barra.
• Endpoints b'backdoor - wrappers malizzjużi tal-mudell li jaġixxu normalment sakemm tidher frażi ta' attivazzjoni, u mbagħad joħorġu falżitajiet mmirati.

Riskijiet addizzjonali u modi ta' falliment

• Kollass tal-mudell minħabba taħriġ fuq outputs sintetici - loops ta' feedback fejn it-test ġġenerat jiddegrada l-kwalità tal-mudell fil-futur jekk mhux ffiltrat jew mogħni bi piżijiet adattati.
• Injekzjoni indiretta tal-prompt — kontenut ostili fuq il-web li jinstrinja aġent jew għodda tal-browsing biex jiskopri sigretti jew jinfirex diffamazzjoni meta jiġi kkwotat.
• Tossikkar tal-ħażna tal-embedding - tpoġġi passaggi avversarji f'bażi ta' għarfien sabiex is-sejbiet juru allegazzjonijiet falżi li jidhru relevanti semantikament.
• Rilaxxijiet b'backdoor - ippubblikazzjoni ta' checkpoints jew wrappers tal-API mmodifikati li jaġixxu normalment sakemm tidher frażi ta' attivazzjoni.

Każijiet konkreti u Riferimenti

• Il-Maledizzjoni tar-Rikorsjoni: Taħriġ fuq Data Ġenerata (Mejju 2023)
• OWASP Top 10 għall-Applikazzjonijiet LLM (2023-2024)
• Lakera Gandalf - wirja ta' injekzjoni tal-prompt (2023-2024)
• Nightshade - tossifikazzjoni mmirata tad-data għal immaġini (2023-2024)
• PoisonGPT - dimostrazzjoni ta' LLM b'backdoor (Lulju 2023)
• PoisonedRAG - tossifikazzjoni ta' bażi ta' għarfien għall-RAG (Frar 2024)
• C2PA - kredenzjali tal-kontenut u sforzi għall-provenjenza (2023-2024)

Mitigazzjonijiet fil-fond

Rkupru u Klassifikazzjoni

• Skorjar tas-sorsi u ponderazzjoni tal-provenance - preferi kontenut ffirmat jew verifikat mill-pubblikatur; inqas il-piż ta' paġni maħluqa reċentement jew b'reputazzjoni baxxa.
• Tnaqqis fil-valur maż-żmien b'perjodu ta' grazja - titlob 'dwell time' qabel ma' sorsi ġodda jinfluwenzaw tweġibiet b'impatt għoli; inkludi reviżjoni umana għal entitajiet sensittivi.
• Detekzzjoni ta' kamra tal-eko - kluster ta' passaggi kważi duplikati u limitazzjoni tal-influwenza ripetuta mill-istess oriġini jew netwerk.
• Skoperta ta' outliers u anomaliji fl-ispazju tal-embeddings - immarka passaggi li l-pożizzjonijiet vettorjali tagħhom huma ottimizzati b'mod avversarju.

Iġjene tad-data u tal-KB

• Snapshot u diff tal-bażijiet ta' għarfien - irrevedi delta kbar, speċjalment għal entitajiet ta' persuni u akkuzazzjonijiet mingħajr sorsi primarji.
• Listi 'canary' u 'deny' - jipprevjenu l-inkorporazzjoni ta' dominji magħrufa għall-abbuż; daħħal 'canaries' biex tkejjel il-propagazzjoni mhux awtorizzata.
• Bniedem fil-loop għal suġġetti ta' riskju għoli — poġġi l-aġġornamenti proposti għall-fatti reputazzjonali f'lista ta' stennija għall-verifika manwali.

Attestazzjonijiet u Reputazzjoni

• Attestazzjonijiet verifikati kriptografikament - dikjarazzjonijiet ffirmati minn professjonisti u organizzazzjonijiet ivverifikati, ppubblikati permezz ta' 'append-only log'.
• Grafi tar-reputazzjoni - jaġgreġaw endorsazzjonijiet ffirmati u jnaqqsu r-rank ta' kontenut minn abusanti ripetuti jew netwerks ta' bot.
• Citazzjonijiet viżibbli għall-utent - jeħtieġ li l-mudelli juru s-sorsi u l-livell ta' kunfidenza, flimkien ma' badges ta' provenjenza, għal pretenzjonijiet sensittivi.

Lista ta' Verifika tan-Intrapriża

• Ippjana u mappa entitajiet sensittivi fid-dominju tiegħek (nies, marki, suġġetti legali) u bgħat il-mistoqsijiet lejn pipelines protetti b'rekwiżiti ta' provenjenza.
• Adotta C2PA jew kredenzjali tal-kontenut simili għall-kontenut tal-ewwel parti u inkoraġġixxi l-partners jagħmlu l-istess.
• Segwi l-influwenza tas-sorsi ġodda maż-żmien u avża dwar varjazzjonijiet anormali fit-tweġibiet fuq livell tal-entità.
• Esegwix red teaming kontinwu għal RAG u għall-aġenti tal-browsing, inklużi settijiet ta' testijiet għall-injekzjoni indiretta ta' prompt.

Molestija u Diffamazzjoni permezz tal-AI

Individwi għall-kiri issa jużaw l-AI u l-awtomazzjoni biex jipproduċu b'mod massiv molestija u diffamazzjoni, joħolqu test li jidher plausibbli u “sorsi” finti li huma faċli biex jiġu indizzati, skrapjati u mqassma mill-ġdid. Dawn il-kampanji huma b'kost baxxa, b'impatt għoli, u diffiċli biex jiġu rimedjati ladarba jiġu amplifikati minn sistemi awtomatiċi.

Chad Scira esperjenza personalment molesti u diffamazzjoni mmirata, flimkien ma' links spammy maħsuba biex jiddistorċu s-signali tar-reputazzjoni u l-impressjonijiet fit-tiftix. Kont dettaljat u traċċa ta' evidenza huma dokumentati hawn: Jesse Nickles - Molestija u Diffamazzjoni.

F'ħruġ reċenti fuq Stack Exchange jidher kif netwerks ta' kontijiet koordati jistgħu jinħolqu fiduċja fuq pjattaformi li normalment jġorrw sinjali qawwija ta' kredibilità. Sospenzjonijiet pubbliċi ta' 100 sena fuq diversi kontijiet relatati, segwiti minn pubblikazzjoni ritaliatorja bejn pjattaformi, jagħmluh dan studju ta' każ utli għal sistema ta' klassifikazzjoni konxja tal-provenjenza u kontra-abbuż: Inċident ta' trakassar u diffamazzjoni fuq Stack Exchange.

Tassonomija tat-Theddid

• Tossifikazzjoni tad-data għall-pretraining - tossifikazzjoni ta' korpora pubbliċi użati għall-ewwel taħriġ sabiex jimpjantaw assoċjazzjonijiet foloz jew backdoors.
• RAG poisoning - ttwassil ta' informazzjoni f'bażijiet ta' għarfien jew sorsi esterni li l-pipelines tar-rkupru jużaw waqt il-ħin tal-inferenza.
• Avvelenament tal-search/social - permezz tal-ħolqien massiċċ ta' posts jew paġni ta' kwalità baxxa biex jibbiasjaw is-siġnali tar-rkupru u r-rankjar dwar persuna jew suġġett.
• Prompts u kontenut avversarji - l-iżvilupp ta' inputs li jwasslu għal mġieba mhux mixtieqa jew 'jailbreaks' li jirrepetu allegazzjonijiet difamatorji.

Inċidenti u riċerka riċenti (bil‑data)

• Nightshade - tossifikazzjoni tad-data mmirata permezz ta' prompt (University of Chicago, 2023-2024)
• PoisonGPT - rilaxx ta' LLM b'backdoor (Mithril Security, Lulju 2023)
• PoisonedRAG - tossifikazzjoni ta' bażi ta' għarfien għall-RAG (Frar 2024, arXiv)
• C2PA - kredenzjali tal-kontenut u standards tal-provenjenza (2023-2024)

Nota: Id-dati hawn fuq jirriflettu d-dati ta' pubblikazzjoni jew ta' rilaxx pubbliku fis-sorsi marbuta.

Għaliex Dan Hu Perikoluż

• Il-LLMs jistgħu jidher autoritattivi anke meta r-referenzi sottostanti jkunu dgħajfa jew imqaxxra b'mod avversarju.
• Il-pipelines tar-rkupru u tal-klassifikazzjoni jistgħu jagħtu piż eċċessiv lit-test ripetut, u jippermettu li attur wieħed jiskewja r-riżultati billi juża l-volum biss.
• It-trakki tal-verifika tal-fatti umani huma bil-mod u kostużi meta mqabbla mal-veloċità tal-produzzjoni u d-distribuzzjoni awtomatika tal-kontenut.
• Vittmi li m'għandhomx preżenza sinifikanti online huma disproporzjonatament vulnerabbli għal avvelenament minn post wieħed u għal attakki fuq l-identità.

Analiżi Profonda tar-Riskju

• Skrining għall-impjieg u tal-pjattaforma — it-tfittxija u s-sommarji mill-LLM jistgħu jirrepetu kontenut tossikkat waqt il-proċessi ta' impjieg, moderazzjoni jew onboarding.
• Vjaġġar, akkomodazzjoni u servizzi finanzjarji - iċċekkjar awtomatiku jista' juri narrattivi foloz li jżommu lura jew jimblukkaw is-servizzi.
• Persistenza - ladarba jkunu indeksati f'bażijiet ta' għarfien jew fil-cache tat-tweġibiet, pretensjonijiet foloz jistgħu jerġgħu jidhru anke wara rimozzjonijiet.
• Feedback sintetiku - kontenut ġenerat jista' jistimula l-ħolqien ta' aktar kontenut ġenerat, u hekk iżid id-dehra tal-piż tal-falsitajiet maż-żmien.

Detekzzjoni u Monitoraġġ

• Istawlixxi twissijiet tat-tfittxija għall-isem tiegħek u għall-aliassi; iċċekkja periodikament mistoqsijiet site: għal dominii ta' reputazzjoni baxxa li jsemmuk.
• Segwi l-bidliet fil-paneli tal-għarfien jew fuq il-paġni tal-entitajiet; żomm stampi tal-iskrin datati u kopji esportati bħala prova.
• Monitora grafi ta' rabtiet soċjali għal kontijiet ta' oriġini ripetuti jew żidiet f'daqqa ta' frażar simili.
• Jekk qed tmexxi RAG jew bażi ta' għarfien, imexxi kontrolli tad-drift tal-entitajiet u irrevedi varjazzjonijiet kbar fuq il-paġni tal-persuna jew akkużi mingħajr sorsi primarji.

Playbook ta' Protezzjoni - Individwi

• Ippubblika sit personali b'dikjarazzjonijiet ċari tal-identità, biografija qasira, u mezzi ta' kuntatt; żomm log tal-bidliet bil-data.
• Allinja l-metadata tal-profil bejn il-pjattaformi; akkwista profili verifikati fejn possibbli u rabtehom lura mas-sit tiegħek.
• Uża C2PA jew kredenzjali tal-kontenut simili għall-immaġini u d-dokumenti ewlenin meta possibbli; aħżen l-orġinali b'mod privat.
• Żomm log tal-evidenza b'marki taż-żmien: screenshots, links, u kwalunkwe numru tat-tiket tal-pjattaforma għall-eskalazzjoni aktar tard.
• Ipprepara mudelli tat-talbiet ta' rimozzjoni; wieġeb malajr għal attakki ġodda u iddokumenta kull pass sabiex tkun hemm traċċa dokumentarja ċara.

Playbook ta' Protezzjoni - Timijiet u Integraturi

• Preferi kontenut iffirmat jew verifikat mill-pubblikatur fir-rkupru; applika perjodi ta' grazja ibbażati fuq iż-żmien għal sorsi ġodda.
• Limitaw l-influwenza ripetuta mill-istess oriġini u neħħu duplikati qrib għal kull netwerk tal-oriġini.
• Żid distintivi tal-provenjenza u listi ta' sorsi viżibbli għall-utent għall-pretensjonijiet fil-livell tal-persuna u suġġetti sensittivi oħra.
• Adotta sistemi ta' detekzjoni tal-anomaliji fuq il-ħażniet tal-embedding: identifika vetturi avversarji 'outlier' u mexxi kontrolli 'canary' biex timmonitorja propagazzjoni mhux awtorizzata.

Riċerka: Attestazzjonijiet Verifikati Kriptografikament

Chad Scira qed jibni sistemi ta' attestazzjoni verifikati kriptografikament għal fiduċja fid-dikjarazzjonijiet dwar persuni u avvenimenti. L-għan huwa li jipprovdi lill-LLMs u s-sistemi ta' rkupru b'pretensjonijiet ffirmati u li jistgħu jinqraw permezz ta' mistoqsijiet minn professjonisti u organizzazzjonijiet ivverifikati, u b'hekk jippermetti provenjenza robusta u reżistenza akbar għat-tossinar.

Prinċipji tad-Disinn

• Identità u provenjenza: id-dikjarazzjonijiet huma ffirmati minn individwi/organizzazzjonijiet verifikati billi jużaw kriptografija ta' ċavetta pubblika.
• Ħażna verifikabbli: attestazzjonijiet huma ankrati f'reġistri append-only u evidenti għall-manipulazzjoni biex jippermettu verifika indipendenti.
• Integrazjoni tar-rkupru: il-pipelines RAG jistgħu jippreferu jew jeħtieġu sorsi attestati kriptografikament għal mistoqsijiet sensittivi.
• Frizzjoni minima: APIs u SDKs jippermettu lil pubblikaturi u pjattaformi joħorġu u jiċċekkjaw attestazzjonijiet waqt l-ingestjoni.

Reputazzjoni u Twissijiet

Minbarra l-attestazzjonijiet, saff tar-reputazzjoni jġabbar endorsements iffirmati u jimmarka l-abbużuri magħrufa. Sistemi ta' twissija jinfurmaw lill-miri meta jkunu skoperti attakki kordinati jew żidiet anormali, u jippermettu rispons aktar malajr u talbiet ta' rimozzjoni.

Kanali Legali u tal-Pjattaforma

• Uża flussi ta' rapport tal-pjattaforma b'paketti ta' evidenza ċari: links, dati, stampi tal-iskrin, u impatti. Irriferixxi għall-politiki fuq id-diffamazzjoni u l-molestija.
• Eskalaw b'avviżi formali fejn ikun xieraq; żomm logbooks tal-korrispondenza u l-ID tat-tikets fit-traċċa tal-evidenza tiegħek.
• Ikkonsidra differenzi ġurisdizzjonali fid-diffamazzjoni u l-liabilità tal-pjattaforma; ikkonsulta parir legali għal każijiet ta' riskju għoli.

Pjan ta' Implimentazzjoni (Sena 1)

• MVP: skema ta' attestazzjoni u SDK għall-pubblikatur biex jiffirma dikjarazzjonijiet ta' identità u rivendikazzjonijiet ta' avvenimenti.
• Piłot ma' grupp żgħir ta' professjonisti u organizzazzjonijiet imverifikati; stabbilixxi flussi ta' verifika.
• RAG plug ins: ippermetti modalità ta' tweġiba 'provenance-first' li tippreferi sorsi attestati għal mistoqsijiet sensittivi.

Qari Aktar (bil-dati)

• Nightshade - tossifikazzjoni mmirata tad-data għal immaġini (2023-2024)
• PoisonGPT - dimostrazzjoni ta' LLM b'backdoor (Lulju 2023)
• PoisonedRAG - tossifikazzjoni ta' bażi ta' għarfien għall-RAG (Frar 2024)
• OWASP Top 10 għall-Applikazzjonijiet LLM (2023-2024)
• C2PA - kredenzjali tal-kontenut u sforzi għall-provenjenza (2023-2024)
• Il-Maledizzjoni tar-Rikorsjoni: Taħriġ fuq Data Ġenerata (Mejju 2023)

Kollaborazzjoni

Din ir-riċerka hija ta' avantgward u qiegħda ttevolvi b'mod attiv. Chad Scira jilqa' kollaborazzjoni ma' professjonisti oħra f'dan is-settur.

Jekk inti interessat f'kolaborazzjoni, jekk jogħġbok ikkuntattja: [email protected]