Pananaliksik sa Pagkalason ng LLM at Laban sa Pang-aabuso

Buod na Pang-ehekutibo

Ang karaniwang mga tao na may maliit na bakas sa internet ay humaharap sa labis na panganib mula sa AI-na pinalakas na paninirang-puri at paglalason ng datos. Isang masigasig na indibidwal lang ang maaaring maghasik ng mga maling salaysay na inuulit ng mga search, social feed, at LLM. Ipinapaliwanag ng dokumentong ito ang mga karaniwang landas ng pag-atake, konkretong epekto sa reputasyon at kaligtasan, at isang praktikal na gabay para sa pagtuklas at proteksyon. Inilalatag din nito kung paano maaaring mabawasan ng mga kriptograpikong beripikadong pagpapatunay at retrieval na may kamalayan sa pinagmulan ang pinsala para sa mga indibidwal at integrator.

Mga Tagapakinig at Modelo ng Banta

Mga Tagapakinig: mga indibidwal at maliliit na organisasyon na walang malaking presensya sa SEO. Mga Limitasyon: limitadong oras, badyet, at teknikal na mga yaman. Kaaway: isang indibidwal na kayang lumikha at mag-post ng malaking dami ng teksto, gumamit ng mga pangunahing network ng link, at samantalahin ang mga blind spot sa pag-uulat. Mga Layunin: baluktutin ang mga resulta ng paghahanap/LLM, sirain ang reputasyon, lumikha ng pag-aalinlangan para sa mga employer, kliyente, platform, o ahente.

Ano ang paglalason ng LLM?

Ang pagkalason ng LLM ay tumutukoy sa manipulasyon ng kilos ng modelo sa pamamagitan ng nilikhang o pinagsamang nilalaman - halimbawa, malisyosong post, sintetikong artikulo, o spam sa forum - na maaaring masalo ng mga retrieval system o magamit ng mga tao bilang mga senyales, na hinihila ang mga modelo patungo sa maling asosasyon at mapanirang mga salaysay.

Dahil ino-optimize ng mga LLM at retrieval system ang saklaw at pag-cover, ang isang masigasig na kalaban ay maaaring hugisin kung ano ang “nakikita” ng model tungkol sa isang tao sa pamamagitan ng pagbaha sa isang maliit na bahagi ng web. Ito ay lalong epektibo laban sa mga indibidwal na may limitadong presensya online.

Paano Nababaluktot ang Reputasyon

• Pagdumi sa paghahanap at social - pag-agaw ng profile, link farms, at maramihang pag-post upang i-bias ang mga tampok ng ranggo at mga asosasyon ng autocomplete.
• Pagkalason ng knowledge base at RAG - paglikha ng mga pahina ng entidad at mga tala ng QA na tila semantikong may kaugnayan at kinukuha bilang konteksto.
• Indirect prompt injection - mapanirang nilalaman sa web na nagiging sanhi sa mga browsing agent na ulitin ang mga utos o ilabas ang sensitibong datos.
• Mga endpoint na may backdoor - malisyosong mga model wrapper na kumikilos nang normal hanggang lumitaw ang mga trigger phrase, at pagkatapos ay naglalabas ng nakatutok na mga kasinungalingan.

Additional Risks and Failure Modes

• Pagbagsak ng modelo mula sa pagsasanay sa mga sintetikong output - mga feedback loop kung saan pinipinsala ng nalikhang teksto ang kalidad ng hinaharap na modelo kung hindi na-filter o nabigyan ng timbang.
• Indirect prompt injection - mapanirang nilalaman sa web na nag-uutos sa isang agent o browsing tool na ilabas ang mga lihim o kumalat ng paninirang-puri kapag sinipi.
• Pagpoisoning ng embedding store - pagsisingit ng mga adversarial na talata sa isang knowledge base upang ang retrieval ay maglabas ng mga maling pahayag na mukhang semantikong kaugnay.
• Mga release na may backdoor - paglalathala ng binagong mga checkpoint o API wrapper na kumikilos nang normal hanggang naroroon ang trigger phrase.

Mga Konkretong Kaso at Mga Sanggunian

• Ang Sumpa ng Rekursiyon: Pagsanay sa Nalikhang Datos (Mayo 2023)
• OWASP Top 10 para sa Mga Aplikasyon ng LLM (2023-2024)
• Lakera Gandalf - demonstrasyon ng prompt injection (2023-2024)
• Nightshade - targeted na pagkalason ng datos para sa mga imahe (2023-2024)
• PoisonGPT - demonstrasyon ng LLM na may backdoor (Hulyo 2023)
• PoisonedRAG - pagkalason ng knowledge base para sa RAG (Pebrero 2024)
• C2PA - mga kredensyal ng nilalaman at mga pagsisikap sa pagpapatunay ng pinagmulan (2023-2024)

Mga Mitigasyon nang Malalim

Pagkuha at Pagraranggo

• Pagmamarka ng pinagkukunan at pagbibigay-diin sa pinagmulan - unahin ang mga pinirmahan o beripikadong nilalaman ng publisher; bawasan ang bigat ng mga bagong likha o mga pahinang may mababang reputasyon.
• Pagbawas ng bigat sa paglipas ng panahon na may grace period - humiling ng panahon ng pananatili bago makaapekto ang mga bagong pinagmulan sa mga sagot na may mataas na panganib; magdagdag ng pagsusuri ng tao para sa mga sensitibong entidad.
• Deteksyon ng echo chamber - pagsasama-sama ng mga halos magkakahawig na sipi at paglilimita ng paulit-ulit na impluwensya mula sa iisang pinagmulan o network.
• Pag-detect ng outlier at anomalya sa embedding space - markahan ang mga talata na ang posisyon sa vector ay sinadyang in-optimize ng mga adbersaryo.

Kalinisan ng Data at Knowledge Base (KB)

• Mga snapshot at diff ng knowledge base - suriin ang malalaking pagbabago (delta), lalo na para sa mga entidad na tao at mga akusasyon na walang pangunahing pinagkukunan.
• Canary at deny list - pigilan ang pagsasama ng mga kilalang mapang-abusong domain; maglagay ng mga canary upang masukat ang hindi awtorisadong paglaganap.
• May tao sa loop para sa mga mapanganib na paksa - ilagay sa pila ang mga iminungkahing pag-update ng mga katotohanan ukol sa reputasyon para sa manu-manong pagpasiya.

Mga Pagpapatunay at Reputasyon

• Mga kriptograpikong beripikadong patotohanan - mga pinirmahang pahayag mula sa sinuring mga propesyonal at organisasyon na inilathala sa pamamagitan ng isang append-only log.
• Mga grap ng reputasyon - pinagsasama ang mga pinirmahang pag-apruba at ibinababa ang ranggo ng nilalaman mula sa mga paulit-ulit na nang-aabuso o mga bot network.
• Mga pagsipi na nakikita ng gumagamit - kinakailangan na ipakita ng mga modelo ang mga pinagmulan at antas ng pagtitiwala kasama ang mga badge ng pinagmulan para sa mga sensitibong pahayag.

Checklist para sa Enterprise

• I-map ang mga sensitibong entidad sa iyong larangan (mga tao, tatak, paksang legal) at i-ruta ang mga query sa mga pinoprotektahang pipeline na may mga kinakailangan sa pinanggalingan.
• Adopt C2PA or similar content credentials for first party content and encourage partners to do the same.
• Subaybayan ang impluwensya ng mga bagong pinagmulan sa paglipas ng panahon at magbigay-alam sa hindi pangkaraniwang paggalaw para sa mga sagot sa antas ng entidad.
• Magsagawa ng tuloy-tuloy na red teaming para sa mga agent ng RAG at pag-browse kasama ang mga test suite para sa indirect prompt injection.

Panliligalig at Paninirang-puri sa pamamagitan ng AI

Ang mga indibidwal na inuupahan ay gumagamit na ngayon ng AI at awtomasyon upang maramihang lumikha ng mga kaso ng panliligalig at paninirang-puri, lumilikha ng tila kapanipaniwalang teksto at pekeng “pinagmulan” na madaling i-index, i-scrape, at muling ibahagi. Ang mga kampanyang ito ay mababa ang gastos, mataas ang epekto, at mahirap lutasin kapag napatindi na ng mga awtomatikong sistema.

Personal na nakaranas si Chad Scira ng targeted na panghaharass at paninirang-puri na sinamahan ng spammy na pag-link na naglalayong baluktutin ang mga signal ng reputasyon at mga impression sa paghahanap. Isang detalyadong ulat at landas ng ebidensya ang naidokumento dito: Jesse Nickles - Panliligalig at Paninirang-puri.

Taksonomiya ng Banta

• Pagkalason ng pretraining data - paglalagay ng lason sa mga pampublikong korpus na ginagamit para sa paunang pagsasanay upang magtanim ng maling ugnayan o backdoor.
• RAG poisoning - pagtatanim sa mga knowledge base o panlabas na pinagkukunan na ginagamit ng mga retrieval pipeline sa oras ng inference.
• Pagparumi sa search/social - pagbaha ng mga post o mababang kalidad na pahina upang i-bias ang mga signal ng pagkuha at pagraranggo tungkol sa isang tao o paksa.
• Adversarial prompts and content - crafting inputs that trigger undesirable behaviors or jailbreaks that repeat defamatory claims.

Mga Kamakailang Insidente at Pananaliksik (na may mga petsa)

• Nightshade - targeted na pagkalason ng datos gamit ang prompt (University of Chicago, 2023-2024)
• PoisonGPT - paglabas ng LLM na may backdoor (Mithril Security, Hulyo 2023)
• PoisonedRAG - pagkalason ng knowledge base para sa RAG (Pebrero 2024, arXiv)
• C2PA - mga kredensyal ng nilalaman at mga pamantayan sa pagpapatunay ng pinagmulan (2023-2024)

Tandaan: Ang mga petsang nasa itaas ay sumasalamin sa mga petsa ng publikasyon o pampublikong paglabas sa mga naka-link na pinagkukunan.

Bakit Ito Mapanganib

• Maaaring magmukhang may awtoridad ang mga LLM kahit na mahina ang mga pinagbatayang sanggunian o sinadyang nilagyan ng malisyosong nilalaman.
• Maaaring labis na bigyang-diin ng mga pipeline ng pagkuha at pagraranggo ang mga paulit-ulit na teksto, na nagpapahintulot sa isang aktor na baluktutin ang mga resulta gamit lamang ang dami.
• Ang mga manwal na proseso ng pag-fact-check ay mabagal at magastos kumpara sa bilis ng awtomatikong paglikha at pamamahagi ng nilalaman.
• Ang mga biktima na walang makabuluhang presensya online ay labis na bulnerable sa paglalason mula sa isang post at sa mga pag-atake sa pagkakakilanlan.

Malalim na Pagsusuri ng Panganib

• Pagsusuri sa pagtanggap sa trabaho at platforma - ang paghahanap at mga buod ng LLM ay maaaring umulit ng nalason na nilalaman sa panahon ng pag-hire, moderasyon, o onboarding.
• Mga serbisyo sa paglalakbay, pabahay, at pinansyal - ang mga awtomatikong tseke ay maaaring magbunyag ng mga maling naratibo na nagdudulot ng pagkaantala o paghihinto ng mga serbisyo.
• Persistensya - kapag na-index na sa mga knowledge base o na-cache ang mga sagot, maaaring muling lumitaw ang mga maling pahayag kahit pagkatapos ng mga pagtanggal.
• Sintetikong puna - ang nilikhang nilalaman ay maaaring magpasimula ng karagdagang nalikhang nilalaman, na nagpapalaki sa nakikitang bigat ng mga kamalian sa paglipas ng panahon.

Pagtuklas at Pagmamanman

• Itakda ang mga alerto sa paghahanap para sa iyong pangalan at mga alyas; pana-panahong suriin ang mga site: query para sa mga domain na may mababang reputasyon na nagbabanggit sa iyo.
• Subaybayan ang mga pagbabago sa iyong mga panel ng kaalaman o mga pahina ng entidad; itago ang mga screenshot na may petsa at mga na-export na kopya bilang ebidensya.
• I-monitor ang mga social link graph para sa paulit-ulit na account ng pinagmulan o biglaang pagdami ng magkatulad na parirala.
• Kung nagpapatakbo ng RAG o knowledge base, magsagawa ng mga tsek para sa entity drift at suriin ang malalaking pagbabago sa mga pahina ng mga tao o mga paratang na walang pangunahing pinagmulan.

Manwal ng Proteksyon - Mga Indibidwal

• Maglathala ng personal na site na may malinaw na pahayag ng pagkakakilanlan, maikling bio, at mga paraan ng pakikipag-ugnayan; panatilihin ang naka-datang talaan ng mga pagbabago.
• Align profile metadata across platforms; acquire verified profiles where feasible and link them back to your site.
• Gumamit ng C2PA o katulad na mga kredensyal ng nilalaman para sa mga pangunahing imahe at dokumento kapag maaari; itago nang pribado ang mga orihinal.
• Panatilihin ang talaan ng ebidensya na may mga timestamp: mga screenshot, link, at anumang numero ng ticket ng platform para sa mga susunod na pag-escalate.
• Ihanda ang mga template para sa pagtanggal; tumugon nang mabilis sa mga bagong pag-atake at idokumento ang bawat hakbang para sa malinaw na talaan ng mga pangyayari.

Manwal ng Proteksyon - Mga Koponan at Integrador

• Mas piliin ang mga pinirmahan o na-verify ng publisher na nilalaman sa pagkuha; magpatupad ng mga time-based grace period para sa mga bagong pinagkukunan.
• Limitahan ang paulit-ulit na impluwensya mula sa parehong pinagmulan at alisin ang mga halos duplikadong kopya para sa bawat network ng pinagmulan.
• Add provenance badges and user facing source lists for person level claims and other sensitive topics.
• Adopt anomaly detection on embedding stores; flag adversarial vector outliers and run canary checks for unauthorized propagation.

Pananaliksik: Mga Patotoong Napatunayan sa Kriptograpiya

Bumubuo si Chad Scira ng mga kriptograpikong beripikadong sistema ng pagpapatunay para sa pagtitiwala sa mga pahayag tungkol sa mga tao at mga kaganapan. Layunin nito na magbigay sa mga LLM at retrieval system ng mga pinirmahan at maaaring i-query na mga pag-angkin mula sa mga sinuring propesyonal at organisasyon, na nagbibigay-daan sa matibay na pinagmulan at mas malakas na resistensya laban sa paglalason.

Mga Prinsipyo sa Disenyo

• Pagkakakilanlan at pinagmulan: nilalagdaan ang mga pahayag ng mga beripikadong indibidwal/organisasyon gamit ang kriptograpiyang pampublikong susi.
• Maipapatunay na imbakan: ang mga attestasyon ay naka-angkla sa append-only, tamper-evident na mga log upang payagan ang independiyenteng beripikasyon.
• Integrasyon sa pagkuha: Maaaring unahin o gawing kinakailangan ng mga pipeline ng RAG ang mga pinagkukunang napatunayan sa kriptograpiya para sa mga sensitibong query.
• Minimal na hadlang: Pinapayagan ng mga API at SDK ang mga publisher at platform na mag-isyu at mag-verify ng mga atestasyon sa oras ng pagpasok ng datos.

Reputasyon at Pag-aalerto

Bukod sa mga patunay, isang layer ng reputasyon ang nangongolekta ng mga pinirmahang pag-endorso at nagmamarka sa mga kilalang mang-aabuso. Ang mga sistema ng alerto ay nagbabatid sa mga target kapag natukoy ang mga koordinadong pag-atake o hindi pangkaraniwang pagdami, na nagpapahintulot ng mas mabilis na tugon at mga kahilingan para sa pagtanggal.

Mga Legal at Mga Channel ng Plataporma

• Gumamit ng mga daloy ng pag-uulat ng platform na may malinaw na mga pakete ng ebidensya: mga link, petsa, mga screenshot, at mga epekto. Banggitin ang mga patakaran laban sa paninirang-puri at panliligalig.
• Iangat gamit ang pormal na abiso kapag naaangkop; panatilihin ang mga log ng korepondensya at mga ticket ID bilang bahagi ng iyong ebidensyang talaan.
• Isaalang-alang ang mga pagkakaiba sa hurisdiksyon sa paninirang-puri at pananagutan ng platform; kumunsulta sa abogado para sa mga kaso na may mataas na panganib.

Roadmap ng Pagpapatupad (Taon 1)

• MVP: iskema ng atestasyon at publisher SDK para sa pagpirma ng mga pahayag ng pagkakakilanlan at mga pag-angkin ng kaganapan.
• Magsagawa ng pilot kasama ang maliit na grupo ng mga na-verify na propesyonal at organisasyon; magtatag ng mga workflow para sa beripikasyon.
• RAG plug ins: paganahin ang "provenance-first answer mode" na inuuna ang mga pinatutunayan na pinagkukunan para sa mga sensitibong katanungan.

Karagdagang Babasahin (may mga petsa)

• Nightshade - targeted na pagkalason ng datos para sa mga imahe (2023-2024)
• PoisonGPT - demonstrasyon ng LLM na may backdoor (Hulyo 2023)
• PoisonedRAG - pagkalason ng knowledge base para sa RAG (Pebrero 2024)
• OWASP Top 10 para sa Mga Aplikasyon ng LLM (2023-2024)
• C2PA - mga kredensyal ng nilalaman at mga pagsisikap sa pagpapatunay ng pinagmulan (2023-2024)
• Ang Sumpa ng Rekursiyon: Pagsanay sa Nalikhang Datos (Mayo 2023)

Pakikipagtulungan

Ang pananaliksik na ito ay nangunguna at patuloy na umuunlad. Tinatanggap ni Chad Scira ang pakikipagtulungan sa iba pang mga propesyonal sa sektor na ito.

Kung interesado kayong makipagtulungan, mangyaring makipag-ugnayan sa: [email protected]