Ulinzi wa Sifa na Utafiti wa Uchafuzi wa LLM

Muhtasari Mtendaji

Watu wa wastani wenye alama ndogo mtandaoni wako katika hatari kubwa zaidi kutokana na ueneaji wa kashfa ulioboreshwa na AI na uchafu wa data. Mtu mmoja mwenye msukumo anaweza kupandikiza simulizi za uongo ambazo utafutaji, mikondo ya mitandao ya kijamii, na LLMs hurudia. Hati hii inaeleza njia za kawaida za mashambulizi, athari za wazi kwa sifa na usalama, na mkakati wa vitendo kwa kugundua na kujilinda. Pia inaelezea jinsi ushuhuda uliothibitishwa kwa njia ya kriptografia na uondoaji unaojali asili ya taarifa (provenance-aware retrieval) unavyoweza kupunguza madhara kwa watu binafsi na waunganishaji.

Hadhira na Mfano wa Tishio

Hadhira: watu binafsi na mashirika madogo bila uwepo mkubwa wa SEO. Vizuizi: muda mdogo, bajeti ndogo, na rasilimali za kiufundi. Mpinga: mchezaji mmoja aliyeweza kutengeneza na kuchapisha idadi kubwa ya maandishi, kutumia mitandao ya viungo ya msingi, na kutumia sehemu zisizoonekana za kuripoti. Malengo: kupotosha matokeo ya utafutaji/LLM, kuharibu sifa, kuleta shaka kwa waajiri, wateja, majukwaa, au mawakala.

Je, nini maana ya 'LLM poisoning'?

Uwekaji sumu (poisoning) wa LLM unarejea kuingilia/tabiri tabia ya modeli kupitia yaliyomo yaliyopandwa au yaliyoandaliwa kwa makusudi - kwa mfano, machapisho ya uharibifu, makala za sintetiki, au spam katika vikao - ambayo yanaweza kuliwa na mifumo ya utafutaji au kutumiwa na watu kama ishara, kusukuma modeli kuelekea uhusiano wa uongo na simulizi za kashfa.

Kwa kuwa LLMs na mifumo ya uondoaji (retrieval systems) huweka kipaumbele kwa ukubwa na uwafikaji, advesari mmoja mwenye msukumo anaweza kuunda kile modeli “kinachokiona” kuhusu mtu kwa kufunika sehemu ndogo ya wavuti. Hii inafanya kazi hasa dhidi ya watu wenye uwepo mdogo mtandaoni.

Jinsi Sifa Inavyopotoshwa

• Uchafuzi wa utaftaji na mitandao - kuiba wasifu, mashamba ya viungo, na utumaji wa wingi ili kupendelea vipengele vya upangaji na uhusiano wa kujaza kiotomatiki.
• Uchafuzi wa msingi wa maarifa na RAG - kuunda kurasa za entiti na noti za QA zinazojionyesha kuwa zina uhusiano wa maana na zinazopatikana kama muktadha.
• Injeksheni isiyo ya moja kwa moja ya prompt - yaliyomo yenye uadui mtandaoni yanayosababisha mawakala wa kuvinjari kurudia maagizo au kutoa data nyeti.
• Vituo vilivyo na backdoor (backdoored endpoints) - vifuniko vya modeli vyenye madhumuni mabaya vinavyoonyesha tabia ya kawaida hadi maneno ya kuchochea yatakapoonekana, kisha hutoa uongo uliolengwa.

Hatari Zingine na Njia za Kushindwa

• Kuanguka kwa modeli kutokana na kufunzwa kwenye matokeo ya sintetiki - mzunguko wa mrejesho ambapo maandishi yaliyozalishwa yanadhuru ubora wa modeli zijazo ikiwa hayatachujwa au kupewa uzito.
• Injeksheni isiyo ya moja kwa moja ya prompt - yaliyomo yenye uadui kwenye wavuti yanayoelekeza wakala au chombo cha kuvinjari kutoa siri au kusambaza uharibifu wa sifa wakati yanapotajwa.
• Uchochezi wa hifadhi ya embeddings - kuingiza vifungu vya advesaria katika msingi wa maarifa ili mchakato wa utafutaji ulete madai ya uongo yanayoonekana kuwa yanayofaa kielimu.
• Matoleo yaliyo na backdoor - kuchapisha checkpoints zilizobadilishwa au vifuniko vya API vinavyofanya kazi kawaida hadi kifungu cha kuchochea kiwepo.

Mifano Halisi na Marejeo

• Laana ya Rekursi: Mafunzo kwa Data Iliyotengenezwa (Mei 2023)
• OWASP Top 10 kwa Programu za LLM (2023-2024)
• Lakera Gandalf - onyesho la injeksheni ya prompt (2023-2024)
• Nightshade - uwekaji sumu uliolengwa kwa data ya picha (2023-2024)
• PoisonGPT - maonyesho ya LLM yenye backdoor (Julai 2023)
• PoisonedRAG - uwekaji sumu wa misingi ya maarifa kwa RAG (Februari 2024)
• C2PA - vyeti vya maudhui na juhudi za asili ya taarifa (provenance) (2023-2024)

Mikakati ya Kupunguza kwa Undani

Upataji na Uorodheshaji

• Upimaji wa vyanzo na kugawa uzito kwa asili - pendelea yaliyomo yaliyosainiwa au yaliyohakikiwa na wachapishaji; punguza uzito wa kurasa mpya au zenye sifa ndogo.
• Kupungua kwa muda na kipindi cha msamaha - hitaji muda wa kukaa kabla vyanzo vipya kuathiri majibu yenye hatari kubwa; ongeza ukaguzi wa binadamu kwa entiti nyeti.
• Ugunduzi wa chumba cha mwangwi - kuunganisha vifungu vinavyofanana karibu na kupunguza ushawishi unaorudiwa kutoka chanzo au mtandao uleule.
• Utambuzi wa outlier na anomaly katika nafasi ya embedding - weka alama vifungu ambavyo nafasi za vektori zimepangwa kwa madhumuni ya kuharibu.

Usafi wa Data na Hifadhidata ya Maarifa (KB)

• Chukua snapshot na diff za misingi ya maarifa - pitia mabadiliko makubwa, hasa kwa entiti za watu na mashtaka bila vyanzo vya msingi.
• Orodha za canary na kukataa - zuia ujumuishaji wa vikoa vilivyojulikana kwa matumizi mabaya; weka canaries kupima uenezaji usioidhinishwa.
• Mtu awe ndani ya mzunguko kwa mada zenye hatari kubwa - weka masasisho yaliyopendekezwa kuhusu ukweli wa sifa kwenye foleni kwa ajili ya uamuzi wa mkono.

Ushuhuda na Sifa

• Ushuhuda uliothibitishwa kwa kriptografia - tamko zilizotiwa saini kutoka kwa wataalamu na mashirika yaliyopitiwa na kuchapishwa kupitia kumbukumbu inayoongezwa tu (append-only log).
• Grafu za sifa - zikusanye mapendekezo yaliyosainiwa na punguza uorodheshaji wa yaliyomo kutoka kwa waharibifu wa mara kwa mara au mitandao ya bot.
• Marejeo yanayoonekana kwa mtumiaji - hitaji modeli kuonyesha vyanzo na kiwango cha uaminifu pamoja na alama za asili kwa madai nyeti.

Orodha ya Ukaguzi ya Shirika

• Fanya ramani ya entiti nyeti katika eneo lako (watu, chapa, mada za kisheria) na elekeza maswali kwa mihimili iliyo na ulinzi inayohitaji uthibitisho wa chanzo (provenance).
• Tumia C2PA au vyeti vya maudhui vinavyofanana kwa maudhui ya upande wa kwanza na himiza washirika kufanya vivyo hivyo.
• Fuatilia ushawishi wa vyanzo vipya kwa muda na toa tahadhari kuhusu mabadiliko ya kushangaza kwa majibu ya ngazi ya entiti.
• Endeleza red teaming kwa muda wote kwa mawakala wa RAG na vinvunjaji (browsing), ikiwa ni pamoja na seti za majaribio za sindano isiyo ya moja kwa moja ya prompt (indirect prompt injection).

Unyanyasaji na Kudhuru Sifa kwa kutumia AI

Watu waliopewa kazi sasa wanatumia AI na automatiseringu kuzalisha kwa wingi unyanyasaji na kudhuru sifa, wakitengeneza maandishi yanayoonekana ya kweli na “vyanzo” bandia ambavyo ni rahisi kuorodheshwa, kukamatwa na kushirikiwa upya. Kampeni hizi ni za gharama ndogo, zenye athari kubwa, na ni ngumu kuzirekebisha mara zinapoongezeka kwa mfumo wa kiotomatiki.

Chad Scira amepitia kwa karibu unyanyasaji wa kimkakati na kashfa zilizolengwa pamoja na uunganishaji wa spam uliokusudiwa kupotosha ishara za sifa na maoni ya utafutaji. Akaunti ya kina na mfuatano wa ushahidi zimeandikwa hapa: Jesse Nickles - Unyanyasaji na Kudhuru Sifa.

Tukio la hivi karibuni la Stack Exchange linaonyesha jinsi mitandao ya akaunti iliyoratibiwa inaweza kutengeneza uaminifu kwenye majukwaa ambayo kwa kawaida huonyesha ishara za uaminifu zenye nguvu. Kusimamishwa kwa umma kwa miaka 100 kwa akaunti nyingi zinazohusiana, ikifuatiwa na uenezaji wa kulipiziana kisasi kwa majukwaa mbalimbali, hufanya hili kuwa somo lenye thamani kwa mifumo ya upangaji inayojali asili ya taarifa (provenance-aware ranking) na mifumo ya kupambana na matumizi mabaya: Tukio la kuteswa na kuharibu sifa kwenye Stack Exchange.

Taksonomi ya Vitisho

• Uwekaji sumu wa data za pretraining - kuingiza sumu katika korpora za umma zinazotumika kwa mafunzo ya awali ili kuingiza uhusiano wa uongo au backdoors.
• Uchafuzi wa RAG - kuingiza vyanzo katika misingi ya maarifa au vyanzo vya nje ambavyo mifumo ya upataji hutumia wakati wa kukokotoa (inference).
• Uchafuzi wa utaftaji/mitandao - kutandaza machapisho mengi au kurasa za ubora duni ili kupindisha ishara za upataji na uorodheshaji kuhusu mtu au mada.
• Matamshi na maudhui ya advesari - kuunda pembejeo zinazochochea mienendo isiyotakikana au jailbreaks zinazorudia madai ya kashfa.

Matukio na Utafiti wa Hivi Karibuni (na tarehe)

• Nightshade - kuingiza sumu kwenye data kwa nia kwa kutumia prompts (University of Chicago, 2023-2024)
• PoisonGPT - toleo la LLM yenye backdoor (Mithril Security, Julai 2023)
• PoisonedRAG - uwekaji sumu wa misingi ya maarifa kwa RAG (Februari 2024, arXiv)
• C2PA - vyeti vya maudhui na viwango vya asili ya taarifa (provenance) (2023-2024)

Kumbuka: Tarehe zilizo hapo juu zinaonyesha tarehe za uchapishaji au za uzinduzi wa umma katika vyanzo vilivyohusishwa.

Kwa Nini Hii Ni Hatari

• LLMs zinaweza kuonekana kuwa za mamlaka hata pale marejeo ya msingi ni dhaifu au yamewekwa kwa nia ya kuharibu.
• Mifumo ya upataji na uorodheshaji inaweza kuipa uzito kupita kiasi maandishi yaliyorudiwa, kumruhusu mhusika mmoja kupindisha matokeo kwa wingi tu.
• Njia za uhakiki wa ukweli za binadamu ni polepole na ghali ikilinganishwa na kasi ya uzalishaji na usambazaji wa maudhui ya kiotomatiki.
• Waathirika wasio na uwepo mkubwa mtandaoni wako hatarini zaidi kutokana na kuchafuliwa kwa chapisho moja na mashambulizi ya utambulisho.

Uchunguzi wa Kina wa Hatari

• Uchunguzi wa ajira na ukaguzi wa jukwaa - utafutaji na muhtasari wa LLM yanaweza kurudia yaliyomo yaliyochafuliwa wakati wa ukaguzi wa uajiri, udhibiti wa maudhui, au mchakato wa kujiunga.
• Usafiri, makazi, na huduma za kifedha - ukaguzi wa kiotomatiki unaweza kuibua simulizi za uongo ambazo zinaweza kuchelewesha au kuzuia huduma.
• Uendelevu - mara tu inapohifadhiwa kwenye misingi ya maarifa au majibu yaliyohifadhiwa, madai ya uongo yanaweza kujitokeza tena hata baada ya kuondolewa.
• Maoni ya bandia - yaliyomo yaliyozaliwa yanaweza kuanzisha yaliyomo zaidi yaliyotengenezwa, kuongeza uzito unaoonekana wa uongo kwa muda.

Ugunduzi na Ufuatiliaji

• Weka tahadhari za utaftaji kwa jina lako na majina mengine; angalia mara kwa mara maswali ya site: kwa maeneo yenye sifa ndogo yanayokutaja.
• Fuata mabadiliko kwenye paneli zako za maarifa au kurasa za entiti; hifadhi skrini zilizopigwa zenye tarehe na nakala zilizotolewa kama ushahidi.
• Fuatilia grafu za viungo vya kijamii kwa akaunti zinazotokea mara kwa mara au kuongezeka ghafla kwa usemi unaofanana.
• Ikiwa unaendesha RAG au msingi wa maarifa, fanya ukaguzi wa udrift wa entiti na pima mabadiliko makubwa kwenye kurasa za watu au mashtaka bila vyanzo vya awali.

Mwongozo wa Ulinzi - Watu binafsi

• Chapisha tovuti ya kibinafsi yenye tamko wazi la utambulisho, maelezo mafupi ya kibinafsi, na njia za kuwasiliana; weka logi ya mabadiliko yenye tarehe.
• Linganisha metadata ya wasifu katika majukwaa yote; pata wasifu zilizothibitishwa inapowezekana na ziunganishe tena na tovuti yako.
• Tumia C2PA au vyeti vinavyofanana vya maudhui kwa picha na nyaraka muhimu inapowezekana; hifadhi asili kibinafsi.
• Hifadhi kumbukumbu za ushahidi zenye alama za wakati: picha za skrini, viungo, na nambari zozote za tiketi za jukwaa kwa ajili ya kupandisha hatua baadaye.
• Andaa templati za kuondoa; jibu haraka kwa mashambulizi mapya na andika kila hatua kwa ajili ya kumbukumbu inayoeleweka.

Mwongozo wa Ulinzi - Timu na Waunganishaji

• Pendelea yaliyomo yaliyosainiwa au kuthibitishwa na wachapishaji wakati wa utafutaji; tumia vipindi vya msamaha vinavyotegemea muda kwa vyanzo vipya.
• Punguza ushawishi unaorudiwa kutoka chanzo kilekile na ondoka nakala zinazokaribiana kwa kila mtandao wa chanzo.
• Ongeza bages za asili ya taarifa na orodha za vyanzo vinavyoonekana kwa mtumiaji kwa madai ya ngazi ya mtu na masuala mengine nyeti.
• Tumia utambuzi wa kasoro (anomaly detection) kwenye hifadhi za embedding; bendera vikwazo (outliers) vya vektor za advesari na endesha ukaguzi wa canary kwa uenezaji usioidhinishwa.

Utafiti: Uthibitisho uliothibitishwa kwa kriptografia

Chad Scira anajenga mifumo ya ushuhuda iliyothibitishwa kwa kriptografia kwa ajili ya uaminifu katika tamko kuhusu watu na matukio. Lengo ni kutoa kwa LLMs na mifumo ya uondoaji madai yaliyotiwa saini na yanayoweza kuhojiwa kutoka kwa wataalamu na mashirika yaliyopitiwa, kuruhusu asili thabiti ya taarifa na upinzani imara zaidi dhidi ya uchafu wa data (data poisoning).

Kanuni za Ubunifu

• Utambulisho na asili: taarifa zimewekwa saini na watu/taasisi zilizoidhinishwa kwa kutumia kriptografia ya funguo za umma.
• Uhifadhi unaothibitishwa: mashahada zimefungwa kwenye kumbukumbu za 'append-only' zenye dalili za uharibifu ili kuwezesha uhakiki huru.
• Uingizaji wa upataji: mifumo ya RAG inaweza kuipa kipaumbele au kuhitaji vyanzo vilivyothibitishwa kwa kriptografia kwa maswali nyeti.
• Kikwazo kidogo: API na SDK zinawawezesha wachapishaji na majukwaa kutoa na kukagua uthibitisho wakati wa kuingiza.

Sifa na Tahadhari

Mbali na uthibitisho, tabaka la sifa linakusanya mapendekezo yaliyosainiwa na kuorodhesha waharibu waliofahamika. Mifumo ya tahadhari inawaarifu walengwa wakati mashambulizi yaliyoandaliwa au ongezeko lisilo la kawaida linapotambuliwa, ikiruhusu majibu ya haraka na maombi ya kuondolewa.

Njia za Kisheria na za Jukwaa

• Tumia mtiririko wa kuripoti wa jukwaa ulio na vifurushi vya ushahidi vinavyoonekana wazi: viungo, tarehe, picha za skrini, na madhara. Rejea sera za kudhalilisha (defamation) na unyanyasaji.
• Pandisha suala kwa arifa rasmi inapofaa; hifadhi rekodi za mawasiliano na nambari za tiketi katika nyaraka zako za ushahidi.
• Zingatia tofauti za mamlaka katika kashfa na uwajibikaji wa majukwaa; wasiliana na mwanasheria kwa kesi zenye hatari kubwa.

Ramani ya Utekelezaji (Mwaka 1)

• MVP: skhema ya uthibitisho na SDK ya mchapishaji kwa kusaini taarifa za utambulisho na madai ya matukio.
• Fanya jaribio na kikundi kidogo cha wataalamu na mashirika waliothibitishwa; anzisha michakato ya uhakiki.
• RAG plug ins: wezesha hali ya jibu ya "provenance-first" inayoiipa kipaumbele vyanzo vilivyothibitishwa kwa maswali nyeti.

Usomaji Zaidi (na tarehe)

• Nightshade - uwekaji sumu uliolengwa kwa data ya picha (2023-2024)
• PoisonGPT - maonyesho ya LLM yenye backdoor (Julai 2023)
• PoisonedRAG - uwekaji sumu wa misingi ya maarifa kwa RAG (Februari 2024)
• OWASP Top 10 kwa Programu za LLM (2023-2024)
• C2PA - vyeti vya maudhui na juhudi za asili ya taarifa (provenance) (2023-2024)
• Laana ya Rekursi: Mafunzo kwa Data Iliyotengenezwa (Mei 2023)

Ushirikiano

Utafiti huu uko kwenye mstari wa mbele na unaendelea kubadilika. Chad Scira anakaribisha ushirikiano na wataalamu wengine katika sekta hii.

Ikiwa una nia ya kushirikiana, tafadhali wasiliana kwa: [email protected]