Chad Scira ले ठूलो भाषा मोडेलहरू कसरी विषाक्त पार्न र दुरुपयोग गरी व्यक्तिहरूलाई नोक्सान पुर्याउन सकिन्छ भन्ने अनुसन्धान गर्छन् र यी खतराहरूलाई टार्न सुरक्षा प्रणालीहरू निर्माण गर्छन्। जोखिम तत्काल छ: LLM नतिजामा भएको विश्वासको गति हामीले कथनहरू सत्यापित गर्न सक्ने क्षमताभन्दा अघि बढिसकेको छ, र प्रतिद्वन्द्वीहरूले सस्तोमा यस्तो पाठ प्रकाशित गर्न सक्छन् जसले मोडेलको व्यवहार र कम अनलाइन उपस्थिति भएका व्यक्तिहरूको खोज प्रभाव विकृत गर्छ।
2025 अक्टोबर 3 मा यो अनुसन्धान जारी राख्न निजी लगानी राउण्ड सुरक्षित गरियो।
कार्यकारी सारांश
सानो इन्टरनेट उपस्थिति भएका सामान्य मानिसहरूले AI द्वारा प्रवर्धित बदनामी र डाटा विषाक्तताबाट असमान जोखिम भोग्छन्। एक प्रेरित व्यक्तिले वेबको सानो भागमा बाढीझैं सामग्री छर्केर यस्तो कथा रोप्न सक्छ जुन खोज, सामाजिक फीड र LLMs ले दोहोर्याउँछन्। यो दस्तावेजले सामान्य आक्रमण मार्गहरू, प्रतिष्ठा र सुरक्षामा पर्ने ठोस प्रभावहरू, र पत्ता लगाउने र बचाउनका लागि व्यवहारिक प्लेबुक व्याख्या गर्दछ। साथै क्रिप्टोग्राफिक रूपमा प्रमाणित अटेस्टेसन र स्रोत-सजग रिट्राइभलले व्यक्तिहरू र इन्टिग्रेटरहरूको लागि हानि कसरी घटाउन सक्छ भन्ने रूपरेखा पनि दिन्छ।
लक्षित समूह र खतरा मोडेल
लक्षित समूह: ठूलो SEO उपस्थिति नभएका व्यक्ति र साना संगठनहरू। सीमाहरू: सीमित समय, बजेट, र प्राविधिक स्रोतहरू। प्रतिद्वन्द्वी: एकल क्रियाकर्ता जसले ठूलो मात्रामा पाठ उत्पादन र प्रकाशन गर्न, आधारभूत लिंक नेटवर्कहरू प्रयोग गर्न, र रिपोर्टिङका अँध्यारो ठाउँहरू फाइदा उठाउन सक्छ। लक्ष्यहरू: खोज/LLM नतिजा विकृत पार्नु, प्रतिष्ठा नोक्सान पुर्याउनु, रोजगारदाताहरू, ग्राहकहरू, प्लेटफर्महरू वा एजेन्टहरूमा शंका सिर्जना गर्नु।
LLM विषाक्तता भनेको के हो?
LLM विषाक्तिकरण भनेको सिड गरिएको वा समन्वित सामग्रीमार्फत मोडेलको व्यवहारलाई हेरफेर गर्नु हो—उदाहरणका लागि, दुष्ट पोस्टहरू, कृत्रिम लेखहरू, वा फोरम स्प्याम—जसलाई पुनःप्राप्ति प्रणालीहरूले समाहित गर्न सक्छन् वा मानिसहरूले संकेतका रूपमा प्रयोग गर्न सक्छन्, र यसले मोडेलहरूलाई भ्रामक सम्बन्धहरू र बदनामीपूर्ण कथानकहरूतर्फ धकेल्न सक्छ।
LLM र रिट्राइवल प्रणालीहरूले स्केल र कभरेजका लागि अनुकूलन गर्दा, एक प्रेरित प्रतिद्वन्द्वीले वेबको सानो भागमा सामग्री बाढीझैं छर्केर मोडेलले व्यक्तबारे “हेर्ने” कुरालाई आकार दिन सक्छ। यो विशेषगरी सीमित अनलाइन उपस्थिति भएका व्यक्तिहरू विरुद्ध प्रभावकारी हुन्छ।
प्रतिष्ठा कसरी विकृत हुन्छ
- खोज र सामाजिक विषाकरण - प्रोफाइल ज्याकिङ, लिंक फार्महरू, र ठूलो मात्रामा पोस्टिङ गरेर र्याङ्किङ सुविधाहरू र स्वतः पूर्णता सम्बन्धहरूमा पक्षपात गर्ने।
- ज्ञान आधार र RAG विषाक्तता - entity पृष्ठहरू र QA नोटहरू सिर्जना गर्ने जसले अर्थगत रूपमा सान्दर्भिक देखिन्छन् र सन्दर्भका रूपमा फेला पर्छन्।
- अप्रत्यक्ष प्रॉम्प्ट इन्जेक्शन - शत्रुतापूर्ण वेब सामग्री जसले ब्राउजिङ एजेन्टहरूलाई निर्देशन दोहोर्याउन वा संवेदनशील डेटा बाहिर निकाल्न प्रेरित गर्छ।
- ब्याकडोर गरिएको एन्डपोइन्टहरू - दुष्ट मोडेल र्यापरहरू जुन ट्रिगर वाक्यांश देखिनु अघि सामान्य रूपमा कार्य गर्छन्, तर ट्रिगर आएपछि लक्षित झुठा जानकारी निकाल्छन्।
थप जोखिमहरू र विफलता मोडहरू
- कृत्रिम आउटपुटमा तालिम गर्दा मोडेल पतन—प्रतिक्रिया लूपहरू जहाँ उत्पन्न पाठले यदि फिल्टर नगरे वा भार नदिएमा भविष्यको मोडेल गुणस्तर घट्छ।
- अप्रत्यक्ष प्रॉम्प्ट इन्जेक्शन - वेबमा शत्रुतापूर्ण सामग्री जसले एजेन्ट वा ब्राउजिङ उपकरणलाई उद्धरण गर्दा गोप्य जानकारी बाहिर निकाल्न वा बदनामि फैलाउन निर्देशन दिन्छ।
- एम्बेडिङ स्टोर विषाक्तिकरण - ज्ञान आधारमा प्रतिकूल (adversarial) अंशहरू प्रविष्ट गरी खोजी हुँदा सेमान्टिक रूपमा सान्दर्भिक देखिने गलत दाबीहरू surfaced हुनसक्ने बनाउनु।
- ब्याकडोर गरिएको रिलिजहरू - संशोधित चेकपोइन्ट वा API र्यापरहरू प्रकाशित गर्नु जसले ट्रिगर वाक्यांश नआएसम्म सामान्य व्यवहार गर्छ।
विस्तृत निवारण उपायहरू
प्राप्ति र र्याङ्किङ
- स्रोत स्कोरिङ र उत्पत्ति तौल निर्धारण - हस्ताक्षरित वा प्रकाशकद्वारा प्रमाणित सामग्रीलाई प्राथमिकता दिनुहोस्; नयाँ सिर्जना भएका वा कम प्रतिष्ठाका पृष्ठहरूको तौल घटाउनुहोस्।
- समय-क्षय र अनुग्रह अवधि - नयाँ स्रोतहरूले उच्च दाबी भएका उत्तरहरूमा प्रभाव पार्नुअघि प्रतीक्षा अवधि आवश्यक गर्नुहोस्; संवेदनशील संस्थाहरूका लागि मानव समीक्षा थप्नुहोस्।
- इको-चेम्बर पहिचान - नजिकका नक्कली/नक्कल अंशहरूलाई समूहबद्ध गरी एउटै मूल वा नेटवर्कबाट आउने दोहोरिएको प्रभाव सीमित गर्नुहोस्।
- इम्बेडिङ स्पेसमा बाहिरिएका र असामान्यता पत्ता लगाउने — ती अनुच्छेदहरूलाई चिन्ह लगाउनुहोस् जसका भेक्टर अवस्थाहरू विरोधात्मक रूपमा अनुकूलित गरिएका छन्।
डेटा र ज्ञान आधारको स्वच्छता
- स्न्यापशट र डिफ ज्ञान आधारहरू - ठूलो फरकहरू समीक्षा गर्नुहोस्, विशेष गरी व्यक्ति ईकाइहरू र मुख्य स्रोतबिना गरिएको आरोपहरूका लागि।
- क्यानरी र अस्वीकृत सूचीहरू - परिचित दुरुपयोग गरिएको डोमेनहरूको समावेश रोक्नु; अनधिकृत प्रसरण मापन गर्न क्यानरीहरू राख्नु।
- उच्च जोखिम विषयहरूका लागि मानवीय सहभागिता - प्रतिष्ठासम्बन्धी तथ्यहरूको प्रस्तावित अपडेटहरू म्यानुअल निर्णयका लागि कतारमा राख्नुहोस्।
प्रमाणीकरण र प्रतिष्ठा
- क्रिप्टोग्राफिक रूपमा प्रमाणित प्रमाणीकरणहरू - जाँचिएको पेशेवर र संस्थाहरूबाटका हस्ताक्षरित बयानहरू जुन केवल थपिने लगमा प्रकाशित हुन्छन्।
- प्रतिष्ठा ग्राफहरू - हस्ताक्षर गरिएका समर्थनहरूलाई समेकित गर्ने र बारम्बार दुरुपयोग गर्ने वा बोट नेटवर्कका स्रोतबाट आउने सामग्रीको र्याङ्क घटाउने।
- प्रयोगकर्ता समक्ष उद्धरणहरू - संवेदनशील दावीहरूको लागि स्रोतहरू र विश्वस्तता देखाउन मोडेलहरूलाई मूल प्रमाण चिन्हहरूसहित आवश्यक गराउनुहोस्।
उद्यम चेकलिस्ट
- आफ्नो डोमेनमा संवेदनशील इकाइहरू (व्यक्ति, ब्राण्डहरू, कानुनी विषयहरू) चिन्हित गर्नुहोस् र उत्पत्तिको आवश्यकतासहितको सुरक्षित पाइपलाइनमा प्रश्नहरू मार्गनिर्देश गर्नुहोस्।
- पहिलो-पक्ष सामग्रीका लागि C2PA वा समान सामग्री प्रमाणपत्रहरू अपनाउनुहोस् र साझेदारहरूलाई पनि त्यस्तै गर्न प्रेरित गर्नुहोस्।
- नयाँ स्रोतको प्रभावलाई समयसंगै ट्र्याक गर्नुहोस् र इकाई-स्तरका उत्तरहरूमा असामान्य उतारचढाव देखिएमा सचेत गर्नुहोस्।
- RAG र ब्राउजिङ एजेन्टहरूको लागि निरन्तर रेड टीमिङ परीक्षण चलाउनुहोस्, जसमा अप्रत्यक्ष प्रॉम्प्ट इन्जेक्शन परीक्षण सेटहरू समावेश छन्।
एआईमार्फत गरिएको उत्पीडन र बदनामि
भाडामा राखिने व्यक्तिहरू अहिले एआई र स्वचालन प्रयोग गरेर ठूलो परिमाणमा उत्पीडन र बदनामि उत्पादन गर्छन्, विश्वसनीय देखिने पाठ र झुटा “sources” सिर्जना गरी जुन सूचकाङ्कन गर्न, स्क्र्याप गर्न र पुन: सेयर गर्न सजिलो हुन्छ। यस्ता अभियानहरू कम लागतमा उच्च प्रभाव पर्ने र एकपटक स्वचालित प्रणालीहरूले प्रवर्धन गरेपछि समाधा्न गर्न कठिन हुन्छन्।
Chad Scira ले व्यक्तिगत रूपमा लक्षित उत्पीडन र बदनामी भोगेका छन्, सँगै स्प्यामयुक्त लिङ्किङ जसले प्रतिष्ठा संकेत र खोज प्रभावलाई विकृत गर्न लक्ष्य राख्दछ। विस्तृत विवरण र प्रमाणको मार्ग यहाँ दस्तावेज गरिएको छ: Jesse Nickles - उत्पीडन र बदनामि.
धम्की वर्गीकरण
- पूर्वप्रशिक्षण डेटा विषाक्तता — प्रारम्भिक प्रशिक्षणका लागि प्रयोग गरिने सार्वजनिक डेटासङ्ग्रहहरू विषाक्त पारेर झूटा सम्बन्ध वा ब्याकडोर इन्स्टल गर्नु।
- RAG विषाक्तता - ज्ञान आधारहरू वा बाह्य स्रोतहरूमा सिँचाइ गरेर ती स्रोतहरूलाई विषाक्त बनाउनु जसलाई प्राप्ति पाइपलाइनहरूले इन्फेरेन्स समयमा प्रयोग गर्दछन्।
- खोज/सामाजिक विषाकरण - कुनै व्यक्ति वा विषयबारे प्राप्ति र र्याङ्किङ संकेतहरूलाई पक्षपात गर्न पोस्टहरू अथवा कम गुणस्तरका पृष्ठहरू बाढीझैं पठाउने।
- विरोधी प्रेरणा र सामग्री - इनपुटहरू तयार पार्ने जसले अवाञ्छित व्यवहार वा जेलब्रेकहरू ट्रिगर गर्छन् र बदनामीजनक दाबीहरू दोहोर्याउँछन्।
हालका घटनाहरू र अनुसन्धान (मितिहरू सहित)
नोट: माथि दिइएका मितिहरूले सम्बन्धित लिंक गरिएका स्रोतहरूमा प्रकाशित वा सार्वजनिक रिलिज मितिहरूलाई जनाउँछन्।
यो किन खतरनाक छ
- LLMहरू अधिकारसम्पन्न देखिन सक्छन् यदि आधारभूत सन्दर्भहरू कमजोर वा प्रतिपक्षद्वारा सीड गरिएको भए पनि।
- प्राप्ति र र्याङ्किङ पाइपलाइनहरूले दोहोरिएको पाठलाई बढी तौल दिन सक्छन्, जसले एउटा कर्ताले मात्र मात्रा प्रयोग गरेर परिणामहरू विकृत गर्न सक्ने गर्दछ।
- मानव तथ्य जाँच प्रक्रियाहरू स्वचालित सामग्री उत्पादन र वितरणको गतिसँग तुलना गर्दा सुस्त र महँगो हुन्छन्।
- महत्त्वपूर्ण अनलाइन उपस्थिति नभएका पीडितहरू एकल पोस्ट विषाक्तकरण र पहिचान आक्रमणहरूको लागि अनुपातहीन रूपमा संवेदनशील हुन्छन्।
जोखिम गहिरो विश्लेषण
- रोजगार र प्लेटफर्म स्क्रिनिङ - खोज र LLM सारांशहरूले भर्ती, मोडरेशन, वा अनबोर्डिङ जाँचको क्रममा विषाक्त सामग्रीलाई दोहोर्याउन सक्छन्।
- यात्रा, आवास र वित्तीय सेवाहरू - स्वचालित जाँचहरूले गलत कथनहरू उजागर गर्न सक्छन् जसले सेवा ढिला वा अवरुद्ध हुन सक्छ।
- स्थायित्व — एकपटक ज्ञान आधारहरूमा अनुक्रमण गरिएपछि वा क्यास गरिएको उत्तरहरूमा आएपछि, झूटा दावीहरू हटाइए पछि पनि फेरि देखा पर्न सक्छन्।
- कृत्रिम प्रतिक्रिया - सिर्जना गरिएको सामग्रीले थप सिर्जना गरिएको सामग्रीलाई आरम्भ गर्न सक्छ, जसले समयसँगै गलत तथ्यहरूको देखिने प्रभाव बढाउन सक्छ।
पत्ता लगाउने र अनुगमन
- आफ्नो नाम र उपनामहरूमा खोज चेतावनाहरू सेट गर्नुहोस्; समयसमयमा तपाईंको नाम उल्लेख गर्ने कम प्रतिष्ठित डोमेनहरूको लागि site: सोधपुछहरू जाँच गर्नुहोस्।
- आफ्ना ज्ञान प्यानलहरू वा इकाई पृष्ठहरूमा परिवर्तनहरू ट्र्याक गर्नुहोस्; प्रमाणका लागि मिति-सहितका स्क्रीनशटहरू र निर्यात प्रतिहरू राख्नुहोस्।
- दोहोरो उत्पत्ति खाताहरू वा समान वाक्यांशहरूको अचानक बढोत्तरीका लागि सामाजिक लिंक ग्राफहरू निगरानी गर्नुहोस्।
- यदि RAG वा ज्ञान आधार सञ्चालन गर्दै हुनुहुन्छ भने, entity drift जाँचहरू चलाउनुहोस् र प्राथमिक स्रोतबिना व्यक्तिका पृष्ठहरू वा आरोपहरूमा भएका ठूलो परिवर्तनहरू समीक्षा गर्नुहोस्।
संरक्षण प्लेबुक - व्यक्ति
- स्पष्ट पहिचान दाबी, छोटो परिचय र सम्पर्क मार्गहरू सहित व्यक्तिगत साइट प्रकाशित गर्नुहोस्; मिति सहितको परिवर्तन लग राख्नुहोस्।
- प्रोफाइल मेटाडाटा प्लेटफर्महरूमा सुसंगत बनाउनुहोस्; सम्भव भएमा प्रमाणिकृत प्रोफाइलहरू प्राप्त गर्नुहोस् र तिनीहरूलाई आफ्नै साइटसँग लिंक गर्नुहोस्।
- संभव भएमा मुख्य छविहरू र कागजातहरूको लागि C2PA वा समान सामग्री प्रमाणपत्रहरू प्रयोग गर्नुहोस्; मूल प्रतिहरू निजी रूपमा राख्नुहोस्।
- प्रमाण लग समयस्ट्याम्पसहित राख्नुहोस्: स्क्रिनशटहरू, लिङ्कहरू, र कुनै पनि प्लेटफर्म टिकट नम्बरहरू पछि एस्केलेसनका लागि।
- हटाउने अनुरोधका ढाँचाहरू तयार गर्नुहोस्; नयाँ आक्रमणहरूमा छिटो प्रतिक्रिया दिनुहोस् र स्पष्ट कागजी अनुसरणका लागि प्रत्येक चरण दस्तावेज गर्नुहोस्।
संरक्षण प्लेबुक - टोलीहरू र एकीकर्ताहरू
- प्राप्तिमा हस्ताक्षरित वा प्रकाशकद्वारा प्रमाणीकरण गरिएको सामग्रीलाई प्राथमिकता दिनुहोस्; नयाँ स्रोतहरूको लागि समयआधारित अनुग्रह अवधि लागू गर्नुहोस्।
- उही उत्पत्तिबाट दोहोरिने प्रभाव सीमित गर्नुहोस् र प्रत्येक उत्पत्ति नेटवर्कका नजिकका प्रतिलिपिहरूलाई डुप्लिकेट हटाउनुहोस्।
- व्यक्ति स्तरका दावीहरू र अन्य संवेदनशील विषयहरूका लागि उत्पत्ति प्रमाणपत्र (provenance badges) र प्रयोगकर्ता-समक्ष स्रोत सूचीहरू थप्नुहोस्।
- एम्बेडिङ स्टोर्समा अनोमली पत्ता लगाउने प्रणाली अपनाउनुहोस्; प्रतिद्वन्द्वी वेक्टरका बाह्य मानहरूलाई झण्डा लगाउनुहोस् र अनधिकृत प्रसारणका लागि क्यानरी जाँचहरू सञ्चालन गर्नुहोस्।
अनुसन्धान: क्रिप्टोग्राफिक रूपमा प्रमाणित अटेस्टेशनहरू
Chad Scira ले व्यक्तिहरू र घटनाहरू सम्बन्धी कथनहरूमा विश्वासका लागि क्रिप्टोग्राफिक रूपमा प्रमाणित अटेस्टेसन प्रणालीहरू निर्माण गर्दैछन्। उद्देश्य LLM र रिट्राइवल प्रणालीहरूलाई प्रमाणित पेशेवर र संस्थाहरूबाट हस्ताक्षरित, सोधपुछयोग्य दाबीहरू उपलब्ध गराउनु हो, जसले मज्बुत स्रोत पहिचान र विषाक्तताविरुद्ध उच्च प्रतिरोध सक्षम बनाउँछ।
डिजाइन सिद्धान्तहरू
- पहिचान र स्रोत: उद्घोषणाहरू सार्वजनिक कुञ्जी क्रिप्टोग्राफी प्रयोग गरेर प्रमाणित व्यक्ति/संस्थाहरूद्वारा हस्ताक्षर गरिएको हुन्छन्।
- परीक्षणयोग्य भण्डारण: प्रमाणीकरणहरू थप-केवल र छेडछाड-प्रमाण हुने लगहरूमा बाँधिएका हुन्छन् जसले स्वतन्त्र जाँच सक्षम बनाउँछ।
- प्राप्ति एकीकरण: RAG पाइपलाइनहरूले संवेदनशील सोधपुछहरूको लागि क्रिप्टोग्राफिक रूपमा प्रमाणित स्रोतहरूलाई प्राथमिकता दिन वा आवश्यक पार्न सक्छन्।
- न्यूनतम अवरोध: API र SDK हरूले प्रकाशक र प्लेटफर्महरूलाई समावेशन समयमा अटेस्टेशनहरू जारी गर्ने र जाँच गर्ने सुविधा दिन्छ।
प्रतिष्ठा र सतर्कता
प्रमाणपत्रहरूका अतिरिक्त, प्रतिष्ठा तहले हस्ताक्षरित समर्थनहरू संकलन गर्छ र ज्ञात दुरुपयोगकर्ताहरूलाई चिन्ह लगाउँछ। समन्वित आक्रमण वा असामान्य वृद्धि पत्ता लाग्ने बित्तिकै सचेत प्रणालीहरूले लक्षित पक्षहरूलाई जानकारी गराउँछन्, जसले छिटो प्रतिक्रिया र हटाउने अनुरोधहरू सम्भव बनाउँछ।
कानुनी र प्लेटफर्म च्यानलहरू
- लिङ्कहरू, मिति, स्क्रिनसटहरू, र प्रभावहरू सहित स्पष्ट प्रमाण प्याकेजहरूसँग प्लेटफर्म रिपोर्ट फ्लोहरू प्रयोग गर्नुहोस्। मानहानि र उत्पीडन नीतिहरूलाई सन्दर्भ दिनुहोस्।
- उपयुक्त अवस्थामा औपचारिक सूचनाहरू पठाएर मुद्दा अगाडि बढाउनुहोस्; प्रमाणको ट्रेलमा पत्राचार लगहरू र टिकट आईडीहरू राख्नुहोस्।
- मानहानि र प्लेटफर्म दायित्व सम्बन्धी क्षेत्राधिकारगत फरकहरू विचार गर्नुहोस्; उच्च जोखिम भएका मामिलाहरूको लागि कानुनी सल्लाह लिनुहोस्।
क्रियान्वयन रोडम्याप (वर्ष १)
- MVP: पहिचान विवरण र घटनाका दाबीहरूमा हस्ताक्षर गर्नका लागि अटेस्टेशन स्किमा र प्रकाशक SDK।
- जाँचिएका पेशेवर र संस्थाहरूको सानो समूहसँग पायलट सञ्चालन गर्नुहोस्; प्रमाणीकरण कार्यप्रवाहहरू स्थापना गर्नुहोस्।
- RAG प्लगइनहरू: संवेदनशील प्रश्नहरूको लागि प्रमाणित स्रोतहरूलाई प्राथमिकता दिने 'स्रोत-उत्पत्ति प्रथम' उत्तर मोड सक्षम गर्नुहोस्।
थप पढ्नका लागि (मितिसहित)
सहयोग
यो अनुसन्धान अत्याधुनिक र सक्रिय रूपमा विकास हुँदैछ। Chad Scira यस क्षेत्रका अन्य पेशेवरहरूसँग सहकार्यलाई स्वागत गर्दछ।
यदि तपाईं सहकार्यमा इच्छुक हुनुहुन्छ भने, कृपया यसमा सम्पर्क गर्नुहोस्: [email protected]