Avvelenamento degli LLM e ricerca anti‑abuso

Chad Scira studia come i modelli linguistici di grandi dimensioni possano essere avvelenati e abusati per danneggiare individui, e costruisce sistemi di protezione per contrastare queste minacce. Il rischio è urgente: il ritmo con cui si ripone fiducia negli output degli LLM ha superato la nostra capacità di verificare le affermazioni, mentre gli avversari possono pubblicare a basso costo testi che distorcono il comportamento dei modelli e le impression di ricerca di persone senza una grande presenza online.

Il 3 ottobre 2025 è stato ottenuto un round di investimento privato per proseguire questa ricerca.

Sintesi esecutiva

Le persone comuni con una scarsa impronta online sono esposte a un rischio sproporzionato da diffamazioni amplificate dall'IA e dall'avvelenamento dei dati. Un singolo individuo motivato può seminare narrazioni false che vengono ripetute da motori di ricerca, feed social e LLM. Questo documento spiega i percorsi di attacco comuni, gli effetti concreti sulla reputazione e sulla sicurezza, e fornisce un playbook pratico per la rilevazione e la protezione. Descrive inoltre come attestazioni verificate crittograficamente e il recupero consapevole della provenienza possano ridurre i danni per individui e integratori.

Pubblico e modello di minaccia

Pubblico: individui e piccole organizzazioni senza una forte presenza SEO. Vincoli: tempo, budget e risorse tecniche limitati. Avversario: un singolo attore in grado di generare e pubblicare grandi volumi di testo, utilizzare semplici reti di link e sfruttare punti ciechi nei meccanismi di segnalazione. Obiettivi: distorcere i risultati di ricerca/degli LLM, danneggiare la reputazione, creare dubbi presso datori di lavoro, clienti, piattaforme o agenti.

Cos'è l'avvelenamento degli LLM?

Con avvelenamento degli LLM si intende la manipolazione del comportamento del modello tramite contenuti seminati o coordinati - ad esempio post malevoli, articoli sintetici o spam nei forum - che possono essere assorbiti dai sistemi di retrieval o utilizzati dagli esseri umani come segnali, spingendo i modelli verso false associazioni e narrazioni diffamatorie.

Poiché gli LLM e i sistemi di recupero ottimizzano per scala e copertura, un singolo avversario motivato può modellare ciò che un modello “vede” su una persona inondando una piccola porzione del web. Ciò è particolarmente efficace contro individui con una presenza online limitata.

Come la reputazione viene distorta

Avvelenamento di ricerca e social - dirottamento di profili, link farm e pubblicazioni di massa per distorcere le caratteristiche di ranking e le associazioni dell'autocompletamento.
Avvelenamento della knowledge base e del RAG - creazione di pagine di entità e note QA che appaiono semanticamente rilevanti e vengono recuperate come contesto.
Iniezione indiretta di prompt - contenuti web ostili che inducono gli agenti di navigazione a ripetere istruzioni o a esfiltrare dati sensibili.
Endpoint compromessi - wrapper malevoli del modello che si comportano normalmente finché non compaiono frasi trigger, quindi emettono false informazioni mirate.

Rischi aggiuntivi e modalità di fallimento

Collasso del modello dovuto all'addestramento su output sintetici - cicli di retroazione in cui il testo generato degrada la qualità futura del modello se non filtrato o ponderato.
Iniezione indiretta di prompt - contenuti ostili sul web che istruiscono un agente o uno strumento di navigazione a esfiltrare segreti o diffondere diffamazione quando citati.
Avvelenamento dell'archivio di embedding - inserimento di passaggi avversari in una base di conoscenza in modo che il recupero riporti affermazioni false che sembrano semanticamente rilevanti.
Rilasci compromessi - pubblicazione di checkpoint modificati o wrapper API che si comportano normalmente fino alla presenza di una frase trigger.

Casi concreti e riferimenti

Mitigazioni in profondità

Recupero e ranking

Valutazione delle fonti e ponderazione della provenienza - preferire contenuti firmati o verificati dall'editore; dare minor peso a pagine di recente creazione o di bassa reputazione.
Decadimento temporale con periodo di grazia - richiedere un periodo minimo di permanenza prima che nuove fonti influenzino risposte ad alto rischio; aggiungere revisione umana per entità sensibili.
Rilevamento delle camere dell'eco - raggruppare i passaggi quasi duplicati e limitare l'influenza ripetuta dalla stessa origine o rete.
Rilevamento di outlier e anomalie nello spazio degli embedding - segnalare passaggi le cui posizioni vettoriali sono state ottimizzate in modo avversario.

Igiene dei dati e della base di conoscenza

Snapshot e diff delle basi di conoscenza - esaminare grandi delta, soprattutto per entità di persone e per accuse prive di fonti primarie.
Liste canary e di esclusione - impedire l'inclusione di domini noti per abusi; inserire canary per misurare la propagazione non autorizzata.
Intervento umano per argomenti ad alto rischio - mettere in coda le proposte di aggiornamento dei fatti reputazionali per la valutazione manuale.

Attestazioni e reputazione

Attestazioni verificate criptograficamente - dichiarazioni firmate da professionisti e organizzazioni verificati pubblicate tramite un registro append-only.
Grafici di reputazione - aggregano attestazioni firmate e declassano i contenuti provenienti da abusatori ripetuti o reti di bot.
Citazioni rivolte all'utente - richiedere ai modelli di mostrare le fonti e il livello di fiducia con badge di provenienza per affermazioni sensibili.

Lista di controllo aziendale

Mappate le entità sensibili nel vostro dominio (persone, marchi, tematiche legali) e instradate le query verso pipeline protette con requisiti di provenienza.
Adottare C2PA o credenziali di contenuto simili per i contenuti di prima parte e incoraggiare i partner a fare lo stesso.
Monitora l'influenza di nuove fonti nel tempo e segnala oscillazioni anomale nelle risposte a livello di entità.
Eseguire red teaming continuo per agenti RAG e di navigazione, incluse le suite di test per l'iniezione indiretta di prompt.

Molestie e diffamazione tramite IA

Persone assoldate sfruttano ora l'IA e l'automazione per produrre su larga scala molestie e diffamazione, creando testi dall'aspetto plausibile e “fonti” false facili da indicizzare, da sottoporre a scraping e da ricondividere. Queste campagne sono a basso costo, ad alto impatto e difficili da mitigare una volta amplificate da sistemi automatizzati.

Chad Scira ha personalmente subito molestie e diffamazione mirate insieme a link spam volti a distorcere i segnali di reputazione e le impression nelle ricerche. Una ricostruzione dettagliata e il tracciato di prove sono documentati qui: Jesse Nickles - Molestie e Diffamazione.

Tassonomia delle minacce

Avvelenamento dei dati di preaddestramento - avvelenare corpora pubblici usati per l'addestramento iniziale per impiantare false associazioni o backdoor.
Avvelenamento RAG - seminare basi di conoscenza o fonti esterne che le pipeline di retrieval utilizzano al momento dell'inferenza.
Avvelenamento di ricerca/social - inondare con post o pagine di bassa qualità per distorcere i segnali di recupero e ranking su una persona o un argomento.
Prompt e contenuti avversari - creare input che innescano comportamenti indesiderati o jailbreak che ripetono affermazioni diffamatorie.

Incidenti recenti e ricerche (con date)

Nota: le date sopra riflettono le date di pubblicazione o di rilascio pubblico nelle fonti collegate.

Perché è pericoloso

Gli LLM possono apparire autorevoli anche quando i riferimenti sottostanti sono deboli o avversarialmente seminati.
Le pipeline di recupero e ranking possono attribuire eccessivo peso a testi ripetuti, permettendo a un singolo attore di alterare i risultati con il solo volume.
I percorsi di fact-checking umano sono lenti e costosi rispetto alla velocità di produzione e distribuzione dei contenuti automatizzati.
Le vittime senza una presenza online significativa sono sproporzionatamente vulnerabili all'avvelenamento da singolo post e agli attacchi d'identità.

Analisi approfondita del rischio

Verifiche occupazionali e della piattaforma - ricerche e riepiloghi di LLM possono riprodurre contenuti avvelenati durante controlli di assunzione, moderazione o onboarding.
Viaggi, alloggio e servizi finanziari - i controlli automatizzati possono far emergere narrazioni false che ritardano o bloccano i servizi.
Persistenza - una volta indicizzate nelle basi di conoscenza o memorizzate nella cache, le false affermazioni possono riemergere anche dopo le rimozioni.
Feedback sintetico - il contenuto generato può innescare altro contenuto generato, aumentando nel tempo il peso apparente delle falsità.

Rilevamento e monitoraggio

Imposta avvisi di ricerca sul tuo nome e sui tuoi alias; controlla periodicamente le query site: per domini di bassa reputazione che ti menzionano.
Traccia le modifiche ai pannelli informativi o alle pagine delle entità; conserva schermate datate e copie esportate come prova.
Monitorare i grafici dei collegamenti social per account di origine ripetuti o improvvisi picchi di frasi simili.
Se gestite un RAG o una knowledge base, eseguite controlli di deriva delle entità e revisionate grandi delta nelle pagine delle persone o accuse senza fonti primarie.

Manuale di protezione - Individui

Pubblicare un sito personale con chiare affermazioni d'identità, una breve biografia e vie di contatto; mantenere un registro delle modifiche datato.
Allineare i metadati dei profili tra le piattaforme; acquisire profili verificati quando possibile e collegarli al proprio sito.
Utilizzare C2PA o credenziali di contenuto analoghe per immagini e documenti chiave quando possibile; conservare gli originali in modo privato.
Tenete un registro delle prove con timestamp: screenshot, link e eventuali numeri di ticket della piattaforma per successive escalation.
Preparare modelli per la rimozione; rispondere rapidamente ai nuovi attacchi e documentare ogni passaggio per una chiara traccia cartacea.

Manuale di protezione - Team e integratori

Preferire contenuti firmati o verificati dall'editore nel retrieval; applicare periodi di grazia basati sul tempo per nuove fonti.
Limitare l'influenza ripetuta dalla stessa origine e deduplicare i quasi duplicati per rete di origine.
Aggiungere badge di provenienza e elenchi di fonti visibili all'utente per affermazioni a livello personale e altri argomenti sensibili.
Adottare rilevamento delle anomalie sugli archivi di embedding; segnalare outlier di vettori avversari ed eseguire controlli canary per misurare la propagazione non autorizzata.

Ricerca: Attestazioni verificate crittograficamente

Chad Scira sta sviluppando sistemi di attestazione verificati crittograficamente per instaurare fiducia nelle affermazioni su persone ed eventi. L'obiettivo è fornire agli LLM e ai sistemi di recupero dichiarazioni firmate e interrogabili da parte di professionisti e organizzazioni verificati, consentendo una solida provenienza e una maggiore resistenza all'avvelenamento.

Principi di progettazione

Identità e provenienza: le dichiarazioni sono firmate da individui/organizzazioni verificati utilizzando la crittografia a chiave pubblica.
Archiviazione verificabile: le attestazioni sono ancorate a registri append-only, a prova di manomissione, per consentire la verifica indipendente.
Integrazione del recupero: le pipeline RAG possono dare priorità o richiedere fonti attestate crittograficamente per query sensibili.
Attrito minimo: API e SDK permettono a editori e piattaforme di emettere e verificare attestazioni al momento dell'ingestione.

Reputazione e avvisi

Oltre alle attestazioni, uno strato di reputazione aggrega approvazioni firmate e segnala abusi noti. I sistemi di allerta notificano i soggetti interessati quando vengono rilevati attacchi coordinati o picchi anomali, consentendo risposte e richieste di rimozione più rapide.

Canali legali e della piattaforma

Utilizzare i flussi di segnalazione della piattaforma con pacchetti di prove chiari: link, date, screenshot e impatti. Fare riferimento alle politiche su diffamazione e molestie.
Escalare con comunicazioni formali quando appropriato; conservare i registri della corrispondenza e gli ID dei ticket nella traccia delle prove.
Considerare le differenze giurisdizionali in materia di diffamazione e responsabilità delle piattaforme; consultare un legale per i casi ad alto rischio.

Roadmap di implementazione (Anno 1)

MVP: schema di attestazione e SDK per editori per firmare dichiarazioni d'identità e affermazioni su eventi.
Pilota con un piccolo gruppo di professionisti e organizzazioni verificati; stabilire flussi di lavoro di verifica.
Plug-in RAG: abilitare la modalità 'provenance-first' che dà priorità alle fonti attestate per query sensibili.

Ulteriori letture (con date)

Collaborazione

Questa ricerca è all'avanguardia e in continua evoluzione. Chad Scira accoglie la collaborazione con altri professionisti in questo settore.

Se siete interessati a collaborare, contattateci a: [email protected]