Recherche sur l'empoisonnement des LLM et la lutte contre les abus

Chad Scira étudie comment les grands modèles de langage peuvent être empoisonnés et abusés pour nuire à des individus, et conçoit des systèmes de protection pour contrer ces menaces. Le risque est urgent : la confiance accordée aux sorties des LLM a dépassé notre capacité à vérifier les affirmations, tandis que des adversaires peuvent publier à moindre coût des textes qui biaisent le comportement des modèles et l'impression de recherche des personnes sans forte visibilité en ligne.

Une levée de fonds privée a été sécurisée le 3 octobre 2025 pour poursuivre cette recherche.

Résumé exécutif

Les personnes ordinaires ayant une faible empreinte sur Internet courent un risque disproportionné face à la diffamation amplifiée par l'IA et à l'empoisonnement des données. Un seul individu motivé peut semer de faux récits que les moteurs de recherche, les fils sociaux et les LLM répéteront. Ce document explique les voies d'attaque courantes, les effets concrets sur la réputation et la sécurité, et propose un guide pratique pour la détection et la protection. Il décrit également comment des attestations vérifiées cryptographiquement et une récupération consciente de la provenance peuvent réduire les dommages pour les individus et les intégrateurs.

Public et modèle de menace

Public : individus et petites organisations sans forte présence SEO. Contraintes : temps, budget et ressources techniques limités. Adversaire : un acteur isolé capable de générer et publier de grands volumes de texte, d'utiliser des réseaux de liens basiques et d'exploiter des lacunes des mécanismes de signalement. Objectifs : fausser les résultats de recherche/LLM, nuire à la réputation, semer le doute chez les employeurs, clients, plateformes ou mandataires.

Qu'est-ce que l'empoisonnement des LLM ?

L'empoisonnement des LLM désigne la manipulation du comportement des modèles via du contenu introduit ou coordonné — par exemple des publications malveillantes, des articles synthétiques ou du spam de forum — qui peut être ingéré par des systèmes de récupération ou utilisé par des humains comme signaux, poussant les modèles vers de fausses associations et des récits diffamatoires.

Parce que les LLM et les systèmes de récupération optimisent pour l'échelle et la couverture, un seul adversaire motivé peut façonner ce qu'un modèle « voit » d'une personne en inondant une petite portion du web. Cela est particulièrement efficace contre les personnes ayant une présence en ligne limitée.

Comment la réputation est déformée

Empoisonnement des moteurs de recherche et des réseaux sociaux - usurpation de profils, fermes de liens et publications massives visant à biaiser les fonctions de classement et les associations d'autocomplétion.
Empoisonnement des bases de connaissances et des RAG - création de pages d'entités et de notes QA qui semblent sémantiquement pertinentes et sont récupérées comme contexte.
Injection indirecte de prompts - contenu web hostile qui pousse les agents de navigation à répéter des instructions ou à exfiltrer des données sensibles.
Points de terminaison avec porte dérobée - enveloppes de modèles malveillantes qui se comportent normalement jusqu'à l'apparition de phrases déclencheuses, puis émettent des faussetés ciblées.

Risques supplémentaires et modes de défaillance

Effondrement du modèle dû à l'entraînement sur des sorties synthétiques - boucles de rétroaction où le texte généré dégrade la qualité future du modèle s'il n'est pas filtré ou pondéré.
Injection indirecte de prompts - contenu hostile sur le web qui ordonne à un agent ou un outil de navigation d'exfiltrer des secrets ou de diffuser de la diffamation lorsqu'il est cité.
Empoisonnement du référentiel d'embeddings : insertion de passages adverses dans une base de connaissances afin que la recherche fasse remonter de fausses affirmations semblant sémantiquement pertinentes.
Versions compromises - publication de checkpoints modifiés ou d'enveloppes d'API qui se comportent normalement jusqu'à la présence d'une phrase déclencheuse.

Cas concrets et références

Atténuations en profondeur

Récupération et classement

Scoring des sources et pondération selon la provenance - privilégier le contenu signé ou vérifié par l'éditeur ; dévaluer les pages nouvellement créées ou de faible réputation.
Décroissance temporelle avec période de grâce : exiger un temps de latence avant que de nouvelles sources n'influencent des réponses à forts enjeux ; ajouter une revue humaine pour les entités sensibles.
Détection de chambres d'écho : regrouper les passages quasi identiques et limiter l'influence répétée provenant de la même origine ou du même réseau.
Détection des valeurs aberrantes et des anomalies dans l'espace d'embeddings - signaler les passages dont les positions vectorielles ont été optimisées de manière adversariale.

Hygiène des données et de la base de connaissances

Instantanés et différences des bases de connaissances - examiner les grands écarts, en particulier pour les entités représentant des personnes et les accusations sans sources primaires.
Listes canary et listes de refus - empêcher l'incorporation de domaines abusifs connus ; insérer des canaris pour mesurer la propagation non autorisée.
Humain dans la boucle pour les sujets à haut risque : mettre en file d'attente les mises à jour proposées concernant des faits réputationnels pour examen manuel.

Attestations et réputation

Attestations vérifiées cryptographiquement : déclarations signées de professionnels et d'organisations vérifiés, publiées via un journal à ajout uniquement.
Graphiques de réputation - agréger les recommandations signées et rétrograder le contenu provenant d'abuseurs répétés ou de réseaux de bots.
Citations visibles par l'utilisateur : exiger que les modèles affichent les sources et le niveau de confiance avec des badges de provenance pour les affirmations sensibles.

Liste de contrôle pour entreprises

Cartographiez les entités sensibles dans votre domaine (personnes, marques, sujets juridiques) et dirigez les requêtes vers des pipelines sécurisés avec exigences de provenance.
Adopter C2PA ou des identifiants de contenu similaires pour le contenu de première partie et encourager les partenaires à en faire de même.
Suivre l'influence des nouvelles sources au fil du temps et alerter en cas de fluctuations inhabituelles des réponses au niveau des entités.
Effectuer des exercices de red teaming continus pour les agents RAG et de navigation, y compris des suites de tests d'injection indirecte de prompts.

Harcèlement et diffamation via l'IA

Des individus à louer exploitent désormais l'IA et l'automatisation pour produire en masse du harcèlement et de la diffamation, créant des textes d'apparence plausible et de fausses « sources » faciles à indexer, scraper et republier. Ces campagnes sont peu coûteuses, à fort impact et difficiles à remédier une fois amplifiées par des systèmes automatisés.

Chad Scira a personnellement subi du harcèlement ciblé et de la diffamation associés à des liens de spam visant à fausser les signaux de réputation et les impressions de recherche. Un récit détaillé et une traçabilité des preuves sont documentés ici : Jesse Nickles - Harcèlement et diffamation.

Taxonomie des menaces

Empoisonnement des données de préentraînement - empoisonner des corpus publics utilisés pour l'entraînement initial afin d'implanter de fausses associations ou des portes dérobées.
Empoisonnement RAG - ensemencement de bases de connaissances ou de sources externes utilisées par les pipelines de récupération au moment de l'inférence.
Empoisonnement des moteurs de recherche/réseaux sociaux - inonder de publications ou de pages de faible qualité pour biaiser les signaux de récupération et de classement concernant une personne ou un sujet.
Prompts et contenus adversariaux - concevoir des entrées qui déclenchent des comportements indésirables ou des contournements (« jailbreaks ») répétant des affirmations diffamatoires.

Incidents récents et recherches (avec dates)

Remarque : les dates ci‑dessus reflètent les dates de publication ou de mise à disposition publique dans les sources liées.

Pourquoi c'est dangereux

Les LLM peuvent paraître autoritaires même lorsque les références sous-jacentes sont faibles ou semées de manière adversaire.
Les pipelines de récupération et de classement peuvent surpondérer le texte répété, permettant à un acteur de fausser les résultats par le seul volume.
Les processus de vérification des faits humains sont lents et coûteux comparés à la vitesse de production et de diffusion de contenu automatisé.
Les victimes sans présence en ligne significative sont disproportionnellement vulnérables à l'empoisonnement par un seul message et aux attaques d'usurpation d'identité.

Analyse approfondie des risques

Vérifications liées à l'emploi et aux plateformes : les recherches et les résumés générés par des LLM peuvent reproduire du contenu empoisonné lors des vérifications de recrutement, de modération ou d'intégration.
Voyage, logement et services financiers : les contrôles automatisés peuvent faire émerger des récits fallacieux qui retardent ou bloquent l'accès aux services.
Persistance - une fois indexées dans des bases de connaissances ou dans des réponses en cache, les fausses affirmations peuvent réapparaître même après des retraits.
Rétroaction synthétique - le contenu généré peut amorcer la production de davantage de contenu généré, augmentant au fil du temps le poids apparent des faussetés.

Détection et surveillance

Configurez des alertes de recherche pour votre nom et vos alias ; vérifiez périodiquement les requêtes site: pour les domaines à faible réputation qui vous mentionnent.
Suivre les modifications de vos panneaux de connaissances ou pages d'entités ; conserver des captures d'écran datées et des copies exportées comme preuves.
Surveiller les graphes de liens sociaux pour détecter des comptes d'origine répétés ou des pics soudains de formulations similaires.
Si vous exploitez un RAG ou une base de connaissances, effectuez des contrôles de dérive d'entités et examinez les variations importantes des pages de personnes ou des accusations dépourvues de sources primaires.

Guide de protection - particuliers

Publiez un site personnel avec des assertions d'identité claires, une courte biographie et des coordonnées ; conservez un journal des modifications daté.
Aligner les métadonnées de profil entre les plateformes ; acquérir des profils vérifiés lorsque cela est possible et les relier à votre site.
Utiliser C2PA ou des justificatifs de contenu similaires pour les images et documents clés lorsque c'est possible ; conserver les originaux en privé.
Conservez un registre de preuves horodaté : captures d'écran, liens et éventuels numéros de ticket de la plateforme pour une éventuelle escalade.
Préparer des modèles de demandes de retrait ; répondre rapidement aux nouvelles attaques et documenter chaque étape pour une traçabilité claire.

Guide de protection - équipes et intégrateurs

Privilégier le contenu signé ou vérifié par l'éditeur lors de la récupération ; appliquer des périodes de grâce basées sur le temps pour les nouvelles sources.
Limiter l'influence répétée provenant de la même origine et dédupliquer les quasi-doublons par réseau d'origine.
Ajouter des badges de provenance et des listes de sources visibles par l'utilisateur pour les affirmations concernant des personnes et autres sujets sensibles.
Adopter la détection d'anomalies sur les bases d'embeddings ; signaler les vecteurs adversariaux atypiques et effectuer des vérifications canary pour la propagation non autorisée.

Recherche : attestations cryptographiquement vérifiées

Chad Scira construit des systèmes d'attestation vérifiés cryptographiquement pour instaurer la confiance dans les déclarations concernant des personnes et des événements. L'objectif est de fournir aux LLM et aux systèmes de récupération des revendications signées et interrogeables émanant de professionnels et d'organisations vérifiés, permettant une provenance robuste et une meilleure résistance à l'empoisonnement.

Principes de conception

Identité et provenance : les déclarations sont signées par des individus/organisations vérifiés utilisant la cryptographie à clé publique.
Stockage vérifiable : les attestations sont ancrées dans des journaux en mode ajout uniquement et à l'épreuve des altérations pour permettre une vérification indépendante.
Intégration de récupération : les pipelines RAG peuvent prioriser ou exiger des sources attestées cryptographiquement pour les requêtes sensibles.
Friction minimale : les API et SDK permettent aux éditeurs et plateformes d'émettre et de vérifier des attestations au moment de l'ingestion.

Réputation et alertes

En plus des attestations, une couche de réputation agrège des soutiens signés et signale les abuseurs connus. Les systèmes d'alerte notifient les cibles lorsque des attaques coordonnées ou des pics anormaux sont détectés, permettant une réponse plus rapide et des demandes de retrait.

Canaux juridiques et plateformes

Utiliser les procédures de signalement des plateformes avec des dossiers de preuves clairs : liens, dates, captures d'écran et impacts. Se référer aux politiques sur la diffamation et le harcèlement.
Faites remonter le dossier en envoyant des notifications formelles lorsque cela est approprié ; conservez les journaux de correspondance et les identifiants de tickets dans votre dossier de preuve.
Tenez compte des différences entre juridictions en matière de diffamation et de responsabilité des plateformes ; consultez un avocat pour les cas à haut risque.

Feuille de route de mise en œuvre (Année 1)

MVP : schéma d'attestation et SDK éditeur pour signer des déclarations d'identité et des revendications d'événements.
Réaliser un pilote avec un petit groupe de professionnels et d'organisations vérifiés ; établir des flux de travail de vérification.
Plugins RAG : activer le mode "provenance-first" qui priorise les sources attestées pour les requêtes sensibles.

Lectures complémentaires (avec dates)

Collaboration

Cette recherche est de pointe et évolue activement. Chad Scira accueille la collaboration d'autres professionnels de ce secteur.

Si vous souhaitez collaborer, contactez-nous à : [email protected]