Un chercheur construit un anti

Will Knight, wired.com - 30 août 2023 13h51 UTC

En mai, Sputnik International, un média public russe, a publié une série de tweets fustigeant la politique étrangère américaine et attaquant l’administration Biden. Chacun d’entre eux a suscité une réfutation brève mais bien conçue de la part d’un compte appelé CounterCloud, incluant parfois un lien vers un article d’actualité ou d’opinion pertinent. Cela a généré des réponses similaires aux tweets de l’ambassade de Russie et des médias chinois critiquant les États-Unis.

Les critiques russes à l'égard des États-Unis sont loin d'être inhabituelles, mais la réponse de CounterCloud était la suivante : les tweets, les articles et même les journalistes et les sites d'information ont été entièrement conçus par des algorithmes d'intelligence artificielle, selon la personne à l'origine du projet, qui se fait appeler le nomme Nea Paw et dit qu'il est conçu pour mettre en évidence le danger de la désinformation produite en masse par l'IA. Paw n'a pas publié publiquement les tweets et les articles de CounterCloud, mais les a fournis à WIRED et a également produit une vidéo décrivant le projet.

Paw prétend être un professionnel de la cybersécurité qui préfère l'anonymat car certaines personnes peuvent croire que le projet est irresponsable. La campagne CounterCloud repoussant la messagerie russe a été créée à l'aide de la technologie de génération de texte d'OpenAI, comme celle de ChatGPT, et d'autres outils d'IA facilement accessibles pour générer des photographies et des illustrations, explique Paw, pour un coût total d'environ 400 $.

« Je ne pense pas qu'il existe de solution miracle à ce problème, tout comme il n'existe pas de solution miracle pour les attaques de phishing, le spam ou l'ingénierie sociale », déclare Paw dans un e-mail. Des mesures d'atténuation sont possibles, par exemple en éduquant les utilisateurs pour qu'ils soient vigilants face au contenu manipulateur généré par l'IA, en obligeant les systèmes d'IA générative à tenter de bloquer les utilisations abusives ou en équipant les navigateurs d'outils de détection d'IA. "Mais je pense qu'aucune de ces choses n'est vraiment élégante, bon marché ou particulièrement efficace", déclare Paw.

Ces dernières années, les chercheurs en désinformation ont averti que les modèles linguistiques de l’IA pourraient être utilisés pour élaborer des campagnes de propagande hautement personnalisées et pour alimenter des comptes de réseaux sociaux qui interagissent avec les utilisateurs de manière sophistiquée.

Renee DiResta, responsable de la recherche technique au Stanford Internet Observatory, qui suit les campagnes d'information, estime que les articles et profils de journalistes générés dans le cadre du projet CounterCloud sont assez convaincants.

"En plus des acteurs gouvernementaux, les agences de gestion des médias sociaux et les mercenaires qui proposent des services d'opérations d'influence reprendront sans aucun doute ces outils et les intégreront dans leurs flux de travail", explique DiResta. Il est difficile de diffuser et de partager largement du faux contenu, mais cela peut être réalisé en payant des utilisateurs influents pour le partager, ajoute-t-elle.

Certaines preuves de campagnes de désinformation en ligne alimentées par l’IA ont déjà fait surface. Des chercheurs universitaires ont récemment découvert un botnet rudimentaire de crypto-push, apparemment alimenté par ChatGPT. L’équipe a déclaré que la découverte suggère que l’IA derrière le chatbot est probablement déjà utilisée pour des campagnes d’information plus sophistiquées.

Des campagnes politiques légitimes se sont également tournées vers l’utilisation de l’IA à l’approche de l’élection présidentielle américaine de 2024. En avril, le Comité national républicain a produit une vidéo attaquant Joe Biden qui comprenait de fausses images générées par l’IA. Et en juin, un compte de réseau social associé à Ron Desantis a inclus des images générées par l’IA dans une vidéo destinée à discréditer Donald Trump. La Commission électorale fédérale a déclaré qu'elle pourrait limiter l'utilisation de deepfakes dans les publicités politiques.

Micah Musser, un chercheur qui a étudié le potentiel de désinformation des modèles linguistiques de l'IA, s'attend à ce que les campagnes politiques grand public tentent d'utiliser des modèles linguistiques pour générer du contenu promotionnel, des e-mails de collecte de fonds ou des publicités d'attaque. "C'est une période totalement instable en ce moment où les normes ne sont pas vraiment claires", dit-il.

Une grande partie du texte généré par l’IA reste assez générique et facile à repérer, explique Musser. Mais permettre aux humains de perfectionner le contenu généré par l'IA et de pousser la désinformation pourrait s'avérer très efficace, et il serait presque impossible d'arrêter l'utilisation de filtres automatisés, dit-il.