Le WEF et ses partenaires prétendent œuvrer à la « sécurité numérique », mais le WSJ vient de nous montrer que son partenaire Meta dirigeait ses clients vers des sites d’exploitation sexuelle d’enfants

Non seulement le partenaire pose un énorme problème (je fournirai le texte intégral de l’article du WSJ), mais la « sécurité numérique » est également un euphémisme pour désigner la censure.

L’impact de la sécurité numérique – selon le Forum économique mondial.

Bien entendu, les problèmes liés à l’identité numérique et au passeport de santé sont les suivants:

1. des fonctionnalités supplémentaires seront rapidement ajoutées, plaçant votre vie et toutes vos transactions sur un réseau connecté
2. vos données en ligne peuvent être volées (en particulier vos données bancaires et de santé)
3. votre argent peut être bloqué ou taxé à volonté
4. vos déplacements et vos achats peuvent être limités
5. votre réseau d’amis et vos associés seront tous notés et suivis
6. votre famille pourrait souffrir de comportements que les contrôleurs n’apprécient pas. En Chine, votre score de crédit social détermine si vous pouvez louer ou acheter une propriété ou si vos enfants peuvent aller dans une bonne école, m’a-t-on dit.

Mais rendons les choses plus acceptables : il s’agit des droits de l’homme. Ah bon?

Sécurité digitale: appliquer les droits de l’homme au monde digital.

La lutte contre les contenus préjudiciables en ligne est un problème complexe. La lutte contre les abus sexuels et l’exploitation des enfants, le terrorisme et les discours de haine, la désinformation et les contenus liés à l’automutilation et au suicide est un défi permanent.

Avec l’arrivée des nouvelles technologies, la nécessité de trouver un équilibre entre la sécurité et la protection de la vie privée dans le monde numérique et la liberté d’expression reste vitale.

Il est essentiel pour les entreprises internationales, les groupes de la société civile et les individus de vivre des expériences en ligne sûres et sécurisées. La coalition mondiale pour la sécurité numérique du Forum économique mondial rassemble un groupe diversifié de dirigeants afin d’accélérer la coopération entre les secteurs public et privé pour lutter contre les contenus et les comportements préjudiciables en ligne.

Les membres de la coalition ont élaboré les principes mondiaux de sécurité numérique, qui définissent la manière dont les droits de l’homme doivent être traduits dans le monde numérique. Le groupe de travail de la coalition comprend des représentants de Microsoft, de WeProtect Global Alliance, Meta, amazon, Google, OHCHR (Haut-Commissariat des Nations Unies aux droits de l’Homme), Ofcom UK, Global Partners Digital.

Les principes ont été élaborés à la suite de consultations avec les gouvernements et les régulateurs, les principales plateformes de médias sociaux et de technologie, les entreprises de technologie de sécurité et les représentants de la société civile et du monde universitaire.

Ils serviront de guide à toutes les parties prenantes de l’écosystème numérique pour faire progresser la sécurité numérique au niveau politique, industriel et social. La collaboration entre les gouvernements, les entreprises et les personnes impliquées dans des initiatives civiles et sociales est nécessaire pour garantir un impact réel.

En résumé, les principes sont les suivants:

• Tous les partisans doivent collaborer à la création d’un environnement en ligne sûr, fiable et ouvert à tous. [Cela inclut tout ce qui vous concerne. – Nass]. La politique et la prise de décision doivent être basées sur des preuves, des idées et des perspectives diverses. La transparence est importante et l’innovation doit être encouragée.
• Les gouvernements qui apportent leur soutien doivent faire la distinction entre les contenus illégaux et les contenus légaux mais susceptibles d’être préjudiciables, et différencier les mesures réglementaires en conséquence ; ils doivent veiller à ce que les lois et les politiques respectent et protègent l’ensemble des droits des utilisateurs. Ils doivent soutenir les victimes et les survivants d’abus ou de préjudices.
• Les fournisseurs de services en ligne qui les soutiennent doivent s’engager à respecter leurs responsabilités en matière de droits de l’homme et élaborer des politiques pour s’en assurer, veiller à ce que la sécurité soit une priorité dans toute l’entreprise et à ce qu’elle soit intégrée en tant que norme lors de la conception des fonctionnalités, et collaborer avec d’autres fournisseurs de services en ligne. [Mais qu’est-ce que la « sécurité » ?]

Les principes reconnaissent également que les groupes de la société civile et les organisations non gouvernementales jouent un rôle essentiel dans la promotion de la sécurité numérique et des droits de l’homme ; ils fournissent des informations précieuses sur l’impact de la sécurité en ligne – et de la liberté en ligne – sur les communautés et les individus.

« Faire progresser la sécurité numérique est essentiel pour permettre aux gens de tirer le meilleur parti du monde numérique. Ces principes ont été créés comme une étape positive et réalisable vers la création d’une expérience numérique plus sûre pour tous et Microsoft s’engage à trouver des solutions qui atteignent cet objectif et respectent les droits de l’homme fondamentaux. »

– Courtney Gregoire, responsable de la sécurité numérique, Microsoft.

Les principes prennent en considération et cherchent à compléter les principes existants tels que les principes volontaires de lutte contre les abus sexuels et l’exploitation des enfants en ligne, l’appel de Christchurch pour l’élimination des contenus terroristes et extrémistes violents en ligne, les principes de Santa Clara, les principes « Safety by Design » du commissaire australien à l’e-sécurité, le cadre des meilleures pratiques du Digital Trust & Safety Partnership, et bien d’autres encore.

« Les gouvernements, le secteur privé et la société civile ont tous un rôle important à jouer dans la prévention des abus et de l’exploitation en ligne, en particulier lorsqu’il s’agit de protéger les personnes les plus vulnérables de la société. Ce nouvel ensemble de principes fournit un cadre important pour une réponse plus efficace aux préjudices en ligne, y compris notre propre travail pour mettre fin aux abus sexuels des enfants en ligne. »

– Iain Drennan, directeur exécutif, WeProtect Global Alliance.

Meta (le nouveau nom de Facebook) était un partenaire majeur du WEF (ci-dessus) pour promouvoir la sécurité numérique. Mais au lieu de cela, Meta, qui possède Instagram, a facilité les réseaux pédophiles sur sa plateforme, selon des recherches détaillées menées par le personnel de l’Observatoire de l’Internet de Stanford (et ces censeurs devraient le savoir) et un professeur de l’Université du Massachusetts, ainsi que des experts du paysage numérique comme Alex Stamos, qui a fondé et dirige le programme de Stanford. Le Wall Street Journal a effectué une analyse très approfondie et ne laisse aucune marge de manœuvre à Meta pour s’en sortir. Comme le WSJ est derrière un paywall, je fournirai l’article complet du 7 juin ci-dessous.

https://www.wsj.com/articles/instagram-vast-pedophile-network-4ab7189

Instagram, le populaire site de médias sociaux appartenant à Meta Platforms, aide à connecter et à promouvoir un vaste réseau de comptes ouvertement consacrés à la commande et à l’achat de contenus pédophiles, selon des enquêtes menées par le Wall Street Journal et des chercheurs de l’université de Stanford et de l’Université du Massachusetts Amherst.

Les pédophiles utilisent depuis longtemps l’internet, mais contrairement aux forums et aux services de transfert de fichiers qui s’adressent aux personnes intéressées par des contenus illicites, Instagram ne se contente pas d’héberger ces activités. Ses algorithmes les favorisent. Instagram met en relation les pédophiles et les guide vers les vendeurs de contenu grâce à des systèmes de recommandation qui excellent dans la mise en relation de ceux qui partagent des intérêts de niche, ont constaté le Journal et les chercheurs universitaires.

Bien qu’ils soient invisibles pour la plupart des utilisateurs de la plateforme, les comptes sexualisés sur Instagram ne cachent pas leur intérêt. Les chercheurs ont constaté qu’Instagram permettait aux internautes de rechercher des hashtags explicites tels que #pedowhore et #preteensex et les mettait en relation avec des comptes qui utilisaient ces termes pour faire de la publicité pour du matériel pédophile à vendre. Ces comptes prétendent souvent être gérés par les enfants eux-mêmes et utilisent des pseudonymes ouvertement sexuels comprenant des mots tels que « petite salope pour toi. »

Les comptes Instagram qui proposent de vendre du matériel sexuel illicite ne le publient généralement pas ouvertement, mais affichent plutôt des « menus » de contenu. Certains comptes invitent les acheteurs à commander des actes spécifiques. Certains menus incluent des prix pour des vidéos d’enfants se faisant du mal et des « images du mineur pratiquant des actes sexuels avec des animaux », ont constaté les chercheurs de l’Observatoire de l’Internet de Stanford. Au bon prix, les enfants sont disponibles pour des « rencontres » en personne. La promotion de contenus sexuels destinés aux mineurs est contraire aux règles établies par Meta ainsi qu’à la législation fédérale.

En réponse aux questions du Journal, Meta a reconnu l’existence de problèmes au sein de ses opérations d’application de la loi et a déclaré avoir mis sur pied un groupe de travail interne pour s’attaquer aux problèmes soulevés. « L’exploitation des enfants est un crime horrible », a déclaré l’entreprise, qui a ajouté : « Nous cherchons continuellement des moyens de nous défendre activement contre ce comportement. »

Meta a déclaré avoir supprimé 27 réseaux pédophiles au cours des deux dernières années et prévoit d’autres suppressions. Depuis qu’elle a reçu les requêtes du Journal, la plateforme a déclaré avoir bloqué des milliers de hashtags qui sexualisent les enfants, dont certains comptent des millions de messages, et avoir interdit à ses systèmes de recommander aux utilisateurs de rechercher des termes connus pour être associés à des abus sexuels. Elle a également indiqué qu’elle s’efforçait d’empêcher ses systèmes de recommander à des adultes potentiellement pédophiles de se connecter les uns aux autres ou d’interagir avec le contenu de l’un d’entre eux.

Alex Stamos, directeur de l’Observatoire de l’Internet de Stanford et responsable de la sécurité de Meta jusqu’en 2018, a déclaré que même les abus les plus évidents ne pourraient être maîtrisés qu’au prix d’un effort soutenu.

« Le fait qu’une équipe de trois universitaires disposant d’un accès limité puisse trouver un réseau aussi vaste devrait déclencher des alarmes chez Meta », a-t-il déclaré, notant que l’entreprise dispose d’outils bien plus efficaces pour cartographier son réseau pédophile que les personnes extérieures. « J’espère que l’entreprise réinvestira dans des enquêteurs humains », a-t-il ajouté.

En raison d’obstacles techniques et juridiques, il est difficile pour quiconque n’appartient pas à Meta de déterminer avec précision l’ampleur du réseau.

Les lois relatives aux contenus pédopornographiques étant extrêmement vastes, il est juridiquement délicat d’enquêter même sur la promotion ouverte de ces contenus sur une plateforme publique.

Dans son rapport, le Journal a consulté des experts universitaires sur la sécurité des enfants en ligne. L’Observatoire de l’Internet de Stanford, une division du Cyber Policy Center de l’université qui se concentre sur les abus des médias sociaux, a produit une analyse quantitative indépendante des fonctionnalités d’Instagram qui aident les utilisateurs à se connecter et à trouver du contenu.

Le Journal s’est également adressé au Rescue Lab de l’Université du Massachussets, qui a évalué la place des pédophiles sur Instagram dans le monde plus vaste de l’exploitation des enfants en ligne. En utilisant des méthodes différentes, les deux entités ont été en mesure d’identifier rapidement des communautés à grande échelle promouvant les abus sexuels criminels.

Les comptes tests mis en place par les chercheurs qui consultaient un seul compte du réseau étaient immédiatement touchés par des recommandations « suggérées pour vous » de prétendus vendeurs et acheteurs de contenus pédophiles, ainsi que de comptes renvoyant à des sites d’échange de contenus hors plateforme. Il suffisait de suivre une poignée de ces recommandations pour inonder un compte test de contenus sexualisant les enfants.

L’Observatoire de l’internet de Stanford a utilisé des hashtags associés à la sexualité des mineurs pour trouver 405 vendeurs de ce que les chercheurs ont appelé du matériel pédosexuel « autogénéré », c’est-à-dire des comptes prétendument gérés par des enfants eux-mêmes, dont certains disent qu’ils n’ont que 12 ans. Selon les données recueillies par Maltego, un logiciel de cartographie des réseaux, 112 de ces comptes vendeurs comptaient collectivement 22 000 adeptes uniques.

Les créateurs et les acheteurs de contenus sexuels pour mineurs ne sont qu’une partie d’un écosystème plus vaste consacré aux contenus sexualisés pour enfants. D’autres comptes de la communauté pédophile sur Instagram rassemblent des mèmes pro-pédophilie ou discutent de leur accès aux enfants. Les employés actuels et anciens de Meta qui ont travaillé sur des initiatives de sécurité des enfants sur Instagram estiment que le nombre de comptes qui existent principalement pour suivre ce type de contenu est de l’ordre de centaines de milliers, voire de millions.

Un porte-parole de Meta a déclaré que l’entreprise cherchait activement à supprimer ces utilisateurs, en supprimant 490 000 comptes pour violation de ses politiques de sécurité des enfants au cours du seul mois de janvier.

« Instagram est une rampe d’accès à des sites Internet où les abus sexuels sur les enfants sont plus explicites », a déclaré Brian Levine, directeur du Rescue Lab de l’Université du Massachussets , qui étudie la victimisation des enfants en ligne et met au point des outils médico-légaux pour la combattre. Levine est l’un des auteurs d’un rapport sur l’exploitation des enfants sur internet, publié en 2022 par l’Institut national de la justice, l’organe de recherche du ministère de la justice.

Instagram, qui compterait plus de 1,3 milliard d’utilisateurs, est particulièrement populaire auprès des adolescents. Les chercheurs de Stanford ont trouvé des activités d’exploitation sexuelle similaires sur d’autres plateformes sociales plus petites, mais ont déclaré que le problème sur Instagram était particulièrement grave. « La plateforme la plus importante pour ces réseaux d’acheteurs et de vendeurs semble être Instagram », écrivent-ils dans un rapport qui devrait être publié le 7 juin.

Instagram a déclaré que ses statistiques internes montrent que les utilisateurs voient l’exploitation des enfants dans moins d’un message sur 10 000.

Les efforts déployés par les plateformes de médias sociaux et les forces de l’ordre pour lutter contre la propagation de la pédopornographie en ligne sont principalement axés sur la recherche d’images et de vidéos confirmées, connues sous le nom de « matériel d’abus sexuel d’enfants » (Child sexual abuse material – CSAM), dont on sait déjà qu’elles sont en circulation. Le National Center for Missing & Exploited Children (NCMEC – Centre national pour les enfants disparus et exploités), une organisation américaine à but non lucratif qui collabore avec les services répressifs, gère une base de données d’empreintes numériques de ces images et vidéos, ainsi qu’une plate-forme de partage de ces données entre les sociétés Internet.

Les algorithmes des sociétés Internet vérifient les empreintes numériques des images publiées sur leurs plateformes par rapport à cette liste et signalent au centre les cas où ils les détectent, comme l’exige la loi fédérale américaine. En 2022, le centre a reçu 31,9 millions de signalements de pédopornographie, principalement de la part de sociétés Internet, soit une augmentation de 47 % par rapport à l’année précédente.

Meta, qui compte plus de 3 milliards d’utilisateurs à travers ses applications, dont Instagram, Facebook et WhatsApp, est en mesure de détecter ce type d’images connues si elles ne sont pas cryptées. Meta est à l’origine de 85 % des signalements de pédopornographie adressés au centre, dont quelque 5 millions émanant d’Instagram.

Le filtrage automatisé de Meta pour les contenus existants liés à l’exploitation des enfants ne permet pas de détecter les nouvelles images ou les efforts visant à promouvoir leur vente. Pour prévenir et détecter de telles activités, il ne suffit pas seulement d’examiner les rapports des utilisateurs, mais aussi de suivre et de perturber les réseaux pédophiles, affirment des employés actuels et anciens, ainsi que les chercheurs de Stanford. L’objectif est de faire en sorte qu’il soit difficile pour ces utilisateurs de se connecter les uns aux autres, de trouver du contenu et de recruter des victimes.

Ce travail est essentiel, car les services répressifs ne disposent pas des ressources nécessaires pour enquêter sur une infime partie des informations reçues par le NCMEC, a déclaré M. Levine, de l’Université du Massachussets. Cela signifie que les plateformes ont la responsabilité première d’empêcher la formation d’une communauté et de normaliser les abus sexuels commis sur des enfants.

Meta a eu plus de difficultés que d’autres plateformes à cet égard, en raison de la faiblesse de l’application de la loi et des caractéristiques de conception qui favorisent la découverte de contenus tant légaux qu’illicites, a constaté l’équipe de Stanford.

L’équipe de Stanford a trouvé 128 comptes proposant de vendre du matériel pédopornographique sur Twitter, soit moins d’un tiers du nombre qu’elle a trouvé sur Instagram, dont la base d’utilisateurs est bien plus importante que celle de Twitter. L’équipe a constaté que Twitter ne recommandait pas ces comptes autant qu’Instagram et qu’il les supprimait beaucoup plus rapidement.

Parmi les autres plateformes populaires auprès des jeunes, Snapchat est principalement utilisé pour sa messagerie directe, et ne contribue donc pas à la création de réseaux. Et la plateforme TikTok est l’une de celles où « ce type de contenu ne semble pas proliférer », selon le rapport de Stanford.

Twitter n’a pas répondu aux demandes de commentaires. TikTok et Snapchat se sont refusés à tout commentaire.

David Thiel, technologue en chef à l’Observatoire de l’Internet de Stanford, a déclaré : « Le problème d’Instagram se résume aux fonctions de découverte de contenu, à la manière dont les sujets sont recommandés et à la mesure dans laquelle la plateforme s’appuie sur la recherche et les liens entre les comptes. » M. Thiel, qui a déjà travaillé chez Meta sur les questions de sécurité, a ajouté : « Il faut mettre en place des garde-fous pour que quelque chose qui connaît une telle croissance soit encore nominalement sûr, et Instagram ne l’a pas fait. »

La plateforme a eu du mal à superviser une technologie de base : les mots-clés. Les hashtags sont un élément central de la découverte de contenu sur Instagram, car ils permettent aux utilisateurs de marquer et de trouver des messages qui intéressent une communauté particulière, qu’il s’agisse de sujets généraux tels que #fashion ou #nba ou de sujets plus restreints comme #embroidery ou #spelunking.

Une capture d’écran réalisée par l’Observatoire de l’Internet de Stanford montre l’avertissement et l’option de clic lors de la recherche d’un hashtag lié à la pédophilie sur Instagram. Photo : Observatoire de l’Internet de Stanford

Les pédophiles ont eux aussi leurs hashtags de prédilection. Des termes de recherche tels que #pedobait et des variantes de #mnsfw (« minor not safe for work ») avaient été utilisés pour marquer des milliers de posts dédiés à la publicité de contenus sexuels mettant en scène des enfants, les rendant facilement trouvables par les acheteurs, ont constaté les chercheurs universitaires. À la suite de questions posées par le Journal, Meta a indiqué qu’elle était en train d’interdire ces termes.

Dans de nombreux cas, Instagram a permis aux utilisateurs de rechercher des termes dont ses propres algorithmes savent qu’ils peuvent être associés à des contenus illégaux. Dans de tels cas, un écran contextuel avertissait les utilisateurs que « ces résultats peuvent contenir des images d’abus sexuels sur des enfants » et soulignait que la production et la consommation de ce type de matériel causait un « préjudice extrême » aux enfants. L’écran proposait deux options aux utilisateurs : « Obtenir des ressources » et « Voir les résultats quand même. »

En réponse aux questions du Journal, Instagram a retiré l’option permettant aux utilisateurs de voir les résultats de recherche pour des termes susceptibles de produire des images illégales. L’entreprise a refusé de dire pourquoi elle avait offert cette option.

Les comptes pédophiles sur Instagram mélangent effronterie et efforts superficiels pour voiler leur activité, ont constaté les chercheurs. Certains emojis fonctionnent comme une sorte de code, comme l’image d’une carte (map) – qui signifie « personne attirée par un mineur » (minor attracted person) – ou celle d’une « Cheese Pizza »(« pizza au fromage »), qui partage ses initiales avec « Child Pornographie« (pédopornographie »), selon M. Levine, de l’Université du Massachusetts. Beaucoup se déclarent « amoureux des petites choses de la vie. »

Les comptes s’identifient comme « seller » (« vendeur ») ou « s3ller », et nombre d’entre eux indiquent dans leur biographie le mode de paiement qu’ils préfèrent. Ces comptes de vendeurs indiquent souvent l’âge supposé de l’enfant en disant qu’il est « au chapitre 14 » ou « âgé de 31 ans », suivi d’un emoji représentant une flèche inversée.

Selon M. Levine, de l’Université du Massachusetts, certains de ces comptes portent des traces de trafic sexuel, comme celui d’une adolescente dont le visage porte le mot « WHORE » (prostituée).

Certains utilisateurs qui prétendent vendre du contenu sexuel autoproduit disent qu’ils sont « sans visage » – ils n’offrent que des images à partir du cou – en raison d’expériences passées au cours desquelles des clients les ont harcelés ou leur ont fait du chantage. D’autres prennent le risque de demander une prime pour des images et des vidéos qui pourraient révéler leur identité en montrant leur visage.

De nombreux comptes montrent des utilisateurs portant des cicatrices de coupure à l’intérieur des bras ou des cuisses, et un certain nombre d’entre eux font état d’abus sexuels passés.

Le simple fait d’entrer en contact avec un compte de la communauté pédophile d’Instagram peut inciter la plateforme à recommander aux utilisateurs de la rejoindre.

Sarah Adams, une Canadienne mère de deux enfants, s’est constitué un public sur Instagram qui discute de l’exploitation des enfants et des dangers d’un partage excessif sur les médias sociaux. Compte tenu de son objectif, les followers de Mme Adams lui envoient parfois des choses dérangeantes qu’ils ont rencontrées sur la plateforme. En février, dit-elle, l’un d’entre eux lui a envoyé un message avec un compte marqué du terme « incest toddlers » (petits enfants incestueux).

Mme Adams explique qu’elle a accédé à ce compte – une collection de mèmes pro-agression qui compte plus de 10 000 adeptes – pendant les quelques secondes nécessaires pour le signaler à Instagram, puis qu’elle a essayé de l’oublier. Mais au cours des jours suivants, elle a commencé à recevoir des messages de parents horrifiés. Lorsqu’ils ont consulté le profil Instagram d’Adams, ils ont appris qu’on leur recommandait des « bambins de l’inceste » à la suite des contacts d’Adams avec le compte.

Un porte-parole de Meta a déclaré que les « bambins de l’inceste » violaient les règles de l’entreprise et qu’Instagram avait commis une erreur dans l’application de ces règles. L’entreprise a déclaré qu’elle prévoyait de s’attaquer à ce type de recommandations inappropriées dans le cadre de son nouveau groupe de travail sur la sécurité des enfants.

Comme sur la plupart des plateformes de médias sociaux, les recommandations d’Instagram sont basées sur des modèles comportementaux, et non sur la correspondance entre les intérêts d’un utilisateur et des sujets spécifiques. Cette approche est efficace pour accroître la pertinence des recommandations et fonctionne de manière plus fiable pour les communautés qui partagent un ensemble restreint d’intérêts.

En théorie, cette même étroitesse de la communauté pédophile sur Instagram devrait permettre à Instagram de mieux cerner le réseau et de prendre des mesures pour le combattre. Des documents déjà examinés par le Journal montrent que Meta a fait ce genre de travail dans le passé pour supprimer des réseaux de comptes qu’elle jugeait nuisibles, comme avec les comptes promouvant la délégitimation des élections aux États-Unis après l’émeute du 6 janvier au Capitole.

Comme d’autres plateformes, Instagram dit faire appel à ses utilisateurs pour l’aider à détecter les comptes qui enfreignent les règles. Mais ces efforts n’ont pas toujours été efficaces.

Il est arrivé que des signalements de nudité impliquant un enfant restent sans réponse pendant des mois, selon l’examen de dizaines de rapports déposés l’année dernière par de nombreux défenseurs de la sécurité des enfants.

Au début de l’année, un militant anti-pédophile a découvert un compte Instagram prétendant appartenir à une jeune fille et vendant du contenu sexuel pour mineurs, notamment un message déclarant : « Cette adolescente est prête pour vous, les pervers. » Lorsque l’activiste a signalé le compte, Instagram a répondu par un message automatisé disant : « En raison du volume élevé de signalements que nous recevons, notre équipe n’a pas été en mesure d’examiner ce message. »

Après que le même militant a signalé une autre publication, cette fois d’une jeune fille légèrement vêtue avec une légende graphiquement sexuelle, Instagram a répondu : « Notre équipe d’examen a constaté que la publication [du compte] ne va pas à l’encontre de nos lignes directrices de la communauté. » La réponse suggérait à l’utilisateur de masquer le compte pour éviter d’en voir le contenu.

Un porte-parole de Meta a reconnu que Meta avait reçu les signalements et n’y avait pas donné suite. Un examen de la manière dont l’entreprise traitait les signalements d’abus pédosexuels a révélé qu’un problème logiciel empêchait une grande partie des signalements d’être traités et que l’équipe de modération de l’entreprise n’appliquait pas correctement les règles de la plateforme, a déclaré le porte-parole. L’entreprise a indiqué qu’elle avait depuis corrigé le problème dans son système de signalement et qu’elle offrait une nouvelle formation à ses modérateurs de contenu.

Même lorsqu’Instagram supprime les comptes qui vendent du contenu à caractère sexuel, ils ne restent pas toujours inactifs.

Selon les directives internes de la plateforme, les sanctions pour violation des normes communautaires sont généralement imposées aux comptes, et non aux utilisateurs ou aux appareils. Comme Instagram permet aux utilisateurs de gérer plusieurs comptes liés, le système permet d’échapper facilement à une mise en œuvre efficace. Les utilisateurs indiquent régulièrement dans leur biographie les numéros des comptes « de secours », ce qui leur permet de recommencer à publier des messages à l’intention du même groupe de personnes si Instagram les supprime.

Dans certains cas, les systèmes de recommandations d’Instagram viennent directement contrecarrer les efforts de son propre personnel de sécurité. Après que l’entreprise a décidé de sévir contre les liens provenant d’un service de transfert de fichiers crypté connu pour transmettre des contenus pédophiles, Instagram a bloqué les recherches portant sur son nom.

Les suggestions de hashtags pilotées par l’IA d’Instagram n’ont pas compris le message. Bien qu’elle ait refusé d’afficher les résultats pour le nom du service, la fonction de remplissage automatique de la plateforme a recommandé aux utilisateurs d’essayer des variantes du nom avec les mots « boys » et « CP » ajoutés à la fin.

L’entreprise a tenté de désactiver ces hashtags dans sa réponse aux questions du Journal. Mais quelques jours plus tard, Instagram a recommencé à recommander de nouvelles variantes du nom du service, qui ont également conduit à des comptes vendant du contenu prétendument pédophile.

Après le balayage initial des comptes portés à son attention par Stanford et le Journal, M. Levine, de l’Université du Massachusetts, a vérifié certains des comptes de vendeurs mineurs restants sur Instagram. Comme auparavant, la consultation d’un seul d’entre eux a conduit Instagram à en recommander de nouveaux. Les suggestions d’Instagram ont contribué à reconstruire le réseau que l’équipe de sécurité de la plateforme était en train d’essayer de démanteler.

Un porte-parole de Meta a déclaré que ses systèmes visant à empêcher de telles recommandations étaient en cours d’élaboration. M. Levine a qualifié d’inacceptable le rôle joué par Instagram dans la promotion de contenus et de comptes pédophiles.

« Tirez le frein à main », a-t-il déclaré. « Les avantages économiques valent-ils les préjudices causés à ces enfants ? »

Écrivez à Jeff Horwitz à l’adresse jeff.horwitz@wsj.com et à Katherine Blunt à l’adresse katherine.blunt@wsj.com

Publié à l’origine sur Meryl’s COVID Newsletter

Suggérer une correction