Der WEF und seine Partner behaupten, sich für die „digitale Sicherheit“ einzusetzen – aber das WSJ (Wall Street Journal) hat uns gerade gezeigt, dass der Partner Meta seine Kunden auf Seiten für sexuellen Kindesmissbrauch geleitet hat

Es ist nicht nur der Partner ein großes Problem (ich werde den WSJ-Artikel im Volltext zur Verfügung stellen), sondern „digitale Sicherheit“ ist auch ein Euphemismus für Zensur.

Die Auswirkungen beim Bieten von digitaler Sicherheit – laut dem Weltwirtschaftsforum

Das Koppeln von digitaler Identität mit einem Gesundheitspass bringt natürlich auch Problematiken, nämlich:

1. dass oft schnell zusätzliche Funktionen hinzugefügt werden müssen, die dann Ihr Leben und alle Transaktionen in ein verbundenes Netz einbinden
2. dass Ihre Online-Daten gestohlen werden können (insbesondere Ihre Gesundheits- und Bankdaten)
3. dass Ihr Geld nach Belieben abgeschaltet oder besteuert werden kann
4. dass Ihre Bewegungsfreiheit und Ihre Einkäufe eingeschränkt werden können
5. dass Ihr Kreis von Freunden und Partnern vermerkt wird und nachverfolgt werden kann
6. dass Ihre Familie für Verhaltensweisen, die den Kontrolleuren nicht gefallen, zur Verantwortung gezogen werden kann. In China entscheidet – so wurde es mir gesagt – die individuelle soziale Kreditwürdigkeit darüber, ob jemand eine Wohnung mieten oder kaufen kann oder ob Kinder eine gute Schule besuchen können.

Aber machen wir es uns schmackhaft: Hier geht es um Menschenrechte. Zwinker, zwinker.

Der Umgang mit gefährdenden Online-Inhalten ist ein komplexes Problem. Die Bekämpfung von sexuellem Missbrauch und Ausbeutung von Kindern, Terrorismus und Hassreden, Fehlinformationen und Inhalten im Zusammenhang mit Selbstverletzungen und Selbstmord ist eine ständige Herausforderung.

Da immer neue Technologien erhältlich werden, bleibt es unerlässlich, ein Gleichgewicht zwischen Sicherheit und Privatsphäre in der digitalen Welt und der freien Meinungsäußerung zu finden.

Das Anbieten von sicheren Online-Erfahrungen ist gleichermaßen wichtig für weltweite Unternehmen, zivilgesellschaftliche Gruppen sowie Einzelpersonen. Die Global Coalition for Digital Safety des Weltwirtschaftsforums bringt eine Gruppe führender Persönlichkeiten zusammen, um die Zusammenarbeit zwischen öffentlichem und privatem Sektor zu beschleunigen und gefährdende Inhalte und Verhaltensweisen im Internet zu bekämpfen.

Die Mitglieder der Koalition haben die Globalen Grundsätze für digitale Sicherheit entwickelt, die festlegen, wie die Menschenrechte in der digitalen Welt umgesetzt werden sollten. Die Arbeitsgruppe der Koalition umfasst Vertreter von Microsoft, WeProtect Global Alliance, Meta, Amazon, Google, OHCHR (Büro des UN-Hochkommissars für Menschenrechte), Ofcom UK und Global Partners Digital.

Die Grundsätze wurden im Rahmen von Konsultationen mit Regierungen und Regulierungsbehörden, den größten sozialen Medien- und Technologieplattformen, Sicherheitstechnologieunternehmen sowie Vertretern der Zivilgesellschaft und der Hochschulen entwickelt.

Die Grundsätze sollen allen Akteuren im digitalen Ökosystem als Leitfaden dienen, um die digitale Sicherheit auf politischer, industrieller und gesellschaftlicher Ebene zu fördern. Die Zusammenarbeit zwischen Regierungen, Unternehmen und den an zivilen und sozialen Initiativen Beteiligten ist erforderlich, um eine reale Wirkung zu erzielen.

Zusammengefasst beinhalten die Grundsätze Folgendes:

• Alle Unterstützer sollten zusammenarbeiten, um ein sicheres, vertrauenswürdiges und integratives Online-Umfeld zu schaffen. [Inklusive alles, was bekannt ist über Sie. -Nass]. Richtlinien und Entscheidungen sollten auf der Grundlage von Fakten, Erkenntnissen und unterschiedlichen Perspektiven getroffen werden. Transparenz ist wichtig, und Innovation sollte gefördert werden.
• Unterstützende Regierungen sollten zwischen illegalen Inhalten und Inhalten, die zwar legal, aber möglicherweise gefährdend sind, unterscheiden und alle Maßnahmen den Rechtlinien entsprechend differenzieren sowie sicherstellen, dass Gesetz und Politik alle Nutzerrechte respektieren und schützen. Sie sollten Opfer und Überlebende von Missbrauch oder Misshandlungen unterstützen.
• Anbieter von unterstützenden Online-Diensten sollten sich dazu verpflichten, Verantwortung für den Respekt von Menschenrechten zu tragen und entsprechende Richtlinien zu entwickeln; sie sollten auch gewährleisten, dass die Sicherheit im gesamten Unternehmen Priorität hat und bei der Entwicklung von Funktionen standardmäßig berücksichtigt wird: und sie sollten mit anderen Anbietern von Online-Diensten zusammenarbeiten. [Was zum Teufel ist denn eigentlich „Sicherheit“?]

In den Grundsätzen wird auch anerkannt, dass zivilgesellschaftliche Gruppen und Nichtregierungsorganisationen eine entscheidende Rolle bei der Förderung der digitalen Sicherheit und der Menschenrechte spielen; sie liefern wertvolle Erkenntnisse über die Auswirkungen der Online-Sicherheit – und der Online-Freiheit – auf Gemeinschaften und Einzelpersonen.

„Die Förderung der digitalen Sicherheit ist der Schlüssel, um die Menschen zu befähigen, das Beste aus der digitalen Welt zu machen. Diese Grundsätze wurden als praktikabler, positiver Schritt auf dem Weg zu einer sichereren digitalen Erfahrung für alle geschaffen, und Microsoft setzt sich weiterhin dafür ein, Lösungen zu finden, die dieses Ziel erreichen und die grundlegenden Menschenrechte respektieren.“

-Courtney Gregoire, Chief Digital Safety Officer, Microsoft

Die Grundsätze berücksichtigen und ergänzen bereits bestehende Prinzipien wie die Voluntary Principles to Counter Online Child Sexual Abuse and Exploitation (Freiwillige Grundsätze zur Bekämpfung des sexuellen Missbrauchs und der sexuellen Ausbeutung von Kindern im Internet), den Christchurch Call to eliminate terrorist and violent extremist content online (Aufruf von Christchurch zur Beseitigung terroristischer und gewalttätiger extremistischer Inhalte im Internet), die Santa Clara Principles (Grundsätze von Santa Clara), die Safety by Design-Prinzipien des australischen eSafety Commissioner, den Best-Practice-Rahmen der Digital Trust & Safety Partnership und viele andere.

„Regierungen, der Privatsektor und die Zivilgesellschaft spielen alle eine wichtige Rolle bei der Verhinderung von Missbrauch und Ausbeutung im Internet, insbesondere beim Schutz der schwächsten Mitglieder der Gesellschaft. Diese neuen Grundsätze bieten einen wichtigen Rahmen für eine wirksamere Reaktion auf Online-Probleme und Gefährdung, einschließlich unserer eigenen Arbeit zur Beendigung des sexuellen Kindesmissbrauchs im Internet.“

– Iain Drennan, Geschäftsführender Direktor, WeProtect Global Alliance

Meta (der neue Name für Facebook) war ein wichtiger Partner des WEF (siehe oben) zur Förderung der digitalen Sicherheit. Nichtsdestoweniger hat Meta, dem ja Instagram gehört, pädophile Netzwerke auf seiner Plattform ermöglicht, wie detaillierte Untersuchungen der Mitarbeiter des Stanford Internet Observatory zeigen (und diese Zensoren sollten es wissen) und wie auch Untersuchungen eines U-Mass Professors sowie die von Experten der digitalen Landschaft (wie Alex Stamos, der das Stanford-Programm gegründet hat und leitet) ergeben haben. Das Wall Street Journal ist sehr tief in die Materie eingetaucht und lässt Meta keinen Raum, sich aus der Sache herauszuwinden. Da sich das WSJ hinter einer Bezahlschranke befindet, werde ich den gesamten Artikel vom 7. Juni unten zur Verfügung stellen.

https://www.wsj.com/articles/instagram-vast-pedophile-network-4ab7189

Instagram, die beliebte Social-Media-Webseite, die zu Meta Platforms gehört, hilft dabei, ein riesiges Netzwerk von Konten zu verbinden und zu fördern, die sich offen der Beauftragung und dem Kauf von minderjährigen sexuellen Inhalten widmen, wie Untersuchungen des Wall Street Journal und Untersuchungen von Forschern der Stanford University sowie der University of Massachusetts Amherst zeigen.

Pädophilen nutzen das Internet schon seit langem, aber im Gegensatz zu Foren und Dateitransferdiensten, die sich an Menschen mit Interesse an illegalen Inhalten richten, ist Instagram nicht nur Host von solchen Aktivitäten. Seine Algorithmen fördern sie auch. Instagram verbindet Pädophile und führt sie über Empfehlungssysteme zu Anbietern von Inhalten, die sich dadurch auszeichnen, dass sie diejenigen miteinander verbinden, die Nischeninteressen teilen, so die Ergebnisse der Zeitschrift und der Forscher.

Obwohl sie für die meisten Nutzer der Plattform nicht sichtbar sind, zeigen die sexualisierten Konten auf Instagram schamlos ihr Interesse. Die Forscher fanden heraus, dass Instagram es den Nutzern ermöglichte, nach expliziten Hashtags wie #pedowhore und #preteensex zu suchen und sie mit Konten zu verbinden, die diese Begriffe verwendeten, um für den Verkauf von kindersexuellem Material zu werben. Solche Konten geben oft vor, von den Kindern selbst betrieben zu werden, und verwenden offenkundig sexuelle Handles mit Worten wie „kleine Schlampe für dich“

Instagram-Konten, die den Verkauf von illegalem Sex-Material anbieten, veröffentlichen es in der Regel nicht offen, sondern stellen stattdessen „Menüs“ mit Inhalten auf. Bestimmte Konten laden Käufer dazu ein, gewisse Handlungen in Auftrag zu geben. Einige Menüs enthalten Preise für Videos von Kindern, die sich selbst verletzen, und „Bilder von Minderjährigen, die sexuelle Handlungen mit Tieren vollziehen“, fanden Forscher des Stanford Internet Observatory heraus. Für den richtigen Preis sind Kinder für persönliche „Treffen“ verfügbar. Die Förderung sexueller Inhalte für Minderjährige verstößt sowohl gegen die von Meta aufgestellten Regeln als auch gegen Bundesgesetze.

In Beantwortung von Fragen des Journals räumte Meta Probleme bei der Durchsetzung der Vorschriften ein und erklärte, es habe eine interne Arbeitsgruppe eingerichtet, die sich mit den angesprochenen Problemen befassen soll. „Die Ausbeutung von Kindern ist ein schreckliches Verbrechen“, sagte das Unternehmen und fügte hinzu: „Wir suchen ständig nach Wegen, um uns aktiv gegen dieses Verhalten zu wehren.“

Meta hat nach eigenen Angaben in den letzten zwei Jahren 27 pädophile Netzwerke aus dem Verkehr gezogen und plant weitere Löschungen. Seit Erhalt der WSJ-Anfragen hat die Plattform nach eigenen Angaben Tausende von Hashtags blockiert, die Kinder sexualisieren, einige mit Millionen von Beiträgen, und ihre Systeme daran gehindert, Nutzern die Suche nach Begriffen zu empfehlen, die bekanntermaßen mit sexuellem Missbrauch in Verbindung stehen. Die Plattform erklärte, dass sie auch daran arbeitet, ihre Systeme daran zu hindern, potenziell pädophilen Erwachsenen zu empfehlen, miteinander in Kontakt zu treten oder mit den Inhalten der anderen zu interagieren.

Alex Stamos, Leiter des Stanford Internet Observatory und bis 2018 Chief Security Officer von Meta, sagte, dass selbst offensichtlicher Missbrauch nur durch anhaltende Bemühungen unter Kontrolle gebracht werden kann.

„Dass ein Team von drei Akademikern mit beschränktem Zugang ein so großes Netzwerk finden konnte, sollte bei Meta Alarm auslösen“, sagte er und merkte an, dass das Unternehmen über weitaus effektivere Instrumente verfügt, um sein pädophiles Netzwerk abzubilden, als es Außenstehende tun können. „Ich hoffe, dass das Unternehmen wieder in menschliche Ermittler investiert“, fügte er hinzu.

Technische und rechtliche Hürden machen es für jeden, der nicht zu Meta gehört, schwierig, das volle Ausmaß des Netzwerks genau zu bestimmen.

Da die Gesetze im Zusammenhang mit kindersexuellen Inhalten extrem weit gefasst sind, ist selbst die Untersuchung der offenen Förderung dieser Inhalte auf einer öffentlichen Plattform rechtlich heikel.

Für seine Berichterstattung hat das Wall Street Journal akademische Experten für die Sicherheit von Kindern im Internet konsultiert. Das Internet Observatory in Stanford, eine Abteilung des Cyber Policy Center der Universität, die sich mit dem Missbrauch sozialer Medien befasst, erstellte eine unabhängige quantitative Analyse der Instagram-Funktionen, die den Nutzern helfen können, sich zu verbinden und Inhalte zu finden.

Das Journal wandte sich auch an das Rescue Lab von UMass, welches untersuchte, wie Pädophile auf Instagram in die größere Welt der Online-Kinderausbeutung passen. Mit unterschiedlichen Methoden konnten beide Einrichtungen schnell große Gemeinschaften identifizieren, die kriminellen sexuellen Missbrauch fördern.

Von den Forschern eingerichtete Testkonten, die sich ein einzelnes Konto im Netzwerk ansahen, wurden sofort mit „für dich vorgeschlagenen“-Empfehlungen von angeblichen Verkäufern und Käufern von kindersexuellen Inhalten konfrontiert sowie mit Konten, die zu plattformfremden Handelsplattformen verlinkten. Es genügte, einer Handvoll dieser Empfehlungen zu folgen, um ein Testkonto mit Inhalten zu überfluten, die Kinder sexualisieren.

Das Stanford Internet Observatory verwendete Hashtags, die mit minderjährigem Sex in Verbindung gebracht wurden, um 405 Verkäufer von – wie die Forscher es nannten – „selbsterstelltem“ kindersexuellem Material zu finden, d. h. Konten, die angeblich von Kindern selbst betrieben wurden, von denen einige angaben, sie seien erst 12 Jahre alt. Den Daten zufolge, die mit Maltego, einer Software zur Darstellung von Netzwerken gesammelt wurden, hatten 112 dieser Verkäuferkonten zusammen 22.000 eindeutige Follower.

Die Ersteller und Käufer minderjähriger Sex-Inhalte sind nur ein Teil eines größeren Ökosystems, das sich mit sexualisierten Kinderinhalten befasst. Andere Konten in der pädophilen Community auf Instagram aggregieren pro-pädophile Memes oder diskutieren ihren Zugang zu Kindern. Aktuelle und ehemalige Meta-Mitarbeiter, die an Instagram-Initiativen zur Kindersicherheit gearbeitet haben, schätzen, dass die Zahl der Konten, die hauptsächlich dazu dienen, solchen Inhalten zu folgen, in die Hunderttausende, wenn nicht sogar in die Millionen geht.

Ein Meta-Sprecher sagte, dass das Unternehmen aktiv versucht, solche Nutzer zu entfernen und allein im Januar 490.000 Konten wegen Verletzung der Kindersicherheitsrichtlinien gelöscht hat.

„Instagram ist ein Sprungbrett zu Stellen im Internet, an denen es expliziteren sexuellen Missbrauch von Kindern gibt“, sagte Brian Levine, Direktor des UMass Rescue Lab, das die Viktimisierung von Kindern im Internet erforscht und forensische Instrumente zu deren Bekämpfung entwickelt. Levine ist Autor eines Berichts über die Ausbeutung von Kindern im Internet aus dem Jahr 2022, der für das National Institute of Justice, dem Forschungsarm des Justizministeriums, erstellt wurde.

Instagram, das schätzungsweise mehr als 1,3 Milliarden Nutzer hat, ist besonders bei Jugendlichen beliebt. Die Stanford-Forscher fanden ähnliche sexuell ausbeuterische Aktivitäten auf anderen, kleineren sozialen Plattformen, stellten aber fest, dass das Problem auf Instagram besonders gravierend ist. „Die wichtigste Plattform für diese Netzwerke von Käufern und Verkäufern scheint Instagram zu sein“, schreiben sie in einem Bericht, der am 7. Juni veröffentlicht werden soll.

Instagram sagte, dass seine internen Statistiken zeigen, dass seine Nutzer Ausbeutung von Kindern in weniger als einem von 10.000 gesehenen Beiträgen sehen.

Die Bemühungen der Social-Media-Plattformen und der Strafverfolgungsbehörden zur Bekämpfung der Verbreitung von Kinderpornografie im Internet konzentrieren sich weitgehend auf die Jagd nach bestätigten Bildern und Videos – bekannt als Materialen zum sexuellen Kindesmissbrauch (oder als CSAM) – und von denen man bereits weiß, dass sie im Umlauf sind. Das National Center for Missing & Exploited Children (Nationales Zentrum für vermisste und ausgebeutete Kinder), eine gemeinnützige US-Organisation, die mit den Strafverfolgungsbehörden zusammenarbeitet, unterhält eine Datenbank mit digitalen Fingerabdrücken solcher Bilder und Videos sowie eine Plattform für den Austausch solcher Daten zwischen Internetunternehmen.

Die Algorithmen der Internetunternehmen vergleichen die digitalen Fingerabdrücke der auf ihren Plattformen veröffentlichten Bilder mit denen auf dieser Liste und melden dem Zentrum, wenn sie solche Bilder entdecken, so wie es das US-Bundesgesetz vorschreibt. Im Jahr 2022 erhielt das Zentrum 31,9 Millionen Meldungen über Kinderpornografie, hauptsächlich von Internetunternehmen – 47 % mehr als zwei Jahre zuvor.

Meta, mit mehr als 3 Milliarden Nutzern in seinen Apps, zu denen Instagram, Facebook und WhatsApp gehören, ist in der Lage, diese Art von bekannten Bildern zu erkennen, wenn sie nicht verschlüsselt sind. Auf Meta entfielen 85 % der Kinderpornografie-Meldungen, die dem Zentrum übermittelt wurden, darunter etwa 5 Millionen von Instagram.

Metas automatisches Screening für bestehende Inhalte zur Ausbeutung von Kindern kann allerdings keine neuen Bilder oder Bemühungen für deren Verkauf erkennen. Um solche Aktivitäten zu verhindern und aufzudecken, müssen nicht nur die Meldungen der Nutzer überprüft, sondern auch pädophile Netzwerke aufgespürt und gestört werden, sagen aktuelle und ehemalige Mitarbeiter sowie die Forscher aus Stanford. Ziel ist es, es diesen Nutzern zu erschweren, miteinander in Verbindung zu treten, Inhalte zu finden und Opfer zu rekrutieren.

Diese Arbeit ist von entscheidender Bedeutung, da den Strafverfolgungsbehörden die Mittel fehlen, um mehr als einen winzigen Teil der Hinweise zu untersuchen, die beim NCMEC eingehen, laut Levine von der UMass. Das bedeutet, dass die Plattformen in erster Linie dafür verantwortlich sind, zu verhindern, dass sich eine Community bildet und der sexuelle Missbrauch von Kindern normalisiert wird.

Meta hat mit diesen Bemühungen mehr zu kämpfen als andere Plattformen, sowohl wegen der schwachen Strafverfolgung als auch wegen der schwachen Design-Features zur Entdeckung von legalen und illegalen Inhalten, fand die Stanford-Studie.

Das Stanford-Team fand auf Twitter 128 Konten, die den Verkauf von Materialen zum sexuellen Kindesmissbrauch anboten. Das ist weniger als ein Drittel der Zahl, die sie auf Instagram fanden, welche aber auch eine weitaus größere Nutzerbasis hat als Twitter. Twitter empfahl solche Konten nicht in gleichem Maße wie Instagram und löschte sie viel schneller, fand das Team heraus.

Von den anderen Plattformen, die bei jungen Leuten beliebt sind, wird Snapchat hauptsächlich für Direktnachrichten genutzt und trägt daher nicht zum Aufbau von Netzwerken bei. Und TikTok ist eine Plattform, auf der sich diese Art von Inhalten nicht zu verbreiten scheint“, so der Stanford-Bericht.

Twitter reagierte nicht auf Bitten um eine Stellungnahme. TikTok und Snapchat lehnten eine Stellungnahme ab.

David Thiel, Cheftechnologe am Stanford Internet Observatory, sagte: „Das Problem von Instagram liegt in den Funktionen zum Auffinden von Inhalten, in der Art und Weise, wie Themen empfohlen werden, und darin, wie sehr sich die Plattform auf die Suche und Links zwischen Konten verlässt.“ Thiel, der zuvor bei Meta an Sicherheitsfragen gearbeitet hat, fügte hinzu: „Man muss Leitplanken aufstellen, damit etwas, das so wachstumsintensiv ist, auch nominell sicher ist, und das hat Instagram nicht getan. “

Die Plattform hat Schwierigkeiten, eine grundlegende Technologie zu überwachen: nämlich Schlüsselwörter. Hashtags sind ein zentraler Bestandteil der Inhaltssuche auf Instagram. Sie ermöglichen es den Nutzern, Beiträge zu markieren und zu finden, die für eine bestimmte Community von Interesse sind – von allgemeinen Themen wie #mode oder #nba bis hin zu engeren wie #stickerei oder #spelunking.

Ein vom Stanford Internet Observatory aufgenommener Screenshot zeigt die Warnung und Durchklick-Option bei der Suche nach einem Hashtag mit Pädophilie-Bezug auf Instagram. Bild: Stanford Internet Observatory

Auch Pädophile haben ihre eigenen Hashtags. Suchbegriffe wie #pedobait und Variationen von #mnsfw („minor not safe for work“) wurden verwendet, um Tausende von Beiträgen zu markieren, die Sex-Inhalte mit Kindern anpreisen, so dass sie von Käufern leicht gefunden werden können, fanden die Forscher heraus. Auf Anfrage des Wall Street Journals erklärte Meta, dass es dabei sei, solche Begriffe zu verbieten.

In vielen Fällen hat Instagram seinen Nutzern erlaubt, nach Begriffen zu suchen, von denen die eigenen Algorithmen wissen, dass sie mit illegalem Material in Verbindung gebracht werden können. In solchen Fällen warnte ein Pop-up-Fenster die Nutzer: „Diese Ergebnisse können Bilder von sexuellem Kindesmissbrauch enthalten“, und wies darauf hin, dass die Produktion und der Konsum von solchen Materialen Kindern „extremen Schaden“ zufügt. Der Bildschirm bot den Nutzern zwei Optionen: „Ressourcen abrufen“ und „Ergebnisse trotzdem ansehen“

Als Reaktion auf die Fragen des Wall Street Journals entfernte Instagram die Option, die es Nutzern ermöglichte, Suchergebnisse für Begriffe zu sehen, die wahrscheinlich illegale Bilder enthalten. Das Unternehmen lehnte es ab zu sagen, warum es diese Option angeboten hatte.

Die pädophilen Konten auf Instagram mischen Unverfrorenheit mit oberflächlichen Bemühungen, ihre Aktivitäten zu verschleiern, fanden die Forscher heraus. Bestimmte Emojis fungieren als eine Art Code, z. B. das Bild einer Landkarte – eine Abkürzung für „minderjährige Person“ – oder das Bild einer „Käsepizza“, die ihre Initialen mit „Kinderpornografie“ teilt, laut Levine von der UMass. Viele deklarieren sich als „Liebhaber der kleinen Dinge des Lebens“

Die Konten bezeichnen sich selbst als „Verkäufer“ oder „s3ller“, und viele geben in ihren Biografien ihre bevorzugte Zahlungsform an. Die Konten der Verkäufer vermitteln oft das vermeintliche Alter des Kindes, indem sie sagen, es sei „auf Kapitel 14“ oder „31 Jahre alt“, gefolgt von einem Emoji mit einem umgekehrten Pfeil.

Einige der Konten enthielten Hinweise auf Sexhandel, laut Levine von der UMass, z. B. eines, das einen Teenager mit dem Wort HURE im Gesicht zeigt.

Einige Nutzer, die behaupten, selbst-produzierte Sex-Inhalte zu verkaufen, sagen, sie seien „gesichtslos“ – sie bieten nur Bilder vom Hals abwärts an -, weil sie in der Vergangenheit Erfahrungen gemacht haben, bei denen sie von Kunden gestalkt oder erpresst wurden. Andere gehen das Risiko ein und verlangen einen Aufpreis für Bilder und Videos, die ihre Identität preisgeben könnten, indem sie ihr Gesicht zeigen.

Viele der Konten zeigen Nutzer mit Schnittnarben auf der Innenseite ihrer Arme oder Oberschenkel, und eine Reihe von ihnen geben an, in der Vergangenheit sexuell missbraucht worden zu sein.

Selbst ein flüchtiger Kontakt mit einem Konto in der pädophilen Community von Instagram kann dazu führen, dass die Plattform beginnt, Nutzer zu empfehlen, sich ihr anzuschließen.

Sarah Adams, eine kanadische Mutter von zwei Kindern, hat sich auf Instagram ein Publikum aufgebaut, das die Ausbeutung von Kindern und die Gefahren des „Oversharing“ in den sozialen Medien diskutiert. Aufgrund ihres Themenschwerpunkts schicken Adams‘ Follower ihr manchmal beunruhigende Dinge, die sie auf der Plattform entdeckt haben. Im Februar, sagte sie, schickte ihr jemand eine Nachricht mit einem Konto, das mit dem Begriff „Inzest-Kleinkinder“ gebrandmarkt war

Adams sagte, sie habe das Konto – eine Sammlung von Inzest-Memes mit mehr als 10.000 Anhängern – nur für die wenigen Sekunden aufgerufen, die sie brauchte, um es an Instagram zu melden, und hat dann versucht, es zu vergessen. Doch im Laufe der nächsten Tage hörte sie immer wieder von entsetzten Eltern. Als diese sich Adams‘ Instagram-Profil ansahen, wurde ihnen „Inzest-Kleinkinder“ empfohlen, und das nur weil Adams den kurzen Kontakt mit dem Konto hatte.

Ein Meta-Sprecher sagte, dass „Inzest-Kleinkinder“ gegen die Regeln des Unternehmens verstoßen habe und dass Instagram bei der Algorithmen–Durchsetzung einen Fehler gemacht habe. Das Unternehmen sagte, es plane, solche unangemessenen Empfehlungen im Rahmen seiner neuen Kindersicherheits-Taskforce anzugehen.

Wie bei den meisten Social-Media-Plattformen basieren die Empfehlungen von Instagram im Wesentlichen auf Verhaltensmustern und nicht auf der Zuordnung der Interessen eines Nutzers zu bestimmten Themen. Dieser Ansatz ist effizient, um die Relevanz der Empfehlungen zu erhöhen, und er funktioniert am zuverlässigsten für Gemeinschaften, die eine enge Gruppe von Interessen teilen.

Theoretisch sollte es die enge Community von Pädophilen auf Instagram für Instagram einfacher machen, das Netzwerk zu kartieren und Maßnahmen zu seiner Bekämpfung zu ergreifen. Aus Dokumenten, die das Wall Street Journal gesehen hat, geht hervor, dass Meta diese Art von Arbeit in der Vergangenheit geleistet hat, um Konten-Netzwerke zu unterdrücken, die es für gefährdend hält, wie z. B. bei Konten, die die Delegitimierung der Wahlen in den USA nach dem Aufruhr im Kapitol am 6. Januar propagierten.

Wie andere Plattformen auch, bittet Instagram nach eigenen Angaben seine Nutzer um Hilfe bei der Erkennung von Konten, die gegen die Regeln verstoßen. Aber diese Bemühungen sind nicht immer wirksam.

Manchmal blieben Meldungen von Nutzern in Bezug auf Nacktbildern mit Kindern monatelang unbeantwortet, wie eine Auswertung zahlreicher Meldungen ergab, die im letzten Jahr von zahlreichen Kinderschutzorganisationen eingereicht wurden.

Anfang dieses Jahres entdeckte ein Anti-Pädophilie-Aktivist ein Instagram-Konto, das angeblich einem Mädchen gehörte, das minderjährige sexuelle Inhalte verkaufte, darunter einen Beitrag, in dem es hieß: „Dieser Teenager ist bereit für euch Perverse“ . Als der Aktivist das Konto meldete, antwortete Instagram mit einer automatischen Nachricht, die besagte: „Aufgrund der hohen Anzahl an Meldungen, die wir erhalten, war unser Team nicht in der Lage, diesen Beitrag zu überprüfen.“

Nachdem derselbe Aktivist einen weiteren Beitrag gemeldet hatte, der ein spärlich bekleidetes junges Mädchen mit einer grafisch sexuellen Bildunterschrift zeigte, antwortete Instagram: „Unser Überprüfungsteam hat festgestellt, dass der Beitrag [des Kontos] nicht gegen unsere Gemeinschaftsrichtlinien verstößt. Die Antwort schlug dem Nutzer vor, das Konto zu verstecken, um den Inhalt nicht zu sehen.

Ein Meta-Sprecher bestätigte, dass Meta die Berichte erhalten und nicht darauf reagiert hatte. Eine Überprüfung der Art und Weise, wie das Unternehmen mit Berichten über sexuellen Kindesmissbrauch umging, ergab, dass ein Softwarefehler die Bearbeitung eines Großteils der Nutzerberichte verhinderte und dass das Moderationspersonal des Unternehmens die Regeln der Plattform nicht richtig durchsetzte, so der Sprecher. Das Unternehmen teilte mit, dass es den Fehler in seinem Meldesystem inzwischen behoben hat und neue Schulungen für seine Moderatoren anbietet.

Selbst wenn Instagram Konten, die minderjährige sexuelle Inhalte verkaufen, entfernt, bleiben sie nicht immer verschwunden.

Nach den internen Richtlinien der Plattform werden Strafen für Verstöße gegen die Gemeinschaftsstandards in der Regel für Konten verhängt, nicht für Nutzer oder Geräte. Da Instagram seinen Nutzern erlaubt, mehrere verknüpfte Konten zu führen, macht es das System leicht, sich einer sinnvollen Strafverfolgung zu entziehen. Nutzer führen regelmäßig die Handles von „Backup“-Konten in ihren Biografien auf, so dass sie einfach wieder an dieselbe Gruppe von Followern posten können, wenn Instagram sie entfernt.

In einigen Fällen untergraben die Empfehlungssysteme von Instagram direkt die Bemühungen der eigenen Sicherheitsmitarbeiter. Nachdem das Unternehmen beschlossen hatte, gegen Links von einem bestimmten verschlüsselten Dateitransferdienst vorzugehen, der für die Übertragung von kindersexuellen Inhalten berüchtigt ist, blockierte Instagram die Suche nach seinem Namen.

Die KI-gesteuerten Hashtag-Vorschläge von Instagram haben die Nachricht nicht erhalten. Obwohl die Plattform sich weigerte, Ergebnisse für den Namen des Dateitransferdienstes anzuzeigen, empfahl die Autofill-Funktion der Plattform den Nutzern, Variationen des Namens mit den Worten „boys“ und „CP“ am Ende zu versuchen.

Das Unternehmen versuchte, diese Hashtags in seiner Antwort auf die Anfragen des Wall Street Journals zu deaktivieren. Doch innerhalb weniger Tage empfahl Instagram wieder neue Variationen des Namens des Dienstes, die ebenfalls zu Konten führten, die angeblich minderjährige sexuelle Inhalte verkauften.

Nachdem das Unternehmen die Konten, auf die es durch Stanford und das Wall Street Journal aufmerksam gemacht wurde, zunächst gelöscht hatte, überprüfte Levine von UMass einige der verbleibenden Konten von Verkäufern minderjähriger Inhalte auf Instagram. Wie zuvor führte das Betrachten auch nur eines dieser Konten dazu, dass Instagram neue Konten empfahl. Die Vorschläge von Instagram trugen dazu bei, das Netzwerk wieder aufzubauen, das das Sicherheitspersonal der Plattform selbst gerade zu zerschlagen versuchte.

Ein Meta-Sprecher sagte, dass die Systeme zur Verhinderung solcher Empfehlungen derzeit aufgebaut werden. Levine bezeichnete die Rolle von Instagram bei der Förderung pädophiler Inhalte und Konten als inakzeptabel.

„Ziehen Sie die Notbremse“, sagte er. „Sind die wirtschaftlichen Vorteile den Schaden für diese Kinder wert?“

Schreiben Sie an Jeff Horwitz unter jeff.horwitz@wsj.com und Katherine Blunt unter katherine.blunt@wsj.com

Ursprünglich veröffentlicht auf Meryl’s COVID Newsletter

Korrektur vorschlagen