Das Geschäftsmodell und die Funktionsweise von TikTok stellen eine Gefahr für junge Nutzer*innen der Plattform dar, da ihnen aufgrund von Empfehlungen in ihrem Feed Inhalte über Depressionen und Suizid angezeigt werden, die bestehende psychische Probleme verschlimmern könnten. Dies geht aus zwei neuen Berichten von Amnesty International hervor.
Die beiden Berichte Driven into the Darkness: How TikTok Encourages Self-harm and Suicidal Ideation und I Feel Exposed: Caught in TikTok’s Surveillance Web machen auf Menschenrechtsverstöße aufmerksam, denen minderjährige und jugendliche TikTok-Nutzer*innen ausgesetzt sind. Die Berichte zeigen auf, inwiefern diese Verstöße dem Geschäftsmodell und der Funktionsweise der Plattform geschuldet sind.
Die Erkenntnisse stammen aus einer gemeinsamen technischen Untersuchung von Amnesty International, dem Algorithmic Transparency Institute (ATI) und der National Conference on Citizenship and AI Forensics.
„Die Berichte entlarven die manipulative und süchtig machende Art und Weise, wie TikTok-Feeds gestaltet sind. Diese zielen darauf ab, Nutzer*innen so lange wie möglich auf der Plattform zu halten, so Lisa Dittmer, Research-Expertin bei Amnesty International.
Die Funktionsweise von TikTok und dessen aufgrund der eigenen Algorithmen angezeigten Empfehlungen, [...] können Kinder und Jugendliche mit bestehenden psychischen Problemen ernsten Gefahren aussetzen.
Lisa Dittmer, Research-Expertin bei Amnesty International
Für die technischen Recherchen wurden mehr als dreißig automatisierte Konten eingerichtet, die vermeintlich 13-jährigen Nutzer*innen in Kenia und den USA gehörten, um die Auswirkungen der algorithmischen Empfehlungen auf junge Nutzer*innen zu erfassen. Eine zusätzliche manuell durchgeführte Simulation umfasste je ein Konto in Kenia, den Philippinen und den USA.
Der Bericht Driven into the Darkness: How TikTok Encourages Self-harm and Suicidal Ideation erläutert, wie TikTok riskiert, psychische Probleme wie Depressionen, Angstzustände und Selbstverletzung noch weiter zu verstärken.
Der ‘For You‘-Feed von TikTok ist eine hochgradig personalisierte Seite, durch die man endlos weiter scrollen kann. Sie enthält algorithmisch empfohlene Inhalte, die das System nach den mutmaßlichen Interessen der Nutzer*innen auswählt.
Die technischen Recherchen ergaben, dass der Feed nach nur 5-6 Stunden auf der Plattform fast zur Hälfte aus Videos über psychische Gesundheit bestand, die potenziell schädliche Inhalte aufwiesen – das sind zehnmal mehr einschlägige Videos als bei Konten, die kein Interesse an Inhalten bezüglich geistiger Gesundheit zeigten.
Diese Abwärtsspirale trat sogar noch schneller ein, wenn die Videos über psychische Gesundheit, die den Testkonten der vermeintlichen 13-jährigen Nutzer*innen in Kenia, den Philippinen und den USA vorgeschlagen wurden, von den Amnesty-Expert*innen erneut angeklickt und angesehen wurden.
Nach nur drei bis 20 Minuten bestand der ‘For You‘-Feed mit dieser Methode zu mehr als der Hälfte aus Videos, die psychische Probleme thematisierten. Innerhalb einer Stunde wurden zahlreiche empfohlene Videos angezeigt, die Suizid normalisierten oder romantisierten.
Die Gestaltung der TikTok-Plattform fördert die ungesunde Nutzung der App. „Unsere Recherchen zeigen, dass TikTok Jugendliche ernsthaften Gesundheitsrisiken aussetzt, wenn es sein derzeitiges Geschäftsmodell beibehält, das mehr darauf ausgerichtet ist, die Augen auf der Plattform zu halten, als das Recht auf Gesundheit von Kindern und Jugendlichen zu respektieren", sagte Lisa Dittmer, Research-Expertin bei Amnesty International.
Die Recherchen von Amnesty International zeigen, dass das Geschäftsmodell von TikTok von Natur aus missbräuchlich ist und die Nutzer*innen belohnt, um sie an die Plattform zu binden und immer mehr Daten über sie zu sammeln. Außerdem wendet TikTok seine Schutzmaßnahmen nur in bestimmten Teilen der Welt an, so dass einige Kinder und Jugendliche der ausbeuterischen Datensammlung noch stärker ausgesetzt sind als andere.
*Luis, ein 21-jähriger Student in Manila, bei dem eine bipolare Störung diagnostiziert wurde, berichtete Amnesty International über seine Erfahrung mit dem ‘For You‘-Feed von TikTok.
Amnesty fordert, dass TikTok, nicht nur in Europa, die Rechte all seiner jüngeren Nutzer*innen respektiert, indem es jegliche gezielte Werbung verbietet, die sich an Personen unter 18 Jahren weltweit richtet. Außerdem solle der "For You"-Feed nicht standardmäßig personalisiert werden. Stattdessen sollen die Nutzer*innen die Möglichkeit haben, aktiv zu entscheiden, welche Interessen ihre Inhaltsempfehlungen beeinflussen, und zwar auf der Grundlage ihrer informierten Zustimmung und wenn sie einen personalisierten Feed wünschen.
Als Reaktion auf die Recherchen von Amnesty International verwies TikTok auf seine Community-Richtlinien, in denen festgelegt ist, welche Arten von Inhalten verboten sind und daher von der Plattform entfernt werden, wenn sie gemeldet oder anderweitig identifiziert werden Dazu gehört ein Verbot von Inhalten, die „Suizid und Selbstverletzung zeigen, fördern oder Anleitungen dazu geben, sowie damit zusammenhängende Herausforderungen, Mutproben und Spiele, die „Suizid- und Selbstverletzungshandlungen zeigen oder fördern" und "Pläne für Suizid und Selbstverletzung teilen".
TikTok erklärte außerdem, dass ein Prozess eingeleitet wurde, einen „unternehmensweiten Prozess der menschenrechtlichen Sorgfaltspflicht zu entwickeln, der die Durchführung regelmäßiger Bewertungen der Auswirkungen auf die Menschenrechte beinhaltet." Das Unternehmen machte jedoch keine Angaben dazu, welche spezifischen Risiken für die Menschenrechte von Minderjährigen und jungen Nutzer*innen es identifiziert hat. Dass TikTok derzeit keine unternehmensweite menschenrechtliche Sorgfaltsprüfung durchführt, ist ein klares Versäumnis des Unternehmens, seine Verantwortung für die Achtung der Menschenrechte wahrzunehmen.
*Francis, ein 18-jähriger Schüler in der Provinz Batangas auf den Philippinen.
Beide genannten Berichte ergänzen die Beweise, die in früheren Rechercheberichten von Amnesty International untersucht wurden. Der Bericht Surveillance Giants hat gezeigt, dass das Geschäftsmodell von Facebook und Google mit dem Recht auf Privatsphäre unvereinbar ist und eine Reihe anderer Rechte bedroht, darunter das Recht auf freie Meinungsäußerung, Gedankenfreiheit und das Recht auf Gleichheit und Nichtdiskriminierung.
Die Berichte von Amnesty International Myanmar: The Social Atrocity: Meta and the right to remedy for the Rohingya und Ethiopia: Meta’s failures contributed to abuses against Tigrayan community during conflict in northern Ethiopia zeigen, wie das Geschäftsmodell der Facebook-Plattform durch die Verbreitung extremer Inhalte, die zu Gewalt, Hass und Diskriminierung aufstacheln, verheerende Auswirkungen haben kann und so letztlich zu schweren Menschenrechtsverletzungen und -verstößen beitragen kann.
Zusammen bilden diese Berichte die Beweisbasis der globalen Kampagne von Amnesty International für die Rechenschaftspflicht von Unternehmen und die Wiedergutmachung von Menschenrechtsverletzungen im Zusammenhang mit dem überwachungsbasierten Geschäftsmodell von Meta, Google, TikTok und anderen „Big Tech"-Plattformen.
Ein Teilnehmer der Fokusgruppe erklärte: „Die Inhalte, die ich sehe, kurbeln meine Gedankenspirale [noch] weiter an, z. B. Videos, in denen jemand krank ist oder sich selbst diagnostiziert. Das wirkt sich auf meine psychische Verfassung aus. Ich habe das Gefühl, dieselben Symptome zu haben, und meine Ängste werden schlimmer. Und ich suche sie [die Videos] nicht einmal heraus, sie erscheinen einfach in meinem Feed.“
*Joyce, eine 21-jährige Frau auf den Philippinen, sagte: "Ich habe es [TikTok] eine Zeit lang gelöscht, weil ich sehr süchtig danach war... Ich habe so viele Stunden auf TikTok verbracht, nur um durch die Videos zu scrollen, weil ich immer wieder wissen wollte, was als Nächstes kommt, wenn man nach unten scrollt."
)