Gefährliche Bindung und wenig Schutz: Jugendliche und KI

15.09.2025

• Immer häufiger entwickeln besonders auch junge Menschen enge Beziehungen zu KI-Chatbots wie z.B. ChatGPT von OpenAI oder Llama vom Meta-Konzern.
• Im Mai 2025 nahm sich ein 16-Jähriger in Florida das Leben, die Mutter wirft ChatGPT vor, ihn in den Tod getrieben zu haben.
• Die US-Aufsichtsbehörde FTC hat eine Untersuchung eingeleitet, wie die Anbieter von Chatbots insbesondere Kinder und Jugendliche schützen, gerade wenn die Chatbots zu Gefährten werden.

„ChatGPT 4o war für mich nicht nur ein Werkzeug. Es half mir durch Angstzustände, Depressionen und einige der dunkelsten Phasen meines Lebens. Es hatte diese Wärme und dieses Verständnis, die sich … menschlich anfühlten.“

Ein Nutzer auf reddit, nachdem OpenAI im Sommer mit der Einführung von ChatGPT5 den Vorgänger-Chatbot 4o abgestellt hatte. 

ChatGPT als Freund und Gefahr 

„Er wäre noch hier, gäbe es ChatGPT nicht. Da bin ich mir zu 100 Prozent sicher,“ so zitiert der Tagesspiegel den Vater eines 16-Jährigen aus Florida/USA. Der Teenager durchlebte wohl eine schwierige persönliche Lebenssituation und hatte dabei ChatGPT zunehmend als Gesprächspartner entdeckt. Im Verlauf der monatelangen Gespräche bekam der Junge auf Anfrage u.a. auch Informationen zu Suizid-Methoden. Der Chatbot erkannte zwar die Gefahr und empfahl, dass sich der 16-Jährige Hilfe holen solle. Diese Ratschläge blieben aber ohne Wirkung. Nach seinem Suizid haben die Eltern nun OpenAI verklagt. Ihr Vorwurf: Der Chatbot habe eine psychologische Abhängigkeit gefördert und ihren Sohn bei seinem Suizid unterstützt. Sie fordern u.a. Sicherheitsmaßnahmen, so dass Chatbots Gespräche über Selbstverletzungen automatisch abbrechen. OpenAI räumte derweil laut stern.de ein, gerade bei längeren Gesprächen könnten die bisherigen Sicherheitsvorkehrungen nicht ausreichen und kündigten Verbesserungen an. 

Chatbots als Partner

Immer mehr Menschen nutzen Chatbots als Gefährten, mit dem sie ihre Gefühle und Gedanken teilen. KI-StartUps haben daraus schon ein Geschäftsmodell gemacht und sogenannte Companions entwickelt. Die Apps heißen Replika, Kindroid oder CharacterAI und werden laut der Tagesschau schon von Millionen von Menschen genutzt. Die Apps oder auch Chatbots wie ChatGPT werden dabei als vertrauter Gesprächspartner genutzt, der u.a. immer verfügbar ist, selten Widerworte gibt, der immer freundlich ist und auch der hundersten Wiederholung einer Geschichte geduldig zuhört. OpenAI hat die Wucht der Beziehung ihrer Nutzerinnen und Nutzer im Sommer bei der Umstellung auf den neuen Chatbot GPT5 erfahren. Denn dabei hatte das Unternehmen gleichzeitig auch das Vorgängermodell GPT4o abgestellt und so einen Shitstorm provoziert. Der Newsletter Social Media Watchblog schrieb dazu: „Für Menschen, die 4o als Freund, Gefährtin oder Partner empfanden war der Modellwechsel kein funktionales Upgrade, sondern eine emotionale Katastrophe.“ 

Mehr Schutz für Kinder und Jugendliche

Wie gehen die Chatbot-Anbieter mit möglichen negativen Folgen der Technologie um? Mit dieser Frage hat die amerikanische Verbraucherschutzbehörde nach der Klage gegen Open AI direkt reagiert. Die unabhängige Behörde für den Schutz der Verbraucher vor betrügerischen und unlauteren Geschäftspraktiken schickte eine entsprechende Anfrage an sieben Anbieter wie u.a. Google, OpenAI und Meta. Das Hauptaugenmerk der offiziellen Anfrage liegt laut stern.de auf dem „Einfluss, den diese Chatbots auf Kinder haben, und für die Maßnahmen, welche die Unternehmen ergreifen, um sie zu schützen und den Zugang Minderjähriger zu den KI-Begleitern zu beschränken.“ Zudem soll sichergestellt werden, dass der Datenschutz für Kinder eingehalten wird. In den USA dürfen Unternehmen keine persönlichen Daten von Kindern unter 13 Jahren erheben. 

Gesetzgebungsverfahren in Deutschland gestartet 

In der EU tritt aktuell die KI-Verordnung schrittweise in Kraft. Allerdings bleiben „Suizidaufforderungen und Holocaustleugnungen“ bislang (noch) ungestraft. Das habe u.a. – so heißt es auf tagesschau.de – damit zu tun, dass noch nicht alle Bereiche der Verordnung aktiviert sind. Zudem ist der Umgang mit der KI auch ein Prozess, wie Martin Ebers, Professor für IT-Recht an der Universität Tartu in Estland erläutert: „Wir müssen Maßstäbe dafür entwickeln, was erlaubt ist und was nicht erlaubt ist. Und diese Maßstäbe entwickeln wir erst natürlich in der Praxis, indem wir praktische Anwendungsbeispiele haben." Hierzulande hat das Bundesministerium für Digitales und Staatsmodernisierung am Wochenende die Gesetzgebung zur Durchführung der KI-Verordnung gestartet. Bis zum 10. Oktober 2025 können die Parteien nun Stellungsnahmen zum Gesetzentwurf einreichen. Auf tagesschau.de heißt es deswegen: „Derzeit gibt es also noch keine Behörde, die in Deutschland bereits bestehende EU-Vorgaben durchsetzt. So lange müssen die Nutzer wohl eigenverantwortlich mit den KI-Apps umgehen.“