Viele Menschen suchen bei psychischen Problemen Hilfe bei ChatGPT. OpenAI nennt nun erstmals Zahlen. Doch die KI kann auch versagen, wie ein Fall aus den USA zeigt.
Gedrückte Stimmung, Antriebslosigkeit, Schlafprobleme, Hoffnungslosigkeit – psychische Probleme und Krisen können jeden treffen. Ein Gespräch mit einer Freundin oder einer Vertrauensperson ist oft der erste Schritt zur Hilfe. Doch viele Menschen weltweit wenden sich stattdessen an ChatGPT, die Künstliche Intelligenz von OpenAI.
Eine erste Analyse des Unternehmens zeigt: Rund 0,15 Prozent der wöchentlich aktiven Nutzer führen Gespräche mit ChatGPT, die „eindeutige Hinweise auf mögliche Suizidpläne oder -absichten“ enthalten. In 0,05 Prozent der Nachrichten finden sich „eindeutige oder implizite Hinweise auf Suizidgedanken oder -absichten“.
Etwa 0,07 Prozent der Nutzer und 0,01 Prozent der Nachrichten zeigten „mögliche Anzeichen für psychische Notfälle im Zusammenhang mit Psychosen oder Manie“.
Die wöchentliche Nutzerzahl von ChatGPT insgesamt wird auf etwa 800 Millionen geschätzt. Das bedeutet: Rund 1,2 Millionen Nutzer führten Gespräche mit der KI, die Hinweise auf Suizidpläne oder -absichten enthielten. Etwa 560.000 Nutzer zeigten Anzeichen für psychische Notfälle im Zusammenhang mit Psychosen oder Manie. OpenAI betont jedoch, dass solche Gespräche schwer zu erkennen seien.
„Wir haben kürzlich das Standardmodell von ChatGPT aktualisiert, um Menschen in Notlagen besser zu erkennen und zu unterstützen“, schreibt OpenAI. „Wir glauben, dass ChatGPT einen unterstützenden Raum bieten kann, in dem Menschen ihre Gefühle verarbeiten können, und sie dazu anleiten kann, sich gegebenenfalls an Freunde, Familie oder einen Psychologen zu wenden.“
OpenAI: ChatGPT kann bei psychischen Krisen auch falsch antworten
Dennoch räumt das Unternehmen ein, dass ChatGPT in Krisen nicht immer wie beabsichtigt handelt. Zwar soll die KI Betroffene an Hotlines oder Hilfezentren verweisen, doch das gelingt nicht immer.
Experten warnen daher vor Künstlicher Intelligenz als Hilfe bei psychischen Problemen. Dr. Bradley Stein, Kinderpsychiater und Mitautor einer Studie über KI-Chatbots und Suizidgedanken, sagte der „New York Times“, solche Produkte könnten Kindern zwar helfen, Probleme zu bewältigen. Doch sie seien „wirklich dumm“, wenn es darum geht, Nutzer an professionelle Hilfe weiterzuleiten.
Dr. Paul Bradley, Fachberater für Informatik am britischen Royal College of Psychiatrists, sagte der Zeitung „Guardian“, KI-Chatbots seien „kein Ersatz für professionelle psychologische Betreuung oder die wichtige Beziehung, die Ärzte zu ihren Patienten aufbauen, um deren Genesung zu unterstützen“.
Mit dem neuesten Modell GPT-5 habe OpenAI mehr als 1000 „herausfordernde Gespräche über Selbstverletzung und Suizid“ ausgewertet. In 91 Prozent der Fälle entsprach die KI den „gewünschten Verhaltensweisen“. Für die restlichen neun Prozent bedeutet das jedoch, dass potenziell mehrere Tausend oder Zehntausend Menschen KI-Inhalten ausgesetzt sind, die ihre psychischen Probleme verschlimmern könnten.
Das Unternehmen arbeite aber daran, dies zu verbessern. Das Modell GPT-5 zeige bereits Fortschritte im Vergleich zum Vorgänger GPT-4o.
„ChatGPT verweist möglicherweise zunächst korrekt auf eine Suizid-Hotline, wenn jemand erstmals Suizidabsichten äußert, aber nach vielen Nachrichten über einen längeren Zeitraum hinweg könnte es schließlich eine Antwort geben, die unseren Schutzmaßnahmen zuwiderläuft“, erklärte OpenAI. Psychische Belastungen seien allgegenwärtig, und eine wachsende Nutzerbasis bedeute, „dass ein Teil der ChatGPT-Gespräche solche Situationen beinhaltet“.
Klage gegen OpenAI nach Suizid von Teenager
In diesem Zusammenhang steht derzeit eine Klage der Familie des 16-jährigen Adam Raine. Der Teenager aus Kalifornien nahm sich im April das Leben, nachdem er monatelang mit ChatGPT über seine psychischen Probleme gesprochen hatte.
Die Familie verklagt OpenAI und dessen Geschäftsführer Sam Altman. Sie werfen dem Unternehmen vor, die damalige Version von ChatGPT, bekannt als 4o, trotz offensichtlicher Sicherheitsmängel überstürzt auf den Markt gebracht zu haben.
Jay Edelson, der Anwalt der Familie, sagte laut „Guardian“, die KI habe Adam „monatelang“ zum Suizid ermutigt. Sie habe ihn laut Klage bei der Wahl der Suizidmethode beraten und ihm geholfen, einen Abschiedsbrief zu schreiben. Die KI habe die Sitzung nicht unterbrochen oder ein Notfallprotokoll eingeleitet.
„Das Problem mit [GPT] 4o ist, dass es zu einfühlsam ist – es hat sich auf [Adam Raines Selbstmordgedanken] gestützt und diese unterstützt.“ Der Chatbot müsse „weniger einfühlsam und weniger unterwürfig sein“, so Edelson.
OpenAI ist nicht das einzige KI-Unternehmen, das mit einer solchen Klage konfrontiert ist. Im Oktober 2024 reichte eine Mutter aus Florida Klage gegen Character AI ein, berichtete NBC News. Der Chatbot soll „beleidigende und sexuelle Interaktionen“ mit ihrem 14-jährigen Sohn initiiert und ihn zum Suizid ermutigt haben.
Quellen: OpenAI, „Guardian“, NBC News, Sky News, „The New York Times“
