W raporcie wskazano, że około 0,15% rozmów z chatbotem zawiera elementy sugerujące potencjalne zamiary samobójcze. Firma podkreśla, że przypadki te są rzadkie, jednak ich liczba rośnie proporcjonalnie do ekspansji narzędzia. OpenAI wprowadziło szereg zmian w mechanizmach bezpieczeństwa, by reagować na tego typu sytuacje z większą empatią i skutecznością.

„ChatGPT został zaktualizowany tak, by wykrywać rozmowy o wrażliwej treści i reagować w sposób bezpieczny dla użytkownika” – poinformowano w komunikacie.

Eksperci zwracają jednak uwagę, że nawet niewielki procent w populacji setek milionów użytkowników może oznaczać ogromną liczbę realnych przypadków zagrożenia zdrowia.

– Choć 0,07% brzmi jak niewielki odsetek, to w liczbach bezwzględnych jest to bardzo dużo osób – zauważa dr Jason Nagata z Uniwersytetu Kalifornijskiego w San Francisco.

W odpowiedzi na raport OpenAI uruchomiło globalny program monitorowania ryzyka. W jego ramach powstała sieć ponad 170 ekspertów z 60 krajów, w tym psychiatrów, psychologów i lekarzy zajmujących się zdrowiem publicznym. Ich zadaniem jest doradzanie, jak chatbot powinien reagować na rozmowy o charakterze kryzysowym i jak kierować użytkowników do odpowiednich instytucji pomocowych.

Zmieniono również algorytmy modelu, aby w przypadku rozmów zawierających treści o potencjalnym ryzyku autoagresji ChatGPT mógł bezpośrednio przekierowywać użytkowników do bezpiecznych kanałów wsparcia lub materiałów edukacyjnych o zdrowiu psychicznym.

W Stanach Zjednoczonych trwają już procesy sądowe dotyczące przypadków, w których użytkownicy po interakcjach z chatbotem popełnili samobójstwo lub dopuścili się przemocy. Najgłośniejsza sprawa dotyczy rodziny 16-letniego Adama Raine’a z Kalifornii, której zdaniem ChatGPT „utwierdził chłopca w przekonaniu o bezsensie życia”.

Z kolei śledczy w Connecticut badają sprawę morderstwa połączonego z samobójstwem, w której podejrzany miał prowadzić długie rozmowy z ChatGPT o „głosach” i „misji” – co, według ekspertów, mogło podsycać jego urojenia.

Coraz więcej psychologów i badaczy ostrzega przed efektem określanym mianem „AI-induced psychosis” – sytuacją, gdy użytkownicy zaczynają wierzyć w generowane przez sztuczną inteligencję narracje i wchodzić z chatbotem w relacje o charakterze emocjonalnym lub urojeniowym.

– Chatboty potrafią tworzyć potężną iluzję rzeczywistości. Osoby w kryzysie psychicznym często nie są w stanie odróżnić symulacji od realnej empatii – wyjaśnia prof. Robin Feldman, dyrektor Instytutu Prawa i Innowacji AI na Uniwersytecie Kalifornijskim.

Jej zdaniem sama transparentność nie wystarczy – „wyświetlenie ostrzeżenia nie pomoże komuś, kto znajduje się w stanie manii lub psychotycznego załamania”.

OpenAI zapewnia, że bezpieczeństwo użytkowników pozostaje jednym z głównych priorytetów firmy. Nowe modele mają być w stanie lepiej rozpoznawać niepokojące wzorce w rozmowach, a także łączyć użytkowników z systemami wsparcia kryzysowego.

Jednocześnie psychologowie apelują, by AI nie zastępowała kontaktu z człowiekiem, lecz pełniła funkcję wstępnego filtra lub narzędzia prewencyjnego.
W Polsce, jak przypominają eksperci, osoby doświadczające kryzysu emocjonalnego mogą szukać pomocy, dzwoniąc pod numer 116 123 (Telefon Zaufania dla Dorosłych w Kryzysie Emocjonalnym) lub 112 w sytuacjach nagłych.