Exploring the potential of ChatGPT as a digital advisor in acute psychiatric crises: a feasibility study.

Background This exploratory study tested ChatGPT as a digital advisor chatbot for German-speaking individuals in acute psychiatric crises. Additionally, the attitudes of young physicians and psychologists towards the use of large language models (LLMs) in healthcare were investigated. Methods In total, 20 resident physicians and psychologists simulated patients in three clinical scenarios (depression, psychosis, adjustment disorder) and interacted with ChatGPT. They evaluated the chatbot's performance regarding overall experience, pleasantness, appropriateness of the responses, realism, and helpfulness. Before and after the intervention, their attitudes towards such a chatbot were assessed. Finally, they assessed 12 statements about the future of LLMs in healthcare and provided open feedback on the chat experience. Results ChatGPT received predominantly positive ratings (over 8/10 points) for overall experience, helpfulness, pleasantness, and appropriateness, while realism was rated slightly lower at 7/10 points. The appropriateness of the responses varied significantly between the scenarios, with lower ratings for the psychosis scenario. Open feedback confirmed the limited suitability of ChatGPT for psychosis patients. Overall, 70% or more of the participants agreed that LLMs will become increasingly important in everyday life and healthcare, and that an LLM-based chatbot would be a modern tool for low-threshold access to initial psychiatric aid. However, the high number of neutral responses across all 12 items (20-45%) indicates uncertainty regarding the actual benefits and risks. Conclusion The performance of ChatGPT was rated positively overall by the participants. Significant practical and methodological limitations remain, however, highlighting the need for further research including real patients for a gradual, carefully monitored integration of LLMs into mental healthcare. Zusammenfassung HINTERGRUND: In dieser explorativen Studie testeten wir ChatGPT als digitalen Berater für deutschsprachige Personen in akuten psychischen Krisen. Zusätzlich wurde die Einstellung von jungen Ärzt:innen und Psycholog:innen zur Nutzung von „large language models“ (LLM) im Gesundheitswesen untersucht. Methoden Dazu simulierten 20 Assistenzärzt:innen und Psycholog:innen Patient:innen in 3 Krisenszenarien (Depression, Psychose, Anpassungsstörung) und interagierten mit ChatGPT. Anschließend bewerteten sie die Leistung des Chatbots hinsichtlich Gesamterlebnis, Nutzen, Annehmlichkeit, Realismus und Angemessenheit der Antworten. Abschließend bewerteten sie 12 Aussagen zur Zukunft von LLM im Gesundheitswesen und gaben ein offenes Feedback zum Chaterlebnis. Ergebnisse ChatGPT erhielt überwiegend positive Bewertungen (über 8/10 Punkte) für Gesamterlebnis, Nutzen, Annehmlichkeit und Angemessenheit, wobei der Realismus mit 7/10 Punkten etwas niedriger bewertet wurde. Die Angemessenheit der Antworten variierte signifikant zwischen den Szenarien, mit niedrigeren Bewertungen für das Psychoseszenario. Das offene Feedback bestätigte die begrenzte Eignung für Psychosepatienten. Von den Teilnehmenden stimmten 70 % und mehr zu, dass LLM im Alltag und Gesundheitswesen an Bedeutung gewinnen werden und ein LLM-basierter Chatbot ein zeitgemäßes Instrument für einen niederschwelligen Zugang zur psychiatrischen Ersthilfe wäre. Die hohe Anzahl neutraler Rückmeldungen bei allen 12 Items (20–45 %) weisen jedoch auf Unsicherheit bezüglich der tatsächlichen Vorteile und Risiken hin. Schlussfolgerung Die Leistung von ChatGPT wurde von den Teilnehmenden insgesamt positiv bewertet. Es bestehen jedoch signifikante praktische und methodische Einschränkungen, die die Notwendigkeit weiterer Forschung unter Einbeziehung realer Patient:innen für eine schrittweise sorgfältig überwachte Integration von LLMs in die psychische Gesundheitsversorgung hervorheben.