Resumo: A inteligência artificial pode detectar manifestações de ideação suicida em textos. Estudos demonstram que os modelos baseados em BERT alcançam melhor desempenho em testes de classificação de texto. Os grandes modelos de linguagem (LLMs - large language models) respondem a consultas de texto livre sem serem especificamente treinados. Este trabalho tem como objetivo comparar o desempenho de três variações de modelos BERT e LLMs (Google Bard, Microsoft Bing/GPT-4 e OpenAI ChatGPT-3.5) para identificar ideação suicida a partir de textos não clínicos escritos em Português brasileiro. Foi usado um conjunto de dados rotulado por psicólogos composto por 2.691 sentenças sem ideação suicida e 1.097 com ideação suicida, das quais 100 sentenças foram selecionadas para o processo de teste. Técnicas de pré-processamento de dados, otimização de hiperparâmetros e validação cruzada holdout foram aplicadas para treinar e testar os modelos BERT. Ao avaliar LLMs, usamos comandos de disparo zero. Cada frase de teste foi rotulada com base na presença de ideação suicida, de acordo com a resposta do chatbot. O Bing/GPT-4 alcançou o melhor desempenho, demonstrando 98% em todas as métricas. Os modelos BERT ajustados superaram os outros LLMs: o BERTimbau-Large teve o melhor desempenho, demonstrando 96% de acurácia, seguido pelo BERTimbau-Base com 94% e pelo BERT-Multilingual com 87%. O Bard teve o pior desempenho, apontando 62% de acurácia, enquanto o ChatGPT-3.5 alcançou 81%. O alto recall dos modelos indica uma baixa taxa de falsos negativos de pacientes em risco, o que é crucial para evitar intervenções profissionais desnecessárias. No entanto, apesar de seu potencial no suporte à detecção de ideação suicida, esses modelos não foram validados em um ambiente clínico de monitoramento de pacientes. Portanto, recomenda-se cautela ao empregar esses modelos como ferramentas para auxiliar profissionais de saúde na detecção de ideação suicida. Resumo models treinados Google Bing/GPT4 BingGPT4 BingGPT Bing/GPT 4 Bing GPT Bing/GPT- ChatGPT3.5 ChatGPT35 ChatGPT 3.5 3 5 brasileiro 2691 2 691 2.69 1097 1 097 1.09 10 préprocessamento pré processamento zero chatbot 98 métricas BERTimbauLarge BERTimbau Large 96 acurácia BERTimbauBase Base 94 BERTMultilingual Multilingual 87 87% 62 ChatGPT-3. 81 81% risco desnecessárias entanto Portanto recomendase recomenda se GPT4 ChatGPT3 ChatGPT3. 35 3. 269 69 2.6 109 09 1.0 9 8 6 ChatGPT-3 26 2. 0 1. ChatGPT-
Abstract: Artificial intelligence can detect suicidal ideation manifestations in texts. Studies demonstrate that BERT-based models achieve better performance in text classification problems. Large language models (LLMs) answer free-text queries without being specifically trained. This work aims to compare the performance of three variations of BERT models and LLMs (Google Bard, Microsoft Bing/GPT-4, and OpenAI ChatGPT-3.5) for identifying suicidal ideation from nonclinical texts written in Brazilian Portuguese. A dataset labeled by psychologists consisted of 2,691 sentences without suicidal ideation and 1,097 with suicidal ideation, of which 100 sentences were selected for testing. We applied data preprocessing techniques, hyperparameter optimization, and hold-out cross-validation for training and testing BERT models. When evaluating LLMs, we used zero-shot prompting engineering. Each test sentence was labeled if it contained suicidal ideation, according to the chatbot’s response. Bing/GPT-4 achieved the best performance, with 98% across all metrics. Fine-tuned BERT models outperformed the other LLMs: BERTimbau-Large performed the best with a 96% accuracy, followed by BERTimbau-Base with 94%, and BERT-Multilingual with 87%. Bard performed the worst with 62% accuracy, whereas ChatGPT-3.5 achieved 81%. The high recall capacity of the models suggests a low misclassification rate of at-risk patients, which is crucial to prevent missed interventions by professionals. However, despite their potential in supporting suicidal ideation detection, these models have not been validated in a patient monitoring clinical setting. Therefore, caution is advised when using the evaluated models as tools to assist healthcare professionals in detecting suicidal ideation. Abstract BERTbased based problems (LLMs freetext free trained Google Bing/GPT4, BingGPT4 BingGPT Bing/GPT 4, Bing GPT 4 ChatGPT3.5 ChatGPT35 ChatGPT 3.5 3 5 Portuguese 2691 2 691 2,69 1097 1 097 1,09 10 techniques optimization holdout hold out crossvalidation cross validation zeroshot zero shot engineering chatbots chatbot s response Bing/GPT4 Bing/GPT- 98 metrics Finetuned Fine tuned BERTimbauLarge BERTimbau 96 accuracy BERTimbauBase Base 94 94% BERTMultilingual Multilingual 87 87% 62 ChatGPT-3. 81 81% atrisk at risk patients However detection setting Therefore GPT4 ChatGPT3 ChatGPT3. 35 3. 269 69 2,6 109 09 1,0 9 8 6 ChatGPT-3 26 2, 0 1, ChatGPT-
Resumen: La inteligencia artificial puede detectar manifestaciones de ideación suicida en textos. Los estudios demuestran que los modelos basados en BERT logran un mejor rendimiento en las pruebas de clasificación de textos. Los grandes modelos de lenguaje (LLMs, large language models) responden a consultas de texto libre sin estar específicamente capacitados. Este trabajo tiene como objetivo comparar el rendimiento de tres variaciones de modelos BERT y LLMs (Google Bard, Microsoft Bing/GPT-4 y OpenAI ChatGPT-3.5) para identificar ideación suicida con base en textos no clínicos escritos en Portugués brasileño. Se utilizó un conjunto de datos etiquetados por psicólogos que constaba de 2.691 sentencias sin ideación suicida y 1.097 con ideación suicida, de las cuales se seleccionaron 100 sentencias para el proceso de prueba. Técnicas de preprocesamiento de datos, optimización de hiperparámetros y validación cruzada holdout se aplicaron para entrenar y probar modelos BERT. Al evaluar los LLM, utilizamos comandos de disparo cero. Cada frase de prueba fue etiquetada con base en la presencia de ideación suicida, según la respuesta del chatbot. Bing/GPT-4 logró el mejor rendimiento, demostrando un 98% en todas las métricas. Los modelos BERT ajustados superaron a los otros LLM: BERTimbau-Large obtuvo el mejor rendimiento, demostrando un 96% de accuracy, seguido de BERTimbau-Base con un 94% y de BERT-Multilingual con un 87%. Bard tuvo el peor rendimiento, logrando un 62% de accuracy, mientras que ChatGPT-3.5 logró un 81%. El alto recall de los modelos indica una baja tasa de falsos negativos de pacientes en riesgo, lo cual es crucial para evitar intervenciones profesionales innecesarias. Sin embargo, a pesar de su potencial para respaldar la detección de ideación suicida, estos modelos no se han validado en un entorno clínico de seguimiento de pacientes. Por lo tanto, se recomienda precaución al emplear estos modelos como herramientas para ayudar a los profesionales de la salud a detectar ideación suicida. Resumen LLMs, (LLMs models capacitados Google Bing/GPT4 BingGPT4 BingGPT Bing/GPT 4 Bing GPT Bing/GPT- ChatGPT3.5 ChatGPT35 ChatGPT 3.5 3 5 brasileño 2691 2 691 2.69 1097 1 097 1.09 10 LLM cero chatbot 98 métricas BERTimbauLarge BERTimbau Large 96 accuracy BERTimbauBase Base 94 BERTMultilingual Multilingual 87 87% 62 ChatGPT-3. 81 81% riesgo innecesarias embargo tanto GPT4 ChatGPT3 ChatGPT3. 35 3. 269 69 2.6 109 09 1.0 9 8 6 ChatGPT-3 26 2. 0 1. ChatGPT-
