Abstract Objective: To develop a natural language processing application capable of automatically identifying benign gallbladder diseases that require surgery, from radiology reports. Materials and Methods: We developed a text classifier to classify reports as describing benign diseases of the gallbladder that do or do not require surgery. We randomly selected 1,200 reports describing the gallbladder from our database, including different modalities. Four radiologists classified the reports as describing benign disease that should or should not be treated surgically. Two deep learning architectures were trained for classification: a convolutional neural network (CNN) and a bidirectional long short-term memory (BiLSTM) network. In order to represent words in vector form, the models included a Word2Vec representation, with dimensions of 300 or 1,000. The models were trained and evaluated by dividing the dataset into training, validation, and subsets (80/10/10). Results: The CNN and BiLSTM performed well in both dimensional spaces. For the 300- and 1,000-dimensional spaces, respectively, the F1-scores were 0.95945 and 0.95302 for the CNN model, compared with 0.96732 and 0.96732 for the BiLSTM model. Conclusion: Our models achieved high performance, regardless of the architecture and dimensional space employed. Objective surgery Methods 1200 1 200 1,20 database modalities surgically classification (CNN shortterm short term (BiLSTM form WordVec Word Vec representation 30 1000 000 1,000 training validation 80/10/10. 801010 80/10/10 . 80 10 (80/10/10) Results spaces 1,000dimensional 1000dimensional respectively F1scores Fscores F1 scores F 095945 0 95945 0.9594 095302 95302 0.9530 model 096732 96732 0.9673 Conclusion performance employed 120 20 1,2 3 100 00 1,00 80101 80/10/1 8 (80/10/10 000dimensional 09594 9594 0.959 09530 9530 0.953 09673 9673 0.967 12 2 1, 1,0 8010 80/10/ (80/10/1 0959 959 0.95 0953 953 0967 967 0.96 801 80/10 (80/10/ 095 95 0.9 096 96 80/1 (80/10 09 9 0. 80/ (80/1 (80/ (80 (8 (
Resumo Objetivo: Desenvolver uma aplicação de processamento de linguagem natural capaz de identificar automaticamente doenças cirúrgicas benignas da vesícula biliar a partir de laudos radiológicos. Materiais e Métodos: Desenvolvemos um classificador de texto para classificar laudos como contendo ou não doenças cirúrgicas benignas da vesícula biliar. Selecionamos aleatoriamente 1.200 laudos com descrição da vesícula biliar de nosso banco de dados, incluindo diferentes modalidades. Quatro radiologistas classificaram os laudos como doença benigna cirúrgica ou não. Duas arquiteturas de aprendizagem profunda foram treinadas para a classificação: a rede neural convolucional (convolutional neural network - CNN) e a memória longa de curto prazo bidirecional (bidirectional long short-term memory - BiLSTM). Para representar palavras de forma vetorial, os modelos incluíram uma representação Word2Vec, com dimensões variando de 300 a 1000. Os modelos foram treinados e avaliados por meio da divisão do conjunto de dados entre treinamento, validação e teste (80/10/10). Resultados: CNN e BiLSTM tiveram bom desempenho em ambos os espaços dimensionais. Relatamos para 300 e 1000 dimensões, respectivamente, as pontuações F1 de 0,95945 e 0,95302 para o modelo CNN e de 0,96732 e 0,96732 para a BiLSTM. Conclusão: Nossos modelos alcançaram alto desempenho, independentemente de diferentes arquiteturas e espaços dimensionais. Objetivo radiológicos Métodos 1200 1 200 1.20 modalidades classificação convolutional bidirectional shortterm short term . BiLSTM) vetorial Word2Vec WordVec Word Vec 30 treinamento 80/10/10. 801010 80/10/10 80 10 (80/10/10) Resultados dimensionais 100 respectivamente F 095945 0 95945 0,9594 095302 95302 0,9530 096732 96732 0,9673 Conclusão 120 20 1.2 3 80101 80/10/1 8 (80/10/10 09594 9594 0,959 09530 9530 0,953 09673 9673 0,967 12 2 1. 8010 80/10/ (80/10/1 0959 959 0,95 0953 953 0967 967 0,96 801 80/10 (80/10/ 095 95 0,9 096 96 80/1 (80/10 09 9 0, 80/ (80/1 (80/ (80 (8 (