ABSTRACT The article discusses the evolution of the Brazilian College of Surgeons (CBC) specialist title exam, highlighting the importance of evaluating not only theoretical knowledge, but also the practical skills and ethical behavior of candidates. The test was instituted in 1971, initially with only the written phase, and later included the oral practical test, starting with the 13th edition in 1988. In 2022, the assessment process was improved by including the use of simulated stations in the practical test, with the aim of assessing practical and communication skills, as well as clinical reasoning, in order to guarantee excellence in the assessment of surgeons training. The aim of this study is to demonstrate the performance of candidates in the last five years of the Specialist Title Test and to compare the performance results between the different surgical training groups of the candidates. The results obtained by candidates from the various categories enrolled in the test in the 2018 to 2022 editions were analyzed. There was a clear and statistically significant difference between doctors who had completed three years of residency recognized by the Ministry of Education in relation to the other categories of candidates for the Specialist Title.. CBC (CBC exam knowledge 1971 phase th 1988 reasoning 201 202 analyzed Title. 197 198 20 19 2 1

RESUMO O artigo aborda a evolução da prova de título de especialista do Colégio Brasileiro de Cirurgiões (CBC), destacando a importância de avaliar não apenas o conhecimento teórico, mas também as habilidades práticas e o comportamento ético dos candidatos. A prova foi instituída em 1971, inicialmente com apenas a fase escrita, e posteriormente foi incluída a prova prática oral, a partir da 13ª edição em 1988. Em 2022, foi aprimorado o processo de avaliação, incluindo na prova prática o uso de estações simuladas, visando avaliar habilidades práticas e de comunicação, além do raciocínio clínico, buscando garantir a excelência da avaliação da formação dos cirurgiões. O objetivo deste estudo é demonstrar o desempenho dos candidatos nos últimos cinco anos da Prova de Título de Especialista e comparar os resultados dos desempenhos entre os diferentes grupos de formação cirúrgica dos candidatos. Foram analisados os resultados obtidos pelos candidatos das diversas categorias inscritas na prova nas edições de 2018 a 2022. Ficou evidente e estatisticamente significativa a diferença entre os médicos que fizeram três anos de residência reconhecida pelo MEC em relação aos demais categorias de candidatos ao Título de Especialista. CBC, CBC , (CBC) teórico 1971 escrita oral ª 1988 2022 simuladas comunicação clínico cirurgiões 201 (CBC 197 198 202 20 19 2 1

ABSTRACT Introduction: São Paulo State University (Unesp) implemented the quota system (affirmative action) for first-year students in 2014, through the vacancy reservation system for students from public schools. The main caveats regarding the quota system concern the difficulties these students have in adapting to the university academic environment, which could interfere with their performance during undergraduate school. Therefore, it is necessary to know about the performance of these students to propose viable alternatives for their needs. Objective: This study aimed to evaluate the academic performance through the academic performance coefficient (APC) of undergraduate students of the medical course at the Botucatu School of Medicine - Unesp (BSM) according to the type of university admission process. Methods: the final APC of students who completed the medical course in the years 2019, 2020, and 2021 were evaluated. The data were obtained from the Undergraduate Section of BSM. Comparisons were made of APC means between groups (universal admission - UA and affirmative action - AA). Results: In the period from 2019 to 2021, 252 students graduated, 184 from UA (73%) and 68 (27%) from AA. The general average of the APC was 8.41 + 0.61. The APC averages of the UA students were 8.45 + 0.61 and the AA averages were 8.31 + 0.60 (p = 0.414). Conclusion: The APC analysis of graduates over three years of the BSM medical course shows that the performance of those admitted through AA and by UA is similar Introduction (Unesp firstyear first year 2014 schools environment school Therefore needs Objective (APC (BSM process Methods 2020 202 evaluated universal . AA) Results 201 25 graduated 18 73% 73 (73% 6 27% 27 (27% 841 8 41 8.4 061 0 61 845 45 0.6 831 31 8.3 060 60 p 0.414. 0414 0.414 414 0.414) Conclusion 20 2 1 7 (73 (27 84 4 8. 06 0. 83 3 041 0.41 (7 (2 04 0.4 (

RESUMO Introdução: A Universidade Estadual Paulista (Unesp) implantou o sistema de cotas (ações afirmativas) para ingressantes em 2014, por meio do sistema de reserva de vagas destinada a alunos oriundos de escolas públicas. As principais ressalvas quanto ao sistema de cotas dizem respeito às dificuldades de adaptação desses alunos ao meio acadêmico universitário, que poderiam interferir em seu desempenho durante a graduação. Por isso, é necessário conhecer o desempenho desses alunos para poder propor alternativas viáveis para suas necessidades. Objetivo: Este estudo teve como objetivo avaliar o desempenho acadêmico pelo coeficiente de rendimento (CR) escolar dos egressos do curso de Medicina da Faculdade de Medicina de Botucatu (FMB) da Unesp segundo forma de ingresso no vestibular. Método: Foram avaliados os CR finais dos alunos que finalizaram o curso de Medicina nos anos de 2019, 2020 e 2021. Os dados foram obtidos na Seção de Graduação da FMB. Realizaram-se comparações das médias do CR entre os grupos (ingresso universal - IU e ação afirmativa - AA). Resultado: No período de 2019 a 2021, graduaram-se 252 alunos: 184 do IU (73%) e 68 (27%) de AA. A média geral do CR foi de 8,41 + 0,61. As médias do CR dos alunos do IU foram de 8,45 + 0,61 e de AA de 8,31 + 0,60 (p = 0,414). Conclusão: A análise do CR dos formados em três anos do curso de Medicina da FMB revela que o desempenho dos ingressantes por AA e IU é semelhante. Introdução (Unesp ações afirmativas 2014 públicas universitário graduação isso necessidades Objetivo (CR (FMB vestibular Método 202 2021 Realizaramse Realizaram se . AA) Resultado 201 graduaramse graduaram 25 18 73% 73 (73% 6 27% 27 (27% 841 8 41 8,4 061 0 61 845 45 0,6 831 31 8,3 060 60 p 0,414. 0414 0,414 414 0,414) Conclusão semelhante 20 2 1 7 (73 (27 84 4 8, 06 0, 83 3 041 0,41 (7 (2 04 0,4 (

ABSTRACT BACKGROUND: Brazilian medical schools equitably divide their medical education assessments into five content areas: internal medicine, surgery, pediatrics, obstetrics and gynecology, and public health. However, this division does not follow international patterns and may threaten the examinations’ reliability and validity. OBJECTIVE: To assess the reliability indices of the content areas of serial, cross-institutional progress test examinations. DESIGN AND SETTINGS: This was an analytical, observational, and cross-sectional study conducted at nine public medical schools (mainly from the state of São Paulo) with progress test examinations conducted between 2017 and 2023. METHODS: The examinations covered the areas of basic sciences, internal medicine, surgery, pediatrics, obstetrics and gynecology, and public health. We calculated reliability indices using Cronbach’s α, which indicates the internal consistency of a test. We used simple linear regressions to analyze temporal trends. RESULTS: The results showed that the Cronbach’s α for basic sciences and internal medicine presented lower values, whereas gynecology, obstetrics, and public health presented higher values. After changes in the number of items and the exclusion of basic sciences as a separate content area, internal medicine ranked highest in 2023. Individually, all content areas except pediatrics remained stable over time. CONCLUSIONS: Maintaining an equitable division in assessment content may lead to suboptimal results in terms of assessment reliability, especially for internal medicine. Therefore, content sampling of medical knowledge for general assessments should be reappraised. BACKGROUND surgery gynecology However validity OBJECTIVE serial crossinstitutional cross institutional SETTINGS analytical observational crosssectional sectional mainly Paulo 201 2023 METHODS Cronbachs Cronbach s trends RESULTS values area Individually time CONCLUSIONS Therefore reappraised 20 202 2

RESUMO O Teste de Progresso (TP) é uma ferramenta de avaliação cujo uso tem crescido em todo o Brasil na última década. O TP permite avaliar o ganho de conhecimento dos estudantes ao longo do curso de graduação e, para que suas interpretações sejam válidas, é preciso que seus itens (questões) tenham qualidade adequada do ponto de vista de validade de conteúdo e confiabilidade de resultados. Neste estudo, analisamos as características psicométricas dos itens e o desempenho dos estudantes na área de cirurgia do TP de 2017 a 2023. Para as análises, usamos os pressupostos da Teoria Clássica dos Testes, a taxonomia de Bloom e o coeficiente de fidedignidade alfa de Cronbach. Os itens se mostraram fáceis (índice de dificuldade média entre 0,3-0,4), com discriminação de regular a boa (índice de discriminação entre 0,3-0,4) e com predomínio de questões de média a alta taxonomia. A confiabilidade se manteve substancial ao longo dos anos (>0,6). O ganho de conhecimento dos estudantes em cirurgia é progressivo e mais importante a partir do 3º ano do curso de graduação, chegando a aproximadamente 70-75% no 6º ano. Este arcabouço de aferições pode ser replicado em outros contextos para melhor compreensão do aprendizado dos estudantes e para qualificação dos processos avaliativos. (TP década válidas (questões resultados estudo 201 2023 análises Testes Cronbach índice 0,30,4, 0304 0,3 0,4 , 0 3 4 0,30,4 0,3-0,4 >0,6. 06 >0,6 . 6 (>0,6) º 7075% 7075 70 75% 75 70-75 avaliativos 20 202 30 030 03 0, 04 0,30, 0,3-0, >0, (>0,6 707 7 70-7 2 0,30 0,3-0 >0 (>0, 70- 0,3- > (>0 (> (

ABSTRACT Progress Testing (PT) is an assessment tool whose use has grown throughout Brazil in the last decade. PT makes it possible to assess the students’ knowledge gain throughout the undergraduate course and, for their interpretations to be valid, their items (questions) must have adequate quality from the point of view of content validity and reliability of results. In this study, we analyzed the psychometric characteristics of the items and the performance of students in the content area of surgery from 2017 to 2023. For the analyses, we used the assumptions of Classical Test Theory, Bloom’s taxonomy and Cronbach’s alpha reliability coefficient. The items were easy (average difficulty index between 0.3-0.4), with fair to good discrimination (discrimination index between 0.3-0.4) and with a predominance of medium to high taxonomy. Reliability remained substantial over the years (>0.6). Students’ knowledge gain in surgery was found to be progressive and more important from the 3rd year of the undergraduate course, reaching approximately 70-75% in the 6th year. This measurements framework can be replicated in other contexts for a better understanding of student learning and for qualification of evaluation processes. (PT decade valid questions (questions results study 201 2023 analyses Theory Blooms Bloom s Cronbachs Cronbach coefficient average 0.30.4, 0304 0.3 0.4 , 0 3 4 0.30.4 0.3-0.4 >0.6. 06 >0.6 . 6 (>0.6) Students rd 7075% 7075 70 75% 75 70-75 th processes 20 202 30 030 03 0. 04 0.30. 0.3-0. >0. (>0.6 707 7 70-7 2 0.30 0.3-0 >0 (>0. 70- 0.3- > (>0 (> (

SUMMARY OBJECTIVES: The transition from face-to-face to remote teaching is yet to be fully understood. In clinical training, traditional teaching must prevail because it is essential for the acquisition of skills and professionalism. However, the responses of each school to the pandemic and the decision on when to resume clerkship rotations were mixed. In this study, we aimed to analyze whether the time to resume clerkship rotations was associated with the performance of the students by using a multi-institutional Progress Test. METHODS: This is a cross-sectional study conducted at nine different Brazilian medical schools that administer the same annual Progress Test for all students. We included information from 1,470 clerkship medical students and analyzed the time of clinical training interruption as the independent variable and the student’s scores as the dependent variable. RESULTS: The comparisons of the students’ scores between the schools showed that there are differences; however, they cannot be attributed to the time the clerkship rotations were paused. The correlation between the schools’ average scores and the time to resume clerkship rotations was not significant for the fifth year (r= -0.298, p=0.436) and for the sixth year (r= -0.440, p=0.240). By using a cubic regression model, the time to resume clerkship rotations could explain 3.4% of the 5-year students’ scores (p<0.001) and 0.9% of the 6–year students, without statistical difference (p=0.085). CONCLUSIONS: The differences between the students’ scores cannot be attributed to the time when the schools paused the clerkship rotations.

RESUMO Objetivo A afasia é uma manifestação comum e debilitante do acidente vascular cerebral (AVC). A estimulação elétrica transcraniana por corrente contínua oferece uma corrente elétrica de baixa intensidade que induz alterações na atividade neuronal e evidências recentes sugerem que técnicas não invasivas podem servir como uma ferramenta benéfica para a reabilitação de pacientes afásicos. No entanto, é muito difícil recrutar esses pacientes para estudos clínicos e as razões não são claras. O objetivo do estudo foi identificar as principais dificuldades envolvidas no recrutamento e inclusão de pacientes em ensaio clínico piloto randomizado sobre neuromodulação em pacientes com afasia. Método Foram avaliadas as razões para a exclusão e não inclusão de pacientes em um ensaio clínico piloto, randomizado, duplo-cego no qual foram incluídos pacientes diagnosticados com afasia motora após AVC no período de março a novembro de 2018. Análise estatística descritiva foi realizada. Resultados Apenas 12,9% (4) dos pacientes com AVC isquêmico foram incluídos no estudo. Um total de 87,1% (27) dos 31 pacientes recrutados foram excluídos por apresentarem afasia sensorial (32,2%), disartria (25,8%), recuperação clínica espontânea (16,1%), AVC prévio (6,4%) e óbito ou mutismo (3,2%). Conclusão A presença de outros tipos de afasia, disartria, recuperação espontânea, óbitos e mutismo foram as principais barreiras ao recrutamento de pacientes evidenciadas nesse estudo de neuromodulação.

ABSTRACT Purpose Aphasia is a common and debilitating manifestation of stroke. Transcranial electrical stimulation uses low-intensity electric currents to induce changes in neuronal activity. Recent evidence suggests that noninvasive techniques can be a valuable rehabilitation tool for patients with aphasia. However, it is difficult to recruit patients with aphasia for trials, and the reasons for this are not well understood. This study aimed to elucidate the main difficulties involved in patient’s recruitment and inclusion in a randomized clinical study of neuromodulation in aphasia. Methods We evaluated the reasons for the exclusion of patients in a pilot, randomized, double-blinded clinical trial in which patients diagnosed with motor aphasia after stroke were recruited from March to November 2018. A descriptive statistical analysis was performed. Results Only 12.9% (4) of patients with ischemic stroke were included in the clinical trial. A total of 87.1% (27) of the 31 recruited patients were excluded for various reasons including: sensory aphasia (32.2%), dysarthria (25.8%), spontaneous clinical recovery (16.1%), previous stroke (6.4%), and death or mutism (3.2%). Conclusion The presence of other types of aphasia, dysarthria, spontaneous recovery, deaths, and mutism were barriers to recruiting patients evidenced in this neuromodulation study.

Resumo Contexto A neuroimagem é amplamente utilizada para o diagnóstico e tratamento do acidente vascular cerebral (AVC). No entanto, pouco se sabe se a dose de radiação recebida nesses exames está de acordo com as diretrizes internacionais de segurança. Objetivos O objetivo deste estudo foi avaliar a dose de radiação efetiva (DRE) durante a hospitalização por AVC. Métodos Trata-se de estudo transversal com 109 pacientes hospitalizados com diagnóstico de AVC isquêmico. A gravidade do AVC foi avaliada pela National Institutes of Health Stroke Scale, a topografia pela classificação clínica de Bamford e a etiologia pelo Trial of ORG 10172 in Acute Stroke Treatment (TOAST). O índice de dose recebida no exame de tomografia computadorizada (TC) e as estimativas de dose específicas foram usados para calcular a DRE recebida durante a hospitalização. O teste de Mann-Whitney foi utilizado para comparar a DRE recebida por pacientes trombolisados e não trombolisados. Estatísticas não paramétricas foram utilizadas para analisar os dados. Resultados Durante o período do estudo, a DRE foi de 10,9 mSv. O tempo de internação não foi associado à exposição à radiação. Nenhuma diferença foi demonstrada na DRE de acordo com a etiologia e classificação clínica de Bamford. Os pacientes que fizeram perfusão (isolada, associada à TC ou angiotomografia) receberam a maior DRE (46,5 mSv) em comparação aos que não fizeram (10,8 mSv), sendo estatisticamente significativo (p <0,001). Não foram encontradas diferenças na DRE entre pacientes trombolisados e não trombolisados. Não houve correlação entre a DRE durante a hospitalização com a gravidade do AVC. Conclusões De acordo com as atuais diretrizes nacionais, o protocolo de exame de imagens na unidade de AVC é seguro em relação à DRE recebido pelo paciente durante a internação. Não houve diferença na DRE dos pacientes de acordo com o tratamento trombolítico e a gravidade do AVC.

Abstract Background Neuroimaging is widely used for diagnosis and treatment of stroke. However, little is known about whether the radiation doses received by patients comply with international safety guidelines. Objectives The aim of this study was to evaluate the effective radiation dose received while in hospital for stroke and analyze its safety according to current guidelines. Methods This cross-sectional study included 109 patients who were hospitalized and diagnosed with ischemic stroke. The National Institutes of Health Stroke Scale was used to evaluate stroke severity, the Bamford clinical classification was used for topography, and the TOAST classification was used for etiology. The computed tomography dose index and size-specific dose estimates were used to calculate the effective radiation dose (ERD) received while in hospital. A Mann-Whitney test was used to compare the ERD received by thrombolysed and non-thrombolysed patients. Non-parametric statistics were used to analyze the data with a 95% confidence interval. Results During the study period, the median ERD received was 10.9 mSv. Length of stay was not associated with radiation exposure. No differences were demonstrated in ERD according to stroke etiology or Bamford clinical classification. Patients who had CT perfusion (only or in addition to CT or angiotomography) received the highest ERD (46.5 mSv) and the difference compared to those who did not (10.8 mSv) was statistically significant (p<0.001). No differences were found in the ERD between thrombolysed and non-thrombolysed patients. There was no correlation between ERD while in hospital and stroke severity. Conclusions According to the current national guidelines, the protocol for examining images at our stroke unit is safe in terms of the ERD received by the patient while in hospital. There was no difference in the ERD received by patients stratified by thrombolytic treatment or stroke severity.

Resumo: Introdução: As Diretrizes Curriculares Nacionais para os Cursos de Medicina estimulam uma formação generalista do médico, alterando o paradigma fragmentado de formação vigente até o século passado. A residência médica é considerada complementar à graduação, porém sem vagas nas quantidades desejadas, gerando competição entre estudantes. Simultaneamente, as ligas acadêmicas ganharam espaço dentro das escolas médicas. Desenvolvimento: Trata-se de um ensaio com análise crítica sobre a relação entre as sociedades de especialidades e as ligas acadêmicas, e sobre os efeitos dessa relação na formação dos futuros médicos. As sociedades de especialidade possuem ações de estímulo à criação de ligas acadêmicas, bem como reservam espaços dedicados a elas. Desse modo, elas aproximam-se dos estudantes por meio das ligas e novamente se inserem na graduação na forma de currículo paralelo, em que haviam sido relegadas a segundo plano com o programa generalista de formação. Conclusão: Há um movimento de aproximação entre ligas e sociedades de especialidades que deve ser acompanhado com atenção, reflexão e crítica para que não se tolha dos estudantes a liberdade de explorar diversas realidades da prática médica e conhecer diversas especialidades, mas também não se subverta a proposta pedagógica de formação médica geral.

Abstract: Introduction: The national curricular guidelines for medical courses encourage generalist training for doctors, changing the fragmented training paradigm that existed up until the last century. Medical residency is considered complementary to undergraduate training, but without sufficient vacancies to meet the demand, competition is generated among students. At the same time, academic leagues have gained presence within medical schools. Development: This essay presents a critical analysis of the relationship between specialty medical societies and academic leagues, and the effects of this relationship on medical training. Specialty societies encourage the creation of academic leagues, and reserve spaces dedicated to them. In this way, they approach students through the leagues and reenter the undergraduate course in the form of a parallel curriculum, having previously been relegated to the background by the generalist training program. Conclusion: There is a movement of approximation between leagues and specialty societies, which must be monitored and reflected on closely and critically to ensure that students are not deprived of the freedom to explore different realities of medical practice and medical specialties, and to safeguard the pedagogical proposal of medical training from being subverted.

ABSTRACT BACKGROUND: Progress tests are longitudinal assessments of students’ knowledge based on successive tests. Calibration of the test difficulty is challenging, especially because of the tendency of item-writers to overestimate students’ performance. The relationships between the levels of Bloom’s taxonomy, the ability of test judges to predict the difficulty of test items and the real psychometric properties of test items have been insufficiently studied. OBJECTIVE: To investigate the psychometric properties of items according to their classification in Bloom’s taxonomy and judges’ estimates, through an adaptation of the Angoff method. DESIGN AND SETTING: Prospective observational study using secondary data from students’ performance in a progress test applied to ten medical schools, mainly in the state of São Paulo, Brazil. METHODS: We compared the expected and real difficulty of items used in a progress test. The items were classified according to Bloom’s taxonomy. Psychometric properties were assessed based on their taxonomy and fields of knowledge. RESULTS: There was a 54% match between the panel of experts’ expectations and the real difficulty of items. Items that were expected to be easy had mean difficulty that was significantly lower than that of items that were expected to be medium (P < 0.05) or difficult (P < 0.01). Items with high-level taxonomy had higher discrimination indices than low-level items (P = 0.026). We did not find any significant differences between the fields in terms of difficulty and discrimination. CONCLUSIONS: Our study demonstrated that items with high-level taxonomy performed better in discrimination indices and that a panel of experts may develop coherent reasoning regarding the difficulty of items.

Resumo: Introdução: Possuir diploma de médico é o suficiente para o exercício profissional na maioria dos estados brasileiros. A avaliação do desempenho do aluno pelas escolas médicas é, certamente, o mais importante filtro de proficiência profissional em vigência. Assim, é fundamental a utilização de instrumentos de avaliação adequados. Competência é o conjunto de conhecimentos, habilidades e atitudes que permitem uma prática médica de excelência. Diferentemente, performance pode ser definida como o que o indivíduo realmente produz em seu cotidiano. O internato é uma inigualável oportunidade para o acompanhamento preciso dos atributos esperados de um estudante em formação. Quando avaliamos a competência, buscamos medir o quanto o aluno sabe, concebe ou realiza procedimentos em um contexto objetivo de avaliação. Performance é o que efetivamente o indivíduo utiliza de suas competências. Há, portanto, uma maior dificuldade de avaliar performance, pois motivação, disciplina, condições físicas e psíquicas, e outros aspectos vivenciais estão em jogo. Além disso, é necessária uma avaliação constante, o que implica acompanhamento e monitoramento próximos. A Nota de Conceito Global (NCG) é uma das modalidades que permitem, não obstante sua implícita subjetividade, avaliar o desempenho do aluno/estagiário. Para isso, é estratégico que seja construída por meio de nomenclatura padronizada, parâmetros definidos que possibilitem quantificação, levando em conta diferenças existentes entre os diversos projetos políticos pedagógicos. Pela heterogeneidade dos estágios, diferentes contextos da prática da medicina e grande número de sujeitos envolvidos seriam os critérios estabelecidos para a constituição da NCG devidamente padronizados e adequados para avaliar alunos no internato? Método: Neste trabalho, estudamos, por meio dos planos de ensino, como a NCG está estruturada na avaliação de internos de uma instituição e o que pode ser aperfeiçoado e contribuir para o conhecimento do assunto. Resultados: Constatamos que a NCG compõe 30% (quinto ano) e 40% (sexto ano) da Nota Global do Aluno (NGA), que corresponde a uma nota única ao final de cada ano de graduação e leva em conta o desempenho e a carga horária das disciplinas. Adicionalmente, avaliamos os termos utilizados como critérios a serem utilizados para a NCG. A análise dos planos de ensino mostrou que a NCG se mostrou irregular e sem padronização institucional entre as disciplinas; há uma ausência de uniformidade na composição da nota final ou nos critérios a serem avaliados, bem como na aplicação diferenciada dos itens em cada cenário de aprendizado. Conclusões: A falta de uma metodologia uniforme impede o acompanhamento do aluno de forma global, inclusive o quanto a cultura e os valores institucionais poderiam influenciar o desempenho estudantil. Perde-se a oportunidade de realizar uma avaliação efetivamente construtiva. Contudo, a NCG, pela sua natureza subjetiva, poderia, se adequadamente aplicada, ser instrumento fundamental para o diálogo entre professores e alunos em uma avaliação formativa. Dessa forma, pela inserção inadequada, dentro de uma avaliação somativa, perde-se uma grande oportunidade de crescimento do aluno e da própria instituição.

Abstract: Introduction: Having a medical degree is enough documentation for professional practice in most Brazilian states. In fact, the evaluation of academic achievement by medical schools is certainly the most important filter of professional proficiency. Thus, the use of appropriate assessment instruments is essential. Competence is the set of knowledge, skills and attitudes that enable a medical practice of excellence. Differently, Performance can be defined as what the individual actually produces in their daily lives. The internship is the best opportunity for the precise monitoring of the expected achievements of a student in training. When we evaluate competence, we seek to measure how much the student knows, conceives or performs procedures, in an objective evaluation context. Performance is what the individual effectively uses of their skills. There is, therefore, a greater difficulty in evaluating performance, since motivation, discipline, physical and psychic conditions, as well as other experiential aspects are involved. In addition, continuous assessment is required, which implies close monitoring. The “Global Rating Scale” (GRS) is one of the modalities that allows, despite its subjectivity, evaluating the performance of the intern student. For that purpose, it is strategic that it be constructed through standardized nomenclature, defined parameters that allow the quantification, considering the differences between several pedagogical political projects. Due to the heterogeneity of the different settings of the practice of medicine, and the large number of subjects involved, would the criteria established for the structuring of the GRS be properly standardized and adequate to evaluate medical internship students? Method: In this work, we study, through the teaching plans, how GRS is structured in the evaluation of students of an institution regarding practical activities, and what can be improved and contribute to the knowledge on the subject. Results: We find that the GRS comprises 30% (fifth year) and 40% (sixth year) of the Student Global Rating (SGR), which corresponds to a single grade at the end of each graduation year and takes into account the performance and the workload of disciplines. Additionally, we evaluate the terms used as criteria to be used for the GRS. The analysis of the Teaching Plans showed that the GRS was irregular and lacked institutional standardization among the Disciplines; there is an absence of uniformity regarding the composition of the final grade or in the criteria to be evaluated, as well as in the differentiated application of the items in each learning scenario. Conclusion: The lack of a uniform methodology precludes an overall student follow-up, including how much culture and institutional values could influence student performance. The opportunity to conduct an effectively constructive evaluation is lost. On the other hand, the GRS, considering its subjective nature, could, if properly applied, be a fundamental instrument for the dialogue between teachers and students in a formative evaluation. Thus, due to inadequate inclusion, within a summative evaluation, a great opportunity for development of the student, as well as of the institution, is wasted.

Resumo: A avaliação de conhecimentos é uma etapa importante do trabalho docente, pois é preciso que os resultados das avaliações sejam válidos e confiáveis. Diversos programas de desenvolvimento docente têm sido realizados para melhorar a habilidade em elaborar questões objetivas pelos professores. Poucos estudos, no entanto, exploraram os benefícios de fornecer feedback aos autores de itens de múltipla escolha. O Teste de Progresso é uma avaliação longitudinal do ganho de conhecimentos dos estudantes cujos resultados são úteis para gerar feedback aos próprios estudantes, aos professores e aos gestores das escolas médicas. O objetivo deste relato é apresentar uma experiência exitosa em gerar desenvolvimento docente na habilidade de elaborar itens de qualidade para o Teste de Progresso por meio do feedback a respeito da qualidade e do destino destes. Anualmente, os professores das escolas médicas participantes de um consórcio para aplicação do Teste de Progresso são solicitados a formular novos itens para compor a versão do teste. Porém, o destino dos itens não é conhecido por seus autores, ou seja, eles não sabem se as questões são incorporadas à prova, se elas têm boa qualidade, qual o desempenho dos estudantes em cada questão e qual o funcionamento psicométrico delas. Em 2017, uma das escolas participantes do consórcio ofereceu aos seus autores de questões uma devolutiva sobre as falhas na redação, a modificação dos itens pelo comitê revisor, o desempenho dos estudantes nas questões e o funcionamento psicométrico em cada item. A porcentagem de itens falhos, ou seja, de qualidade não satisfatória para a inclusão no teste, era superior a 30%. Houve uma relação inversa entre a quantidade de itens falhos e o número de itens incluídos na prova final, numa análise por área de conhecimento da prova (ou seja, clínica, cirurgia, pediatria, ginecologia e obstetrícia, saúde pública e ciências básicas). No ano seguinte, observamos uma diminuição no número de falhas de itens (menor que 10%) e um aumento no número de questões elegíveis a serem selecionadas para o exame de Teste de Progresso. Portanto, oferecer feedback para os redatores de questões parece ser uma boa estratégia para desenvolver a habilidade docente em elaborar itens objetivos de boa qualidade.

Abstract: The evaluation of knowledge is an important step in the teachers’ work, because it is fundamental that the evaluation results be valid and reliable. Several faculty development programs have been undertaken to improve teachers’ skills on item writing. Few studies, however, have explored the benefits of providing feedback to multiple-choice item writers. Progress Testing is a longitudinal assessment of students’ knowledge gain. Their results are useful for generating feedback to students, teachers and medical school managers. The aim of this report is to present a successful experience of faculty development on high-quality item writing for Progress Testing through feedback about the fate of the items written by faculty members. Annually, faculties from medical schools participating in a consortium for the application of the Progress Test are asked to formulate new items to compose the test version. However, the fate of the items is not known by their authors, that is, they do not know if the items are incorporated into the test, if the items have good quality, what is the students’ performance in each of the items, and what is the psychometric function of the items. In 2017, one of the schools participating in the consortium offered its item authors a feedback regarding the flaws in item writing, modification of items by the review committee and students’ performance, as well as psychometric function in each item. The percentage of flawed item (items without enough quality to be selected for the test) was more than 30%. There was an inverse relation between the number of flawed item and the number of items included in the final exam, when analyzing the different content areas of the test (that is, Internal Medicine, Surgery, Pediatrics, Obstetrics and Gynecology, Public Health, and Basic Sciences). In the following year, we observed a decrease in the number of flawed item (less than 10%) and an increase in the number of eligible items to be selected for the Progress Testing. Therefore, giving feedback to item writers seems to be a good strategy for developing the faculty’s ability on writing good quality items.

RESUMO O Teste de Progresso é uma ferramenta de avaliação longitudinal do ganho de conhecimento de estudantes que tem sido aplicada no Brasil há mais de dez anos. O teste situa o estudante em seu processo evolutivo de ensino-aprendizagem e permite à instituição realizar o diagnóstico de suas deficiências ao longo da estrutura curricular. Ele pode ser utilizado pelos colegiados competentes para avaliação de alterações curriculares e avaliações específicas de disciplinas ou módulos de ensino. Com base na experiência de um consórcio de escolas, a Associação Brasileira de Educação Médica (Abem) propôs um projeto que tinha como um de seus objetivos incentivar escolas de todo o País a adotarem o Teste de Progresso como uma de suas ferramentas de avaliação. Reportamos a estratégia adotada para constituir núcleos interinstitucionais de avaliação com Teste de Progresso, bem como os resultados da primeira prova nacional do Teste de Progresso, que contou com a participação de 58 escolas e 23.065 estudantes. A implantação de núcleos interinstitucionais de Teste do Progresso com processos colaborativos de realização da prova representou um avanço para as escolas envolvidas. As escolas iniciaram um processo de colaboração não apenas para o Teste de Progresso, mas também para o intercâmbio de informações e experiências que trocam com base no conhecimento de cada uma. O projeto funcionou como o início de um movimento para que escolas médicas de todas as regiões do País adotem o Teste de Progresso como uma ferramenta de avaliação com potencial para reorientar a formação médica, ao fornecer um diagnóstico de formação em nível individual e institucional.

ABSTRACT Progress Testing has been applied in Brazil for more than ten years. It is a tool for longitudinal evaluation of students’ knowledge across levels of training. The test situates the student in his evolutionary teaching-learning process and allows the institution to diagnose its deficiencies throughout the curricular structure. It can be used to evaluate curricular changes and specific assessments of disciplines or teaching modules. From the experience of a consortium of schools, the Brazilian Association of Medical Education (ABEM) proposed a project that aimed to encourage schools throughout the country to adopt Progress Testing as one of its evaluation tools. We report on the strategy adopted to establish interinstitutional evaluation nuclei with Progress Testing, as well as the results of the first national exam, administered by 58 schools to 23,065 students. The implantation of cross-institutional Progress Testing triggered collaborative processes among the schools involved. Schools have begun a collaborative process not only for the Progress Testing, but also for the exchange of information. The project served as the beginning of a movement for medical schools in all regions of the country to adopt Progress Testing as an assessment tool with the potential to reorient medical training by providing information regarding institutional and individual performances.