Abstract Introduction: In view of the need to remotely assess clinical competencies during the COVID-19 pandemic, an online objective structured clinical examination (OSCE) was developed and applied in 2021 to applicants at the end of their medical degree at the National Autonomous University of Mexico, Faculty of Medicine and of incorporated institutions. Objective: To assess the OSCE online 2021 psychometric quality and compare it to a face-to-face OSCE modality in 2020 in a high stakes examination. Method: The OSCE was adjusted from a face-to-face to an online format. The clinical cases and the rubrics used for the online modality were previously designed according to the face-to-face OSCE. In each of the clinical cases, the ability of the physical examination was adjusted and the medical note was replaced to a verbal clinical summary. For this new modality we used the zoom platform; therefore, training courses were given to the assessors and patients to standardize their knowledge and performance on this platform. For the applicants we designed audiovisual resources explaining the process of the examination. We analyzed the applied procedure based on the design, implementation, and grade; also, we used the psychometric analysis to provide the validity evidence related to the internal structure of the test. Results: Both formats of the OSCE were composed of six-20 minutes stations. We examined the 99 items that constitute the total of the six evaluated competencies with a <0.001 discrimination between the high and the low scores. We identified six factors that explain the 60.7% of the variance in the face-to-face OSCE and six factors with five more indicators in the online format that explained the 56.6% of the variance. We calculated a Chronbach Alfa of 0.96 for the face-to-face format and a 0.93 for the online OSCE. Conclusions: Both OSCE formats showed psychometric quality evidence based on the content validity, internal structure of the test, and the response process, these characteristics strengthened both tests. This research showed that the online format is a feasible alternative for the evaluation of the practical phase in the professional examination.

Resumen Introducción: Ante la necesidad de evaluar a distancia las competencias clínicas durante la pandemia de COVID-19, se diseñó y aplicó un examen clínico objetivo estructurado (ECOE) en línea en 2021 a los egresados de la Facultad de Medicina de la Universidad Nacional Autónoma de México y a las instituciones incorporadas. Objetivo: Evaluar la calidad psicométrica del ECOE en línea 2021 y compararlo con un ECOE presencial realizado en 2020 para un examen de altas consecuencias. Método: Se desarrolló la adaptación del ECOE presencial a la modalidad en línea adecuándose en todos los casos clínicos la habilidad clínica de la exploración física y se sustituyó el rubro de la nota médica por un resumen clínico verbal. Para la aplicación en línea se utilizó la plataforma Zoom, se capacitó a los evaluadores y pacientes estandarizados para homogeneizar su desempeño en esta plataforma. Se analizó el procedimiento empleado en el diseño, elaboración, implementación y calificación; así como el uso de análisis estadístico psicométricos que dieron cuenta de la evidencia de validez referida a la estructura interna de la prueba. Resultados: Ambas modalidades de ECOE constaron de seis estaciones de 20 minutos. Se evaluaron los 99 reactivos que integran la totalidad de las seis competencias evaluadas y discriminaron a <0.001 entre puntajes altos y bajos. Se identificaron seis factores que explican el 60.7% de la varianza en el ECOE presencial, y seis factores más cinco indicadores en la modalidad en línea con una varianza explicada de 56.6%. El Alfa de Cronbach fue 0.96 para el ECOE presencial y 0.93 para la modalidad en línea. Conclusiones: Ambas modalidades de ECOE mostraron evidencias de calidad psicométrica con respecto a la validez de contenido, la estructura interna de la prueba y el proceso de respuesta, lo que le da solidez al mismo. Este estudio observó que la modalidad en línea es una alternativa factible como evaluación de la fase práctica del examen profesional.

RESUMO Objetivo Avaliar o Programa de manejo integral de diabetes por etapas (MIDE) no México segundo três tipos de indicadores: processo, estrutura e impacto. Métodos Estudo transversal realizado com dados de 97.452 pessoas com diabetes (PD) que participaram do Programa MIDE de empoderamento do paciente em “módulos” designados (unidades de saúde que prestam atenção padronizada à diabetes) de ambulatórios hospitalares e centros de medicina da família do Instituto de Serviços e Seguridade Social dos Trabalhadores do Estado (ISSSTE) entre 2007 e 2014. O programa promove o empoderamento e o autocuidado dos pacientes com diabetes realizando consultas ambulatoriais com uma equipe de saúde multidisciplinar que recebe capacitação contínua. Os dados de referência foram comparados aos resultados pós-programa para os seguintes indicadores: processo (controle metabólico segundo os níveis de hemoglobina glicada [HbA1c], triglicerídeos [TG] e colesterol total [CT]); estrutura (número de módulos do MIDE instalados nos ambulatórios do ISSSTE e número de pacientes/pessoal de saúde credenciados como especialistas/diplomados em diabetes) e impacto (número médio de dias de doença do paciente [DD] e internações hospitalares (IH) por PD por um período de 12 meses). Resultados No período de estudo de sete anos, o percentual de pacientes com controle metabólico (HbA1c <7,0%, TG <150 mg/dl e CT <200 mg/dl) aumentou significativamente (de 35,4% a 60%, atingindo o ponto mais alto de 62% em 2013; P < 0,001). Houve redução dos níveis médios de HbA1c, TG e CT por PD de 25%, 31% e 11%, respectivamente. O número médio de DD e IH por PD em um período de 12 meses teve queda de 38% e 41%, respectivamente. Ao todo, foram instalados 140 módulos do Programa MIDE nos ambulatórios do ISSSTE, 1.117 diplomas foram concedidos a 826 profissionais da saúde e 2.613 PD foram credenciados como “pacientes especialistas em diabetes”. Conclusões O programa MIDE de empoderamento do paciente é viável, utilizável e aceitável às PD. Promove melhor controle metabólico da diabetes, reduz o número de DD e IH e facilita a participação de pacientes, o envolvimento do pessoal da saúde e a tomada de decisão conjunta.

ABSTRACT Objective To evaluate Mexico's national Integrated Management of Diabetes in Stages (Manejo Integral de la Diabetes por Etapas, MIDE) program using three types of indicators: process, structure, and impact. Methods A cross-sectional study was conducted using data for 97 452 people with diabetes (PWD) who participated in the MIDE patient empowerment program (PEP) at “MIDE modules” (standardized diabetes health care units) at Mexico's Institute for Social Security and Services for State Workers (Instituto de Seguridad y Servicios Sociales de los Trabajadores del Estado, ISSSTE) hospital clinics and family medical clinics nationwide between 2007 and 2014. The program promotes diabetes patient empowerment and self-care through outpatient consultations with a multidisciplinary health care team supported by continuous training. Baseline data were compared with results post-program for the following indicators: process (metabolic control (MetC), based on glycated hemoglobin (HbA1c), triglyceride (TG), and total cholesterol (TC) levels); structure (number of MIDE modules installed at ISSSTE clinics and number of patients/health personnel accredited as diabetes experts/awarded diplomas); and impact (average number of patient illness days (IDs) and hospitalization episodes (HEs) per PWD over a 12-month period). Results Over the seven-year study period, the proportion of patients with MetC (HbA1c < 7.0%, TG < 150 mg/dL, and TC < 200 mg/dL) increased significantly (from 35.4% to 60% (with a peak level of 62% in 2013); P < 0.001); average HbA1c, triglycerides, and total cholesterol per PWD dropped by 25%, 31%, and 11% respectively; average number of IDs and HEs per PWD over a 12-month period dropped by 38% and 41% respectively; a total of 140 MIDE modules were installed at ISSSTE clinics; and a total of 1 117 diplomas were awarded to 826 health professionals, and 2 613 PWD were accredited as “patient experts in diabetes.” Conclusions The MIDE PEP is feasible, usable, and acceptable to PWD. The program improves MetC; reduces the frequency of IDs and HEs; and facilitates patient participation, the involvement of health personnel, and shared decision-making.

RESUMEN Objetivo: Evaluar el programa nacional mexicano “Manejo Integral de la Diabetes por Etapas” (MIDE) usando tres tipos de indicadores: proceso, estructura e impacto. Métodos Se realizó un estudio transversal con los datos de 97 452 personas con diabetes que participaron entre el 2007 y el 2014 en el programa de empoderamiento de pacientes de MIDE que se llevó a cabo en los “módulos del MIDE” (unidades estandarizadas de atención de salud de diabetes) en el Instituto de Servicios y de Seguridad Sociales de los Trabajadores del Estado (ISSSTE) de México, además de en consultorios de hospitales y centros de medicina familiar de todo el país. El programa promueve el empoderamiento y el autocuidado en los pacientes con diabetes mediante consultas ambulatorias con un equipo de atención de salud multidisciplinario complementadas con talleres de capacitación continua. Se compararon los datos iniciales y los resultados al final del programa con respecto a los siguientes indicadores: proceso (control metabólico basado en análisis de los niveles de glucohemoglobina [HbA1c], triglicéridos y colesterol total); estructura (número de módulos del MIDE instalados en clínicas del ISSSTE y número de pacientes y personal de salud acreditado como experto en diabetes o que ha obtenido un certificado); e impacto (número promedio de días enfermos de los pacientes y número de hospitalizaciones por persona con diabetes durante un período de 12 meses). Resultados En el período de estudio de siete años, la proporción de pacientes con control metabólico (HbA1c < 7,0%, triglicéridos < 150 mg/dL y colesterol total < 200 mg/dL) aumentó significativamente (de 35,4% a 60%, con un nivel máximo de 62% en 2013; P < 0,001); el nivel promedio de HbA1c, triglicéridos y colesterol total por persona con diabetes descendió en 25%, 31% y 11% respectivamente; el número promedio de días enfermos y número de hospitalizaciones por persona con diabetes durante un período de 12 meses descendió en 38% y en 41% respectivamente; se instalaron un total de 140 módulos del MIDE en clínicas del ISSSTE, y se otorgaron un total de 1117 certificados a 826 profesionales de la salud y 2613 personas con diabetes fueron acreditados como “paciente experto en diabetes”. Conclusiones El programa de empoderamiento de pacientes del MIDE es un programa factible y aceptable para utilizarse con las personas con diabetes. El programa mejora los valores del control metabólico; reduce la frecuencia de días enfermos y número de hospitalizaciones; y facilita la participación tanto de los pacientes como del personal de salud, así como la toma de decisiones compartida.