Resumen Objetivo. Este estudio de caso exploratorio tiene como propósito analizar las actitudes, prácticas y preferencias del profesorado y alumnado de educación superior en relación con la evaluación en línea. Metodología. Se aplicó una metodología cuantitativa basada en el cuestionario, y se realizó un análisis descriptivo y correlacional. Las personas participantes incluyeron alumnado y profesorado de una universidad española presencial. Resultados. Se presentan ciertas similitudes y diferencias en cuanto a actitudes, prácticas y preferencias entre alumnado y profesorado. También se identificaron ciertas relaciones, si bien débiles, entre las prácticas de evaluación en línea utilizadas y algunas características del perfil del profesorado o su docencia (experiencia docente, carga docente y tamaño de las clases). Conclusiones. Los hallazgos ponen de manifiesto que gran parte del profesorado muestra ciertas reticencias en el diseño y realización de estrategias de evaluación en línea más allá de los exámenes tradicionales, así como una gran preocupación en cuanto al control del alumnado y el peligro de fraude. Por su parte, el alumnado presenta actitudes generalmente más positivas que el personal docente respecto a la evaluación en línea. Las recomendaciones apuntan a la consideración del papel de las unidades institucionales de apoyo y de formación al profesorado para la mejora de la competencia digital docente en relación con la evaluación en línea, la importancia de la actualización de los sistemas de seguridad en las infraestructuras técnicas, y el ajuste de los efectos de la carga docente y el tamaño de las clases cuando se aplica la evaluación en línea.

Resumo Objetivo. Este estudo de caso exploratório procura analisar as atitudes, práticas e preferências dos docentes e estudantes do ensino superior em relação à avaliação em linha. Metodologia. Foi utilizada uma metodologia quantitativa baseada num questionário, tendo sido efetuada uma análise descritiva e correlacional. Os participantes incluíam estudantes e professores de uma universidade espanhola presencial. Resultados. São apresentadas algumas semelhanças e diferenças de atitudes, práticas e preferências entre alunos e professores. Foram também identificadas algumas relações, embora tênues, entre as práticas de avaliação em linha utilizadas e algumas características do perfil dos professores ou do seu ensino (experiência de ensino, carga lectiva e dimensão da turma). Conclusões. Os resultados mostram que uma grande parte do pessoal docente mostra alguma relutância na concepção e aplicação de estratégias de avaliação em linha para além dos exames tradicionais, bem como uma grande preocupação com o controlo dos alunos e o perigo de fraude. Por outro lado, os estudantes mostram atitudes geralmente mais positivas em relação à avaliação em linha do que o pessoal docente. As recomendações apontam para a consideração do papel do apoio institucional e das unidades de formação de professores para a melhoria da competência digital dos professores em relação à avaliação em linha, para a importância da atualização dos sistemas de segurança nas infraestruturas técnicas e para o ajustamento dos efeitos da carga lectiva e da dimensão das turmas quando a avaliação em linha é aplicada.

Abstract Objective. This exploratory case study aims to analyze the attitudes, practices and preferences of higher education faculty and students in relation to online assessment. Methodology . A quantitative methodology based on a questionnaire was used, and a descriptive and correlational analysis was conducted. Participants included students and faculty members from a Spanish on-site university. Results. Certain similarities and differences in attitudes, practices and preferences between students and teachers are presented. Some relationships, albeit weak, were also identified between the online assessment practices used and some characteristics of the teachers’ profile or teaching (teaching experience, teaching load and class size). Conclusions. The findings show that a large part of the teaching staff shows some reluctance in the design and implementation of online assessment strategies beyond traditional exams, as well as a great concern about student control and the danger of fraud. On the other hand, students show generally more positive attitudes towards online assessment than the teaching staff. The recommendations point to the consideration of the role of institutional support and teacher training units for the improvement of teachers’ digital competence in relation to online assessment, the importance of updating security systems in technical infrastructures, and adjusting the effects of teaching load and class size when online assessment is applied.

Resumen En el desempeño del estudiantado y docentes durante una prueba sumativa oral de tribunal no solamente influyen sus habilidades lingüísticas y comunicativas, sino también otros factores ajenos al dominio del idioma. El presente artículo es un extracto de la investigación que se realizó en la Sede del Atlántico de la Universidad de Costa Rica en el segundo semestre de 2013, la cual tomó como participantes al estudiantado y cuerpo docente de los cursos de Comunicación Oral II, IV y VI de la carrera de Enseñanza del Inglés de sus tres Recintos. El objetivo de este estudio fue identificar los factores psicoemocionales, reglamentarios y ambientales (ambiente interno y externo) que podrían influir negativamente en el estudiantado y cuerpo docente de la carrera al participar en pruebas sumativas orales de tribunal. La investigación siguió una metodología de enfoque cuantitativo y utilizó cada tipo de factor como variables dependientes, con un propósito descriptivo. La totalidad de estudiantes y docentes fue encuestada entre setiembre y octubre del 2013. Los principales resultados revelan que tanto estudiantes como docentes se ven afectadas y afectados por estos tres tipos de factores, principalmente el estudiantado, quienes alegan afectación en su desempeño por factores como el temor, la sudoración, respiración agitada, la ventilación del aula y el tiempo de la prueba. Por su parte, se concluye que el profesorado se ve afectado mayormente por factores reglamentarios como la duración total de la aplicación de la prueba, así como el agotamiento. La recomendación principal para ambas poblaciones que se desprende de esta investigación es revisar con detalle el Reglamento de Régimen Académico Estudiantil, con el fin de conocer a profundidad sus derechos en cuanto a evaluación (en el caso del estudiantado) y evitar prácticas contrarias a lo que se encuentra regulado (en el caso del cuerpo docente).

Abstract The performance of students and professors during a summative tribunal oral test is not only influenced by the linguistic and communicative skills of the participants, but also by some factors unrelated to proficiency in the language. Therefore, this article summarizes the research that was carried out at the Atlantic Branch of the University of Costa Rica in the second semester of 2013, which included professors and students of the Oral Communication II, IV, and VI courses of the English Teaching major of its three campuses. Moreover, the objective of this study was to identify the psycho-emotional, regulatory, and internal and external environmental factors that could negatively influence the students and professors of this major when participating in summative oral tests. Regarding the approach, this research followed a quantitative one and considered every type of factor as dependent variables, with a descriptive purpose. All students and professors in these courses were surveyed between September and October 2013. The main results show that both students and instructors are affected by these three types of factors, mainly students, who claim that their performance is influenced by factors such as fear, sweating, heavy breathing, classroom ventilation, and the time that the test takes. For their part, it is concluded that professors are mostly affected by regulatory factors such as the total duration of the test application, as well as aspects such as exhaustion. Hence, the main recommendation derived from this research, for both students and professors, is to review in detail the student academic regime regulations (Reglamento de Régimen Académico Estudiantil, in Spanish) to know in depth their rights when it comes to evaluation (in the case of students) and avoid counterproductive evaluation practices (in the case of professors).

Formative assessment consists of a qualitative verification of the skills and competencies of an individual in a formal instructional process. This evaluation is fundamental for the progress of the tutorial groups, present in the methodology of Problem-Based Learning, widely used in medical courses in Brazil. However, factors such as lack of knowledge and fear of the evaluation process prevent it from being carried out. Therefore, this study aims to analyze how formative assessment occurs in tutorial groups, based on Emotional Didactic Suitability. That is, it aims to understand how formative assessment affects the interest, attitude and emotions of students participating in the tutorial group. La investigación se caracteriza por ser cualitativa, teniendo como informantes a estudiantes y a un tutor del curso de Medicina de una universidad del interior de Bahía.Para la recolección de datos, se utilizó la Observación Participante utilizando cuestionarios estructurados y observación de dinámicas tutoriales en 2021. Data analysis was performed through the Criterion of Emotional Didactic Suitability adapted to the medical course, which aims to measure how students are interested and affected in the teaching-learning process. As a result, it was noticed that students and teachers still value summative evaluation more than formative evaluation, creating aversive behaviors to the evaluation process, such as anxiety and fear. The notion of the importance of evaluation at the end of tutoring was perceived as a way to stimulate the development of skills and attitudes, although it does not follow a standardization of self-evaluation, peer evaluation, tutor evaluation and tutor evaluation.

La evaluación formativa consiste en una verificación cualitativa de las habilidades y competencias de un individuo en un proceso formal de instrucción. Esta evaluación es fundamental para el progreso de los grupos tutoriales, presentes en la metodología del Aprendizaje Basado en Problemas, ampliamente utilizada en los cursos de medicina en Brasil. Sin embargo, factores como el desconocimiento y el miedo al proceso de evaluación impiden que se lleve a cabo. Por lo tanto, este estudio tiene como objetivo analizar cómo se produce la evaluación formativa en grupos tutoriales, basada en la Idoneidad Didáctica Emocional. Es decir, pretende comprender cómo afecta la evaluación formativa al interés, la actitud y las emociones de los estudiantes que participan en el grupo tutorial. La investigación se caracteriza por ser cualitativa, teniendo como informantes a estudiantes y a un tutor del curso de Medicina de una universidad del interior de Bahía.Para la recolección de datos, se utilizó la Observación Participante utilizando cuestionarios estructurados y observación de dinámicas tutoriales en 2021. El análisis de los datos se realizó a través del Criterio de Idoneidad Didáctica Emocional adaptado al curso de medicina, que tiene como objetivo medir cómo los estudiantes están interesados y afectados en el proceso de enseñanza-aprendizaje. Como resultado, se notó que los estudiantes y los maestros todavía valoran la evaluación sumativa más que la evaluación formativa, creando comportamientos aversivos al proceso de evaluación, como la ansiedad y el miedo. La noción de la importancia de la evaluación al final de la tutoría fue percibida como una forma de estimular el desarrollo de habilidades y actitudes, aunque no sigue una estandarización de autoevaluación, evaluación por pares, evaluación del tutor y evaluación del tutor.

A avaliação formativa consiste em uma verificação qualitativa das habilidades e competências de um indivíduo em processo instrucional formal. Essa avaliação constitui-se como fundamental para o andamento dos grupos tutoriais, presentes na metodologia da Aprendizagem Baseada em Problemas, utilizada amplamente nos cursos de Medicina do Brasil. Porém, fatores como a falta de conhecimento e medo do processo avaliativo impedem que ela seja efetivada. Portanto, esse estudo visa analisar como ocorre a avaliação formativa em grupos tutoriais, com base na Idoneidade Didática Emocional. Ou seja, pretende compreender como a avaliação formativa afeta o interesse, a atitude e as emoções dos alunos que participam do grupo tutorial. A pesquisa caracteriza-se como qualitativa, tendo como informantes alunos e uma tutora do curso de Medicina de uma faculdade do interior da Bahia. Para coleta de dados foi utilizada a Observação Participante com utilização de questionários estruturados e observação da dinâmica tutorial no ano de 2021. A análise dos dados se deu através do Critério de Idoneidade Didática Emocional adaptados para o curso de Medicina, que tem a finalidade de medir como discentes se interessam e são afetados no processo ensino-aprendizagem. Como resultado percebeu-se que os discentes e docente ainda valorizam mais a avaliação somativa em detrimento à formativa, criando comportamentos aversivos ao processo avaliativo, tais como ansiedade e medo. Percebeu-se a noção da importância da avaliação ao final da tutoria como forma de estimular o desenvolvimento de habilidades e atitudes, embora ela não siga uma padronização de autoavaliação, avaliação dos pares, avaliação do tutor e avaliação pelo tutor.

Resumen Las pruebas internacionales de aplicación masiva permiten evaluar los aportes de los factores individuales, familiares, institucionales y nacionales al logro educativo de los estudiantes expresado en su desempeño. En este contexto, el propósito de este estudio fue proponer y evaluar un modelo de efectos centrado en el procesamiento cognitivo esencial e incidental de las actividades académicas, de acuerdo con el desempeño en las pruebas de matemáticas en estudiantes de sexto grado de 15 países (y el estado de Nuevo León de México) que participaron en el Tercer Estudio Regional Comparativo y Explicativo (TERCE). Se formuló un modelo de ecuaciones estructurales en el que se calcularon índices de procesamiento esencial (control atencional, memoria de trabajo y supervisión familiar) y procesamiento incidental (violencia percibida, uso de ocio de la computadora -videojuegos, redes sociales, reproducción de contenidos, etcétera), con base en los ítems o preguntas utilizados en el TERCE. Los índices se diseñaron y obtuvieron según el Modelo de Rasch de la Teoría de Respuesta al Ítem (TRI). El modelo planteado afecta el desempeño en la prueba en 24 puntos. La variable con mayor tamaño de efecto es el uso de ocio de computadoras en el hogar. Los resultados se discuten a la luz de las hipótesis cognitivas sobre la distribución de recursos de atención y la de entrenamiento para entender el rol de las tecnologías de la información en el proceso formativo.

Abstract International tests of massive application allow evaluating how individual, institutional, national, and family factors contribute to students' educational achievement through their performance. Consequently, education evaluation is based on the paradigm of general and specific competencies for life. One of these general competencies is the capacity to solve mathematical problems and apply logical thinking to problem-solving. In order to evaluate this general competence, standardized tests have been developed. Among these tests, the Third Regional Comparative and Explanatory Study (TERCE) in 2013 evaluated the mathematical and other areas' academic performance of children in the third and sixth grade. The TERCE Mathematics evaluation allows researchers to capture the students' academic performance in five domains: numeric, geometric, measurement, statistics, and variation, as well as their cognitive performance in objects and elements recognition and simple and complex problem-solving. In addition, to evaluate these eight dimensions, the TERCE test also asks for information regarding academic context, family environment, and teachers, among others. Despite this information, in Colombia and in general, the evaluation of the socioeconomic context over academic performance has been studied mainly considering the schools' characteristics, families' economic levels, and public expenses. Therefore, there is little evidence of the effects of psycho-pedagogical and psychological factors on academic performance. Psycho-pedagogical models emphasize the dependence of the superior processes on perceptual and attentional processes and the need for activities that demand deep processing and active involvement with information before, during, and after classes. Thus, attending simultaneously to different elements affects the development of cognitive control functions, which leads to low academic achievement and performance. Frequently, students face academic activities in different scenarios where the attentional system should divide its resources between several stimulus sources. Activities in which the attentional system focuses are “essential processing”, and those not related to the main academic activity are called “incidental processing”. Consequently, increasing the sources of incidental processing would decrease the attentional resources devoted to the essential processing of educational activities producing low academic performance. In this context, the study proposes and evaluates an effects model focused on essential and incidental cognitive processing of academic activities. The information was captured on the mathematics performance of sixth-grade students from 15 countries (and the state of Nuevo León de México) participating in the Third Regional Comparative and Explanatory Study (TERCE). A Structural Equations model was formulated using indices of Essential Processing (Attentional Control, Working Memory, and Family Supervision) and Incidental Processing (Perceived Violence, Leisure use of the computer, and incidental processing) based on the items or questions used in the TERCE. The indices were designed based on the Item Response Theory (IRT) model. Findings show that the proposed model affects the performance in the test by 24 points. Higher scores in essential processing produce higher scores in the mathematics component of the TERCE test. Family supervision of academic activity is the single element with the highest impact on academic performance (3.020); on the other hand, attentional control (7.48) and working memory (4.295) also impact academic performance positively. Regarding the incidental processing variables, lower levels of perceived violence (1.680), less noise and distractor in class (2.130), and higher use of computers at home for leisure activities (5.851) have the most significant impacts on academic performance. The results are discussed considering the cognitive hypotheses on the distribution of attention resources and the training hypothesis to understand information technologies' role in the academic processes. Suggestions for further research focus on the inclusion of items with a higher theoretical background that allows researchers to evaluate the impact of essential and incidental processing on academic performance using items specially designed with that goal to get more conclusive and robust results.

Résumé La présente recherche a eu pour objectif exploiter les liens entre les croyances des futurs enseignants à l’égard du redoublement, l’apprentissage et l’évaluation en deuxième année de scolarité. Un questionnaire a été soumis à 103 étudiants qui étudiaient pour devenir enseignants à l´école élémentaire (99% de femmes, entre 19 et 49 ans). Les résultats ont indiqué que la majorité des futurs enseignants avaient des croyances plus positives par rapport au modèle d'apprentissage constructiviste qu'au modèle transmissif. Leurs croyances à propos de l'évaluation sommative ou formative sont neutres. Les participants croyant que le redoublement a des effets négatives sur le développement socio-affectif des élèves, n'ayant pas une conception définie de ses effets sur les performances scolaires. Cependant ils croient que le redoublement est plus bénéfique lorsqu'il est réalisé en début de scolarité. Ces résultats seront discutés relativement à l'importance d'évaluer les croyances des futurs enseignants tout au long de leur formation.

Abstract This study aimed to characterize and explore the relationships between future teachers’ beliefs about learning, assessment, and 2nd grade retention. One hundred and three students enrolled in primary teacher training (99% female, ages 19 to 49 years) answered a questionnaire. The results indicated that most future teachers had more positive beliefs about the constructivist teaching model than the transmissive one and do not have a formed opinion about the summative or formative assessment. The students presented negative beliefs about grade retention effects on students’ socio-affective development, not having a formed opinion about its effects on performance but believing that it is better when performed at the beginning of schooling. Beliefs regarding grade retention are positively correlated with summative assessment beliefs. The importance of assessing the beliefs of future teachers during their initial training is discussed.

Resumen El objetivo de este estudio fue caracterizar y explorar las relaciones entre las creencias de los futuros profesores de primaria sobre el aprendizaje, la evaluación y repetición del 2.º grado. Respondieron a un cuestionario 103 alumnos matriculados en cursos de formación de profesores de primaria (99% mujeres, entre 19 y 49 años). Los resultados indicaron que la mayoría de los futuros maestros tenían creencias más positivas en relación con el modelo de aprendizaje constructivista que con el transmisivo y no tienen una opinión formada sobre la evaluación sumativa o formativa. Los estudiantes presentaron creencias negativas sobre los efectos de la repetición de curso en el desarrollo socioafectivo de los alumnos, sin tener una opinión definida sobre sus efectos en el rendimiento académico, pero creyendo que es mejor cuando se realiza al inicio de la escolaridad. Las creencias sobre la repetición de grado se correlacionan positivamente con las creencias de evaluación sumativa. Se discute la importancia de evaluar las creencias de los futuros profesores durante su formación inicial.

Resumo O objetivo deste estudo foi caracterizar e explorar as relações entre as crenças de aprendizagem, avaliação e retenção escolar no 2.º ano de escolaridade dos futuros professores. Responderam a um questionário 103 estudantes inscritos em cursos de ensino do 1.º ciclo do ensino básico (99% do sexo feminino, entre 19 e 49 anos). Os resultados indicaram que a maioria dos futuros professores apresentaram crenças mais positivas em relação ao modelo de aprendizagem construtivista do que ao modelo transmissivo e não têm uma opinião formada sobre a avaliação sumativa ou formativa. Apresentaram também crenças negativas sobre os efeitos da retenção no desenvolvimento socioafetivo dos alunos, não tendo uma conceção definida sobre os seus efeitos no desempenho académico, mas acreditando que é melhor quando realizada no início da escolaridade. As crenças face à retenção escolar estão relacionadas positivamente com as crenças de avaliação sumativa. É discutida a importância da avaliação das crenças dos futuros professores ao longo da sua formação inicial.

Resumo Atualmente, muitos estudos já estão disponíveis sobre o conhecimento teórico da população sobre as mudanças climáticas. Os resultados de alguns desses estudos mostram a existência de uma séria confusão em relação a certos fenômenos e conceitos básicos de grande importância, apesar de o problema das mudanças climáticas ter adquirido uma relevância crescente em diferentes meios de comunicação nos últimos anos e também estar presente nos currículos escolares como parte fundamental da Educação para a Sustentabilidade. Algumas dessas confusões constituem verdadeiras ideias alternativas. Este artigo analisa, em primeiro lugar, a incidência e a força de cinco dessas ideias em alunos do Ensino Secundário Obrigatório (ESO) e em vários grupos de professores em formação. Em seguida, é feita uma proposta didática para alcançar a mudança de uma dessas ideias, que envolve vários conceitos e princípios da Física.

Abstract This study presents the use of tools for verifying the operation of automated feedback as implemented in programming courses. Educational environments offer the experience of summative and formative evaluation of computer programs, which is aimed at students. In this type of tool, students solve a programming task, which is automatically validated in order to generate grades and feedback. Regarding summative evaluation, a numerical or percentage grade is generated on whether the solution of a task is correct. In the case of formative evaluation, information is generated on errors or suggestions to be incorporated to the programs in order to improve learning. The employed tools are UNCode, Ask-Elle, and Nbgrader. In addition, some important remarks are made about some of the tools used for comparing programs and validating differences.

Resumen Este estudio presenta el despliegue de herramientas para verificación del funcionamiento de la realimentación automatizada implementada en cursos de programación. Los entornos educativos ofrecen la experiencia de evaluación sumativa y formativa de programas informáticos dirigida a estudiantes. En este tipo de herramientas, los estudiantes resuelven una tarea de programación, la cual es validada de manera automática para generar calificaciones y realimentación. Con respecto a la evaluación sumativa, se genera una calificación numérica o porcentual sobre si es correcta o no la solución de una tarea. Para el caso de la evaluación formativa, se genera información sobre los errores o sugerencias a incorporar en los programas con el fin de mejorar el aprendizaje. Las herramientas utilizadas son UNCode, Ask-Elle y Nbgrader. Adicionalmente, se hacen menciones importantes sobre algunas de las herramientas usadas para la comparación de programas y validación de diferencias.

Resumen: Con base a la problemática social que pueden generar los hábitos fraudulentos por parte de la población estudiantil en las aulas universitarias, se estudia acerca del comportamiento que han tenido los estudiantes universitarios con respecto a cometer prácticas de fraude asociadas a copiar en las evaluaciones, cuando se enseña bajo la modalidad en entornos de enseñanza remota de emergencia de acuerdo a los reglamentos académicos, esto desde una perspectiva de análisis a 60 estudiantes de los cursos cuantitativos de las ciencias económicas de tres de las universidades públicas de Costa Rica. El artículo se enfoca en una investigación de tipo exploratoria, la cual se desarrollará a través de un diseño de recolección de datos de naturaleza cualitativa, a través de trabajo de campo. En el contexto de la educación bajo entornos de enseñanza remota de emergencia, los datos obtenidos de la población entrevistada denotan una disminución marcada en la realización de los malos hábitos de fraude en las evaluaciones de los cursos, debido a que las personas que estudian en dichos entornos, tienen las posibilidades de poder consultar los materiales didácticos que se utilizan a lo largo de la asignatura como apoyo para la realización de las pruebas. A través de la investigación, se logra identificar los principales motivos que influyen en que los estudiantes copien en las evaluaciones académicas universitarias, analizando como los entornos de enseñanza remota de emergencia potencian que se realicen hábitos fraudulentos apoyados en los recursos tecnológicos con los que cuentan los alumnos.

Resumo: Com base nos problemas sociais que podem gerar hábitos fraudulentos por parte da população estudantil nas salas de aula das universidades, estudamos o comportamento dos estudantes universitários com relação ao cometimento de práticas fraudulentas associadas à cópia em avaliações, quando ensinadas sob a modalidade de ambientes de ensino remoto de emergência, de acordo com as regulamentações acadêmicas, a partir da perspectiva de uma análise de 60 estudantes de cursos quantitativos de ciências econômicas em três das Universidades Públicas da Costa Rica. O artigo enfoca um tipo exploratório de pesquisa, para o qual será desenvolvido em um projeto de coleta de dados de natureza qualitativa; através de trabalho de campo. No contexto da educação sob ambientes de aprendizado remoto de emergência, os dados obtidos da população entrevistada denotam uma acentuada diminuição no desempenho dos maus hábitos de fraude nas avaliações dos cursos; devido ao fato de que as pessoas que estudam em tais ambientes, têm a possibilidade de consultar os materiais didáticos utilizados na disciplina como apoio para a realização dos testes. Através da pesquisa, é possível identificar as principais razões que influenciam os estudantes a copiar nas avaliações acadêmicas universitárias, analisando como ambientes de ensino remoto de emergência incentivam hábitos fraudulentos apoiados pelos recursos tecnológicos disponíveis para os estudantes.

Abstract: This work is based on the social problems that university students' fraudulent habits can generate. Also, students' behavior concerning fraudulent practices associated with cheating in evaluations while teaching under the modality in emergency online teaching environments according to academic regulation is studied. We offer an analytic perspective on 60 students of the quantitative courses of economic sciences at three public universities in Costa Rica. The article focuses on an exploratory type of research developed through a qualitative data collection design; through fieldwork. In the context of education under emergency online teaching environments, the data obtained from the population interviewed shows a marked decrease in the realization of bad habits of fraud in course evaluations. Furthermore, students in these environments have the possibility of being able to consult the didactic materials that are used throughout the course as support for carrying out the tests. Through the investigation, it is possible to identify the main reasons that influence students to cheat in university academic evaluations, analyzing how emergency online teaching environments promote fraudulent habits supported by the technological resources available to students.

Abstract Introduction: In view of the need to remotely assess clinical competencies during the COVID-19 pandemic, an online objective structured clinical examination (OSCE) was developed and applied in 2021 to applicants at the end of their medical degree at the National Autonomous University of Mexico, Faculty of Medicine and of incorporated institutions. Objective: To assess the OSCE online 2021 psychometric quality and compare it to a face-to-face OSCE modality in 2020 in a high stakes examination. Method: The OSCE was adjusted from a face-to-face to an online format. The clinical cases and the rubrics used for the online modality were previously designed according to the face-to-face OSCE. In each of the clinical cases, the ability of the physical examination was adjusted and the medical note was replaced to a verbal clinical summary. For this new modality we used the zoom platform; therefore, training courses were given to the assessors and patients to standardize their knowledge and performance on this platform. For the applicants we designed audiovisual resources explaining the process of the examination. We analyzed the applied procedure based on the design, implementation, and grade; also, we used the psychometric analysis to provide the validity evidence related to the internal structure of the test. Results: Both formats of the OSCE were composed of six-20 minutes stations. We examined the 99 items that constitute the total of the six evaluated competencies with a <0.001 discrimination between the high and the low scores. We identified six factors that explain the 60.7% of the variance in the face-to-face OSCE and six factors with five more indicators in the online format that explained the 56.6% of the variance. We calculated a Chronbach Alfa of 0.96 for the face-to-face format and a 0.93 for the online OSCE. Conclusions: Both OSCE formats showed psychometric quality evidence based on the content validity, internal structure of the test, and the response process, these characteristics strengthened both tests. This research showed that the online format is a feasible alternative for the evaluation of the practical phase in the professional examination.

Resumen Introducción: Ante la necesidad de evaluar a distancia las competencias clínicas durante la pandemia de COVID-19, se diseñó y aplicó un examen clínico objetivo estructurado (ECOE) en línea en 2021 a los egresados de la Facultad de Medicina de la Universidad Nacional Autónoma de México y a las instituciones incorporadas. Objetivo: Evaluar la calidad psicométrica del ECOE en línea 2021 y compararlo con un ECOE presencial realizado en 2020 para un examen de altas consecuencias. Método: Se desarrolló la adaptación del ECOE presencial a la modalidad en línea adecuándose en todos los casos clínicos la habilidad clínica de la exploración física y se sustituyó el rubro de la nota médica por un resumen clínico verbal. Para la aplicación en línea se utilizó la plataforma Zoom, se capacitó a los evaluadores y pacientes estandarizados para homogeneizar su desempeño en esta plataforma. Se analizó el procedimiento empleado en el diseño, elaboración, implementación y calificación; así como el uso de análisis estadístico psicométricos que dieron cuenta de la evidencia de validez referida a la estructura interna de la prueba. Resultados: Ambas modalidades de ECOE constaron de seis estaciones de 20 minutos. Se evaluaron los 99 reactivos que integran la totalidad de las seis competencias evaluadas y discriminaron a <0.001 entre puntajes altos y bajos. Se identificaron seis factores que explican el 60.7% de la varianza en el ECOE presencial, y seis factores más cinco indicadores en la modalidad en línea con una varianza explicada de 56.6%. El Alfa de Cronbach fue 0.96 para el ECOE presencial y 0.93 para la modalidad en línea. Conclusiones: Ambas modalidades de ECOE mostraron evidencias de calidad psicométrica con respecto a la validez de contenido, la estructura interna de la prueba y el proceso de respuesta, lo que le da solidez al mismo. Este estudio observó que la modalidad en línea es una alternativa factible como evaluación de la fase práctica del examen profesional.

Abstract Introduction: Summative assessment is usually applied at the end of an academic period to measure a student’s learning outcome, these assessments use various representations of patients, from real patients to written narratives based on clinical cases. There is scarse evidence about association between the results of written assessments based on clinical cases and academic performance in medical students. Objective: To evaluate the correlation between the score of an annual written exam based on clinical cases with multiple choice questions and the weighted average -as an indicator of academic performance- in students of human medicine in Peru. Method: Secondary data análisis with longitudinal panel design for the period 2017 to 2020. The annual exam has 250 multiple-choice questions based on a clinical context drawn from published case reports. Each correctly answered question provided one point, the score was transformed to a vigesimal scale and its correlation with the weighted average was evaluated. Scatter plots and the calculation of the spearman correlation coefficient were performed. The analysis was performed for each academic year. Results: Data from 228 students were analyzed, the means of annual exam scores varies between 9.61 (standard deviation = 1.91) for 2019 to 10.75 (standard deviation = 2.34) for 2018. In all years, a significant direct linear correlation was found between the annual weighted average and the annual exam score. The highest correlation occurred in 2019 (Spearman’s rho [rS = 0.812]). In the correlation analysis according to sex, significant correlations were obtain. Conclusions: In each of the years analyzed, the score obtained in the annual exam is directly linearly correlated with the academic performance, a direct linear correlation was also found between the annual exam scores.

Resumen Introducción: La evaluación sumativa es usualmente aplicada al final de un periodo académico para medir el aprendizaje de un estudiante, estas evaluaciones utilizan diversas representaciones de pacientes, desde pacientes reales hasta narraciones escritas basadas en casos clínicos. Existe limitada evidencia sobre la asociación entre los resultados de evaluaciones escritas basadas en casos clínicos como evaluación sumativa y el desempeño académico en estudiantes de medicina humana. Objetivo: Evaluar la correlación entre el puntaje de un examen anual escrito basado en casos clínicos con preguntas de opción múltiple y el promedio ponderado -como indicador de desempeño académico- en estudiantes de una facultad de medicina humana del Perú. Método: Estudio de fuentes secundarias, con diseño longitudinal en panel para el periodo 2017 a 2020. El examen anual tiene 250 preguntas de opción múltiple basadas en diferentes contextos clínicos extraídos de reportes de casos publicados. Cada pregunta correctamente respondida brindó un punto, el puntaje fue transformado a escala vigesimal y se evaluó su correlación con el promedio ponderado en escala vigesimal. Se realizaron gráficos de dispersión y el cálculo del coeficiente de correlación de Spearman. El análisis fue realizado para cada año académico. Resultados: Se analizaron los datos de 228 estudiantes, las medias de los puntajes del examen anual fluctuaron entre 9.61 (desviación estándar = 1.91) para el 2019 a 10.75 (desviación estándar = 2.34) para el 2018. En todos los años se encontró correlación lineal directa significativa entre el promedio ponderado anual y el examen anual. La mayor correlación se dio en el 2019 (rho de Spearman [rS = 0.812]). En el análisis de correlación según sexo se mantuvieron correlaciones significativas. Conclusiones: En los años analizados el puntaje obtenido en el examen anual se correlaciona de manera lineal directa con el desempeño académico, también se encontró correlación lineal directa entre los puntajes del examen anual.

Abstract A professional point of view about student’s assessment requires to think about a conventional method of assessment, which has remained the exams and tests conducted on pen and paper base as the main reference to assessing and qualifying the knowledge of students. In recent decades, has emerge alternatives to this model on educational research at the strategical, technical, temporal, and instrumental level. The objective of the study is to know the scientific production of the formative assessment research, related with a social and complex assessment model, in front of a summative assessment research, related with an operational and individual assessment model. To achieve the objective, the investigation uses a mixed methodology of quantitative and qualitative analysis of the scientific literature about formative and summative assessment on the last decade, comparing their principal bibliometrics indices and using for that the Web of Science scientific data base. The results show a substantial difference on the number of investigations between formative and summative evaluation, a prevalent of the investigations of English-speaking countries and a relation between the scientific production on evaluation with other research fields. Conclusions of this article confirms the student’s assessment as an object of research with a long historical overview on developed countries, but still remains to be a current interesting field with a relevant technology transfer to the rest of research areas.

Resumen Abordar desde una perspectiva profesional la evaluación del alumnado implica reflexionar sobre el modelo educativo tradicional, que ha empleado las pruebas de evaluación consistentes en la reproducción escrita de los contenidos como el referente fundamental para evaluar y calificar los conocimientos del alumnado. Sin embargo, en las últimas décadas la comunidad científica educativa ha planteado alternativas a esa evaluación en el plano estratégico, técnico, temporal e instrumental. El objetivo de la investigación es conocer la producción científica sobre la evaluación formativa, relacionada con un modelo complejo y social, frente a la evaluación sumativa, de carácter más operacional e individual. Para ello se ha utilizado una metodología mixta que analiza cuantitativa y cualitativamente la evaluación formativa y sumativa en la literatura científica a través de una revisión bibliográfica de las investigaciones de la última década, comparando sus principales indicadores bibliométricos y usando para ello la base de datos Web of Science. Los resultados arrojan un número de investigaciones sobre evaluación formativa notablemente superior a las investigaciones sobre evaluación sumativa, un dominio de la investigación anglosajona y una relación de la investigación sobre evaluación de la educación con otras áreas científicas. Entre las conclusiones se observa que la evaluación del alumnado es una línea de investigación con larga trayectoria histórica que continúa siendo un objeto de investigación de actualidad y generador de transferencia tecnológica entre las distintas áreas de conocimiento.

Abstract With the emergence of the formative evaluation, qualitative aspects are emphasized to improve the learning and teaching process. The problem appears when in theory, the limitations of quantitative evaluation and the benefits of qualitative evaluation are highlighted. However; in educational practice we observe that quantitative or summative evaluation persists in the way that it was understood from the beginning. Through the knowledge of the multiple aspects of the evaluation process, this kind of dichotomy between quantitative and qualitative, leads to propose an integration of them both. In this sense, the aim of this study is describing and understanding the characteristics of the quantitative and qualitative approach to let their integration within the framework of a formative evaluation. The bibliographic review was used to consolidate the information in the present article which was extracted using the SCOPUS and EBSCO search engines. The information found was obtained from an exclusion and inclusion criterion, selecting the information related with the keywords. Among the main findings, we find information related to the quantitative evaluation that is integrated into the formative evaluation, resulting in a mixed evaluation. Therefore, the most important conclusion is related to the real possibility to achieve the integration of the quantitative and qualitative aspects within the framework of a formative evaluation. Quantification is important just in the way that goes joined with a description and interpretation that allows educational actors taking better decisions to improve the learning and teaching process. This is the most important contribution of the study.

Resumen Con el surgimiento de la evaluación formativa, se enfatiza los aspectos cualitativos para mejorar el proceso de aprendizaje y enseñanza. El problema surge cuando en teoría, se resalta las limitaciones de la evaluación cuantitativa y las bondades de la evaluación cualitativa, sin embargo; en la práctica educativa, se observa que la evaluación cuantitativa o sumativa persiste tal y como fue concebida desde el principio. Conociendo los múltiples aspectos del proceso evaluativo, esta especie de dicotomía de cuantitativo y cualitativo, conlleva a plantear una integración de los mismos. En este sentido, el objetivo del presente estudio, busca describir y comprender las características del enfoque cuantitativo y cualitativo para integrarlos en el marco de una evaluación formativa. Para la consolidación de la información en el presente artículo se utilizó la revisión bibliográfica, la misma que se extrajo utilizando los buscadores SCOPUS y EBSCO. La información encontrada se obtuvo a partir de un criterio de exclusión e inclusión, seleccionando aquella información coincidente con las palabras clave. Dentro de los principales hallazgos encontramos información referida a la evaluación cuantitativa que se integra a la evaluación formativa dando como resultado una evaluación mixta. Por ello, la conclusión más importante es que dentro del marco de una evaluación formativa sí es posible lograr la integración de lo cuantitativo y cualitativo. La cuantificación es importante si va unida a una descripción e interpretación que conlleve a los actores educativos a tomar mejores decisiones que favorezcan el proceso de aprendizaje y enseñanza, siendo esta la contribución más importante.

Resumen Este estudio descriptivo investiga las concepciones sobre evaluación de un grupo de estudiantes matriculado en la maestría en Enseñanza del Inglés para hablantes de otras lenguas (TESOL por sus siglas en inglés) en la Universidad de La Trobe, Australia. Este estudio fue desarrollado en primer lugar, para fortalecer la producción científica sobre las concepciones de evaluación de docentes de inglés, ya que esta es limitada, y, en segundo lugar, para explorar el nivel de concordancia entre esas concepciones y el tipo de evaluación preferida. Para ello, 26 estudiantes activos aceptaron la invitación a participar en el estudio y completaron una encuesta en línea administrada a través de Qualtrics Management Platform. Este estudio cuantitativo descriptivo llevado a cabo en el 2020 usó la Encuesta como método de investigación, ya que ésta promueve la recopilación de datos para describir el objeto de investigación. Los datos cuantitativos obtenidos a través de una encuesta en línea, se resumieron y graficaron en tablas con el objetivo de responder a las preguntas de investigación. Los resultados mostraron que la comprensión de la evaluación y las formas de evaluación de las personas participantes se inclinaban ligeramente hacia el uso de la evaluación sumativa en lugar de la formativa. En contraste, las concepciones de los propósitos y principios se inclinaron hacia la evaluación formativa. Se podría decir que, aunque las personas participantes tenían más tendencia hacia la evaluación sumativa, favorecían los propósitos y los principios de la evaluación formativa, lo que podría indicar que su inclinación se debe a las demandas institucionales y no refleja por completo sus concepciones.

Abstract The current descriptive study investigates the conceptions of a group students (pre-service and in-service teachers) enrolled in a Master of TESOL (Teaching English to Speakers of Other Languages) at La Trobe University, Australia, have of assessment in the context of English language teaching. This study was conducted in first place to address a gap in the literature about English teachers’ conceptions of assessment, and I second place to explore the level of agreement among those conceptions and the type of assessment preferred by the participants. For this purpose, 26 active students in the course accepted the invitation to participate in the study and completed an online survey administered through Qualtrics Management Platform. This quantitative descriptive study done in 2020 used Survey as the research method since it promotes the collection of data to describe the research object. The quantitative data obtained through an online survey were summarized and graphed in tables with the objective of answering the research questions. The results showed that participants’ understandings of assessment and forms of assessment were slightly inclined towards the use of summative assessment rather than formative. In contrast, their conceptions of assessment purposes and principles were inclined towards formative assessment features. All in all, it could be said that even though these participants seemed to cope more with summative assessment, they favoured formative purposes and principles of assessment. This suggests that respondents’ summative views of assessment in the use of types and forms of assessment are potentially affected by institutional demands, and do not entirely reflect the respondents’ assessment understandings.

Resumen Este artículo informa acerca de un estudio cualitativo, exploratorio y descriptivo sobre enfoques evaluativos del habla en un programa de formación docente en una universidad colombiana. El estudio exploró cómo cuatro maestros de inglés abordan la evaluación de la habilidad del habla de los estudiantes. Los datos se recopilaron mediante observaciones, entrevistas y análisis documental. Los resultados revelaron la preferencia de los maestros por prácticas de evaluación sumativa para determinar el progreso de los estudiantes. Como conclusión, el desarrollo profesional de los docentes en términos de evaluación del lenguaje puede ser una alternativa para desarrollar procesos de evaluación significativos donde los estudiantes, los docentes y la institución puedan beneficiarse.

Abstract This paper reports an exploratory and descriptive qualitative study on speaking assessment approaches in a teacher education program at a Colombian university. The study aimed to explore how four in-service English language teachers approach the assessment of students’ speaking skill. The data were gathered through classroom observations, interviews, and documentary analysis. Results revealed teachers’ preference for summative assessment practices to determine students’ progress regarding speaking. As a conclusion, teacher professional development in terms of language assessment may be seen as an alternative to develop significant assessment processes where students, teachers, and the institution can be benefited.

Abstract: The objective of this qualitative case study was to identify the assess-ment practices of Chilean prospective and novice teachers of English language. The participants were 53 practicum teachers who were part of three Chilean universities and 33 novice teachers who graduated from the same institutions. The results indicate that the subjects consider formative assessment of instructional objectives based on linguistic contents and language comprehension. On the other hand, novice teachers implement summative assessment related to the same goals. Additionally, the pre-service and in-service teachers differ in the way they formatively assess learning objectives associated with language production.

Resumen: El objetivo de este estudio de caso cualitativo fue identificar las formas de evaluación utilizadas por estudiantes de pedagogía en inglés y profesores noveles de este idioma. Los participantes fueron 53 estudiantes de práctica pedagógica final pertenecientes a tres universidades chilenas y 33 docentes noveles egresados de estas instituciones. Los resultados indican que los sujetos evalúan formativamente y de manera similar objetivos asociados a contenidos lingüísticos y comprensión del idioma. Por otro lado, los docentes integran la evaluación sumativa de los mismos objetivos. Además, los estudiantes de pedagogía y los profesores difieren en cómo realizan la evaluación formativa del objetivo relacionado con la producción.

Resumen El presente artículo es resultado de un estudio de casos múltiples (cuatro casos) en México y Colombia, con estudiantes del curso Evaluación del Aprendizaje (Galllardo Córdova, 2017), en un posgrado en educación ofrecido en modalidad en línea. El objetivo de este estudio fue analizar las decisiones tomadas por las personas participantes a partir de los resultados obtenidos de la aplicación de un cuestionario diagnóstico sobre prácticas de evaluación del aprendizaje. Las decisiones del estudiantado estuvieron focalizadas en la elaboración de materiales o el cambio en prácticas y tuvieron la intención de incidir en la conducción de la evaluación sumativa y formativa. Participaron un total de 18 docentes y personal directivo en los cuatro casos analizados. Los principales resultados fueron: comprender que, en la mayoría de los casos, la toma de decisiones se inclinó más por consolidar los aspectos teóricos que sustentan las prácticas, tales como definición de tipos de evaluación, integración de taxonomías de aprendizaje, instrumentación y retroalimentación, entre las principales. Asimismo, en cuanto a los estándares internacionales propuestos por el JointCommitteeonStandardsforEducationalEvaluation (JCSEE), especialmente los referidos a la utilidad, factibilidad y ética, se integraron en la toma de decisiones para instruir y sensibilizar al personal docente. Se confirmaron la complejidad y la demanda de tiempo que exigen los procesos de evaluación, específicamente aquellos de tipo formativo. Se concluye que el proceso formativo sobre las prácticas evaluativas permitió la reflexión sobre la necesidad de incluir y visualizar los estándares, buscando la mejora continua de los procesos de evaluación del aprendizaje.

Resumo Este trabalho de investigação científica é o resultado de um estudo de casos múltiplos (quatro casos) em México e Colômbia com estudantes do Curso de Avaliação de Aprendizagem (GalllardoCórdova, 2017) na pós-graduação em ensino oferecido em modo online. O objetivo deste estudo foi analisar as decisões tomadas pelas pessoas participantes com base nos resultados obtidos com a aplicação de um questionário de diagnóstico sobre práticas de avaliação da aprendizagem. As decisões foram feitas por estudantes em relação ao desenvolvimento de materiais ou mudança nas práticas, com a intenção de influenciar o comportamento da avaliação somatória e formativa. Um total de 18 professores e executivos participaram dos quatro casos analisados. Os principais resultados foram: compreender que, na maioria dos casos, a decisão tomada inclinou-se para consolidar os aspectos teóricos que sustentam as práticas, tais como a definição de tipos de avaliação, integração da aprendizagem taxonomias, instrumentação e retroalimentação. Da mesma forma, no que diz respeito aos padrões internacionais proposto pelo Joint ComiteeonStandars for EducationalEvaluation (JCSEE), especialmente aqueles que se referem à utilidade, viabilidade e ética foram integrados na tomada de decisões para educar e sensibilizar os professores. As demandas de tempo e a complexidade que exigem os processos de avaliação foram confirmados, especificamente, aqueles orientados a formação. Conclui-se que o processo formativo sobre as práticas de avaliação permitiu a reflexão sobre a necessidade de incluir e visualizar os padrões, buscando uma melhoria continua das avaliações de aprendizagem.

Abstract This article is the result of four case studies in Mexico and Colombia with students from the Learning Evaluation course (Gallardo Córdova, 2017) of an online postgraduate program in education. The study aimed to analyze the participants’ decisions based on the results of a diagnostic questionnaire on learning assessment practices. The students’ decisions relate to the preparation of materials or the change in practices to influence the conduct of the summative and formative evaluation. Eighteen teachers and management staff members participated in the four cases analyzed. The main results were to understand that, in most cases, decision making was more inclined to consolidate the theoretical aspects that sustain the practices, such as the definition of types of evaluation, integration of learning taxonomies, instrumentation, and feedback. Likewise, in terms of international standards stated by the Joint Committee on Standards for Educational Evaluation (JCSEE), especially those related to the Utility, Feasibility and Ethics were integrated into the decision making to educate and sensitize teachers. The complexity and the demand for the time required by the evaluation processes were confirmed, specifically those of a formative nature. It is concluded that the process carried out allows the participants to reflect on the evaluation practices for a continuous improvement.