Resumen: La ingeniería civil industrial es una profesión con una fuerte base científica. En Chile, se ha comenzado a innovar los planes de estudios con un currículum basado en competencias con resultados de aprendizaje. Esto ha llevado a que los cuerpos académicos también deban ajustar sus metodologías y estrategias de enseñanza con el propósito de mejorar la formación profesional. Ante esto, la sistematización pedagógica se basó en una metodología de análisis de casos con estrategias de gamificación, el objetivo fue determinar el efecto del análisis de casos, con estrategias de gamificación como enfoque didáctico para la enseñanza de conceptos de innovación, competitividad, emprendimiento y creatividad. Participaron 32 estudiantes pertenecientes a la sección B del curso Gestión de la Innovación. Se planteó una secuencia didáctica de ocho sesiones, con diversos casos representativos de la temática. Para el análisis de los desempeños se construyó y validó una rúbrica analítica y se utilizó la escala de experiencia de aprendizaje (CEQ), adaptada por Marchant, Fauré y Abricot (2016) para el contexto chileno. Dentro de los hallazgos se evidencia que el estudiantado logra satisfactoriamente los desempeños esperados para la actividad curricular al presentar dificultades en elementos genéricos de la formación. Con respecto a la experiencia formativa y las dimensiones evaluadas, el alumnado considera que la experiencia formativa contó con una docencia de calidad, las metas y objetivos propuestos fueron claros, alcanzables y los instrumentos de evaluación son apropiados. En conclusión, proponer una secuencia didáctica con una metodología activa mejora el desempeño académico y la motivación.

Resumo: A engenharia civil industrial é uma profissão com forte base científica. No Chile, os planos de estudo começaram a ser inovados com um currículo baseado em competências com resultados de aprendizagem. Isto levou a que os órgãos académicos também tivessem de ajustar as suas metodologias e estratégias de ensino com o objetivo de melhorar a formação profissional. Diante disso, a sistematização pedagógica baseou-se em uma metodologia de análise de casos com estratégias de gamificação, o objetivo foi determinar o efeito da análise de casos, com estratégias de gamificação como enfoque didático para o ensino de conceitos de inovação, competitividade, empreendedorismo e criatividade. Participaram 32 alunos pertencentes à secção B do curso de Gestão da Inovação. Foi proposta uma sequência didática de oito sessões, com diversos casos representativos da temática. Para a análise dos desempenhos, foi construída e validada uma rubrica analítica e utilizada a escala de experiência de aprendizagem (CEQ), adaptada por Marchant, Fauré e Abricot (2016) para o contexto chileno. Dentro dos achados, fica evidente que o estudantado alcança satisfatoriamente os desempenhos esperados para a atividade curricular ao apresentarem dificuldades em elementos genéricos da formação. A respeito da experiência formativa e das dimensões avaliadas, os alunos consideram que a experiência formativa incluiu uma docência de qualidade, as metas e objetivos propostos foram claros, alcançáveis e os instrumentos de avaliação são adequados. Concluindo, propor uma sequência didática com metodologia ativa melhora o desempenho acadêmico e a motivação.

Abstract: Industrial civil engineering is a profession with a very solid scientific base. In Chile, it has begun to innovate the educational curricula with a curriculum based on competencies and learning outcomes. This has led academic institutions to adapt their methodologies and teaching strategies to improve professional training. In this context, the pedagogical systematization was based on a case analysis methodology with gamification strategies. The objective was to determine the effect of case analysis with gamification strategies as a didactic approach for teaching the concepts of innovation, competitiveness, entrepreneurship and creativity. Thirty-two students from Section B of the Innovation Management course participated. A didactic sequence of eight sessions was proposed, with a number of cases that were representative of the subject matter. To analyze the results, an analytical rubric was designed and validated, using the Course Experience Questionnaire (CEQ) adapted to the Chilean context by Marchant, Fauré and Abricot (2016). The results show, among other things, that students achieve the expected achievements for the curricular activity in a satisfactory manner when they encounter difficulties in the generic elements of the education. Regarding the formative experience and the dimensions evaluated, the students consider that the formative experience included quality teaching, that the proposed objectives were clear and achievable, and that the evaluation instruments were appropriate. In conclusion, the proposal of a didactic sequence with an active methodology improves academic performance and motivation.

RESUMEN Introducción: la rúbrica constituye un conjunto de parámetros que permiten valorar el proceso o el producto final de una tarea determinada. Objetivo: diseñar una Rúbrica para la evaluación del residente de Medicina Familiar en su examen práctico de promoción. Métodos: se desarrolló una investigación educacional, de desarrollo, en la Dirección General de Salud del municipio Cacocum, provincia Holguín, Cuba, en el período comprendido de enero 2024 a septiembre 2024. La población incluyó a los 24 profesores del claustro de la residencia de la especialidad de Medicina Familiar en el municipio. Para la selección de la muestra se realizó un muestreo no probabilístico intencional, finalmente resultó constituida por 22 profesores, quienes dieron su consentimiento para participar en el estudio. Resultados: Se determinaron los criterios de los profesores en cuánto al proceso de evaluación del examen práctico de promoción en la residencia de la especialidad de Medicina Familiar, sobre la base de los cuales se diseñó una Rúbrica analítica para la evaluación de las habilidades, validada por criterios de expertos. Conclusiones: se ofrece una Rúbrica para la evaluación del residente de Medicina Familiar en su examen práctico de promoción como vía para el perfeccionamiento de la evaluación de las habilidades, validada por criterio de expertos.

ABSTRACT Introduction: the rubric constitutes a set of parameters that allow the process or final product of a given task to be assessed. Objective: design a Rubric for the evaluation of the Family Medicine resident in his/her practical promotion exam. Methods: an educational and developmental research was conducted at the General Health Directorate of the Cacocum municipality, Holguín province, Cuba, from January 2024 to September 2024. The population included the 24 teachers of the Family Medicine residency faculty in the municipality. For the selection of the sample, an intentional non-probabilistic sampling was carried out, which finally consisted of 22 teachers, who gave their consent to participate in the study. Results: they determined the criteria of the teachers regarding the evaluation process of the practical exam for promotion in the residency of the specialty of Family Medicine, on the basis of which it was designed an analytical rubric for the assessment of skills, validated by expert criteria. Conclusions: sand offers a rubric for the evaluation of the Family Medicine resident in his practical promotion exam as a way to improve the assessment of skills, validated by expert criteria.

Resumen Las profesiones relacionadas con el cuidado a usuarios son las que manifiestan mayores niveles de estrés históricamente, elemento que se incrementa cuando la atención es a más de un beneficiario a la vez, una de esas carreras es la docencia, debido a que día a día profesores desarrollan su labor sorteando diversos fenómenos sociales como los distintos tipos de violencia que se viven al interior de la escuela, exclusión, modelos familiares variados, conflictos, carencia de recursos, desigualdad, por nombrar algunos. De ahí que, exista un escenario profesional lleno de demandas para el docente que representa una carga emocional que promueve el padecimiento de estrés. El objetivo de la presente es establecer la relación entre el afrontamiento del estrés y el dominio de competencias socioemocionales con las que cuentan un grupo de estudiantes normalistas, mediante un estudio cuantitativo no experimental transversal-descriptivo, realizado en julio del 2020, con una muestra de 226 estudiantes. Para ello, se aplicaron dos instrumentos, uno que midió las situaciones que se presentan en la vida y que se valoran como estresantes y como segundo instrumento se aplicó una rúbrica analítica socioformativa de competencias socioemocionales que comprende competencias inter e intrapersonales. Dentro de los hallazgos los estudiantes muestran un nivel moderado de estrés, sobre las competencias socioemocionales se encontró que las áreas de atención inmediata son la conciencia social y la empatía. Algunas de las conclusiones son enfatizar la formación de competencias socioemocionales y su potencialización en el sistema educativo, así como el planteamiento de no trabajarse por separado.

Abstract The professions related to the care of users are those that manifest higher levels of stress historically, an element that increases when the attention is to more than one beneficiary at a time, one of these careers is teaching, because day by day teachers develop their work avoiding various social phenomena such as the different types of violence that are experienced inside the school, exclusion, varied family models, conflicts, lack of resources, inequality, to name a few. This outlines a scenario full of demands for the teacher which represents an emotional charge that promotes the suffering of stress. The purpose of this paper is to identify the stress coping mechanisms and socio-emotional competencies with which they are linked in a group of normal students, through a non-experimental cross-sectional-descriptive quantitative study, carried out in July 2020, with a sample of 226 students. To this end, two instruments were applied, one that measured the situations that arise in life and that are assessed as stressful, and as a second instrument, a socio-formative analytical rubric of socio-emotional competencies was applied, which includes inter- and intrapersonal competencies. Among the findings, students show a moderate level of stress, on socio-emotional competencies it was found that the areas of immediate attention are social awareness and empathy. Some of the conclusions are to emphasize the formation of socio-emotional competencies and their potentiation in the educational system, as well as the approach of not working separately.

Resumen: El objetivo de este estudio es evaluar la alineación de una muestra de programas de diplomado de una universidad chilena con su modelo educativo institucional, el cual po see un enfoque por competencias. Se elabora una rúbrica analítica de desempeño que considera las diferentes dimensiones que definen un modelo por competencias. Como resultado, se observa una baja alineación de los programas de diplomado con el modelo educativo vigente de la institución, evidenciándose una baja coherencia entre las competencias y los resultados de aprendizaje de las asignaturas del programa. A raíz de estos resultados, se realiza una propuesta de un modelo de diseño curricular basado en el modelo de diseño instruccional de backward design. Esta propuesta asegura la suficiencia y pertinencia de los resultados de aprendizaje en función de las competencias a desarrollar. En conclusión, la propuesta de este modelo pretende entregar al cuerpo docente una herramienta de trabajo concreta para facilitar el diseño de programas formativos de educación continua.

Abstract: The purpose of this study is to evaluate a sample of continuing education programs at a Chilean university considering the institution's competency-based educational model. A performance analytic rubric is designed that considers the different dimensions of a competency-based educational model. As a result, program-learning outcomes do not align with stated competencies on the institution's educational model, showing lack of coherence between competencies and the learning outcomes of courses within the programs. Given these results, a curriculum-construction model is proposed for building professional development programs based on the instructional design model of backward design. This proposal ensures that learning outcomes are sufficient and adequate to meet the development of desired competencies. In conclusion, the proposal model presented here aims to serve as a tool for faculty that facilitates de design of continuing education programs.

Resumen Los cursos programación (CS1) tienen la tasa de mortalidad académica más alta, esto se refleja en las bajas calificaciones de los estudiantes, lo que indica que no alcancen las competencias académicas. Buscando nuevas formas de mejorar el aprendizaje de los estudiantes del curso CS1, este artículo propone una rúbrica analítica basada en competencias académicas para actividades de programación colaborativa respaldada por una herramienta de evaluación automática de código fuente que permita mejorar las calificaciones y alcanzar las competencias propuestas en el curso. Se diseñó una rúbrica con 16 criterios de evaluación que se dividieron en tres actividades que fueron presentadas por un grupo experimental (GE) de 18 estudiantes y un grupo de control (GC) de 24 estudiantes. En el GE se usó la colaboración entre estudiantes, mientras que en el GC los estudiantes trabajan de manera individual. Luego de finalizar las actividades, usando una rúbrica, se evaluaron las entregas de cada estudiante para identificar si logra los resultados de aprendizaje esperados por el curso. Los resultados demuestran que el uso de la colaboración mejora la adquisición de las competencias de aprendizaje en un 17 % más que si lo hacen de manera individual. Además, se destacan otras habilidades sociales asociadas a la colaboración, como amistad, motivación y entendimiento grupal. El desarrollo de estrategias que permita evaluar las competencias, no solo indica que el estudiante logra adquirir una habilidad, sino que también permite al estudiante identificar sus falencias en las tareas de programación.

Abstract Programming courses (CS1) have the highest academic mortality rate, this is reflected in the low grades of the students, which indicates that the students do not reach the academic competencies. In this sense, looking for new ways to improve the learning of the students of the CS1 course, this article proposes an analytical rubric based on academic competencies for collaborative programming activities supported by an automatic source code evaluation tool that allows to improve the qualifications and reach the competencies proposed in the course. A rubric was designed with 16 evaluation criteria that were divided into three activities which were presented by an experimental group (EG) of 18 students and a control group (CG) of 24 students. In the GE, a collaboration between students was used, while in the CG, students work individually. After finishing the activities, using an analytical rubric, the deliveries of each student were evaluated to identify if they achieved the learning results expected by the course. The results show that the use of collaboration achieves that students manage to win a learning competition in 17 % more than if they do it individually. In addition, other social skills associated with collaboration are highlighted, such as friendship, motivation and group understanding. The development of strategies that allow to evaluate the competences, not only indicate that the student manages to acquire a skill, but also allows the student to identify their shortcomings in the programming tasks.

Resumo Os cursos de programação (CS1) têm a maior taxa de mortalidade acadêmica, isso se reflete nas notas baixas dos alunos, o que indica que eles não atingem as competências acadêmicas. o curso. Foi elaborada uma rubrica com 16 critérios de avaliação que foram divididos em três atividades que foram apresentadas por um grupo experimental (GE) de 18 alunos e um grupo controle (GC) de 24 alunos. No GE foi utilizada a colaboração entre os alunos, enquanto no GC os alunos trabalham individualmente. Após o término das atividades, por meio de uma rubrica, foram avaliadas as entregas de cada aluno para identificar se atingiram os resultados de aprendizagem esperados pelo curso. Os resultados mostram que o uso da colaboração melhora a aquisição de habilidades de aprendizagem em 17% a mais do que se o fizessem individualmente. Além disso, destacam-se outras habilidades sociais associadas à colaboração, como amizade, motivação e compreensão do grupo. O desenvolvimento de estratégias que permitam avaliar as competências, não só indica que o aluno consegue adquirir uma habilidade, como também permite ao aluno identificar as suas deficiências nas tarefas de programação.

RESUMEN Introducción: La investigación científica tiende a ser presentada mediante reportes escritos, que inicialmente son denominados manuscritos, la revisión de su calidad es importante en el marco del rigor metodológico y científico. Objetivo: Diseñar y validar una rúbrica analítica para evaluar manuscritos científicos. Material y Métodos: Estudio instrumental. Donde se elabora una rúbrica analítica compuesta por 21 aspectos integrados en seis dimensiones y cuatro niveles de desempeño (Excelente, Bien, Regular, Por mejorar). Se utiliza la metodología de jueces expertos (n= 9), fiabilidad mediante el Alfa de Krippendorff (α) y relación prueba criterio externo e información cualitativa para la mejora de los indicadores. Resultados: El juicio de expertos indicó que los 21 aspectos a evaluar pueden ser considerados validos (V de Aiken ≥ 0.70) y fiables (α ≥ 0.70). Además, las sugerencias de los expertos permitieron mejoras cualitativas al instrumento. La aplicación piloto con un grupo de siete evaluadores indicó que la prueba cuenta con poder predictivo, porque se encontró que las puntuaciones de los jueces disminuyen mientras disminuye la calidad del manuscrito seleccionado. Conclusiones: La rúbrica analítica elaborada es un instrumento válido y fiable que puede ser utilizado para la valoración de manuscritos científicos en el ámbito de la educación médica. El proceso metodológico brinda evidencias solidas de su funcionamiento. A pesar de eso, se anima a continuar revisando el instrumento como parte de su proceso de mejora continua.

ABSTRACT Introduction: Scientific research tends to be presented through written reports, which are initially called manuscripts. The review of their quality is important in the framework of methodological and scientific rigor. Objective: To design and validate an analytical rubric to evaluate scientific manuscripts. Material and Methods: Instrumental study. An analytical rubric composed of 21 aspects integrated into six dimensions and four performance levels (excellent, good, fair, to be improved) was developed. The methodology of expert judges (n = 9), reliability by means of Krippendorff's alpha (α), external criterion test, and qualitative information for the improvement of the indicators were used. Results: The expert judgment indicated that the 21 aspects to be evaluated can be considered valid (Aiken's V ≥ 0.70) and dependable (α ≥ 0.70). In addition, the experts' suggestions allowed qualitative improvements to the instrument. The pilot application with a group of seven evaluators indicated that the test has predictive power because it was found that the judges' scores decreased as the quality of the selected manuscript decreased. Conclusions: The analytical rubric elaborated is a valid and reliable instrument that can be used for the assessment of scientific manuscripts in the field of medical education. The methodological process provides solid evidence of its performance. Nevertheless, it is encouraged to continue revising the instrument as part of its continuous improvement process.

ABSTRACT The Information and Communication Technologies - ICT influenced the educational service, allowing the interaction of students in virtual learning environments. The present study was developed in a particular university in Piura, Peru, and considered students of Business Law who were interacting for the first time in a virtual learning environment, this university was selected for its infrastructure and technology. The research objective was to identify the student’s profile based on the use of an analytical rubric. The methodology was based on the qualitative approach, action-research, analytical-synthetic and participant observation methods. It was obtained as a result that the teacher’s motivation encourages students to act responsibly and there are indications for research on tele-education. It was concluded that the student’s characteristics are voluntary participation, empathy, responsibility, creativity, willingness to learn, innovation, self-discipline, interaction with peers and respect.

RESUMEN Las Tecnologías de la Información y Comunicación - TIC influenciaron en el servicio educativo, permitiendo la interacción de los estudiantes en entornos virtuales de aprendizaje. El presente estudio fue desarrollado en una universidad particular en Piura en Perú, se consideró a estudiantes de la asignatura de Derecho Empresarial que por primera vez interactuaban en un entorno virtual de aprendizaje, se seleccionó esta universidad por su infraestructura y tecnología. El objetivo de investigación fue identificar el perfil del estudiante a partir del uso de una rúbrica analítica. La metodología se sustentó en el enfoque cualitativo, métodos investigación-acción, analítico-sintético y técnica de observación participante. Se obtuvo como resultado que la motivación del docente, incentiva que los estudiantes actúen con responsabilidad y existen indicios para investigar respecto a la teleeducación. Se concluyó que las características del estudiante son participación voluntariamente, empatía, responsabilidad, creatividad, predisposición de aprender, innovación, autodisciplina, interacción con sus compañeros y respeto.

RESUMO Tecnologias da Informação e Comunicação - As TIC influenciaram o serviço educacional, permitindo a interação dos estudantes em ambientes virtuais de aprendizagem. O presente estudo foi desenvolvido em uma universidade privada em Piura, Peru, e considerou estudantes de Direito Empresarial que estavam interagindo em um ambiente de aprendizagem virtual pela primeira vez. Esta universidade foi selecionada por sua infra-estrutura e tecnologia. O objetivo da pesquisa era identificar o perfil do estudante com base no uso de uma rubrica analítica. A metodologia foi baseada na abordagem qualitativa, pesquisa-ação, métodos analítico-sintéticos e observação dos participantes. Descobriu-se que a motivação do professor incentiva os alunos a agir com responsabilidade e há indicações para a pesquisa em tele-educação. Concluiu-se que as características estudantis são participação voluntária, empatia, responsabilidade, criatividade, vontade de aprender, inovação, autodisciplina, interação com os colegas e respeito.

Resumen La finalidad de este trabajo es el estudio de apps educativas para el público infantil, a partir de la creación de un modelo de análisis de contenido. Tras una amplia revisión de trabajos de carácter internacional que presentan modelos y rúbricas específicas para evaluar apps educativas para niños y niñas de la etapa de educación infantil, se crea un modelo que, de forma detallada y comprensiva, permite abordar las características pedagógicas, técnicas y de diseño de estos programas. A partir de este modelo, y siguiendo la metodología de análisis de contenido deductivo y cualitativo, se examinan diez apps populares en España, que son seleccionadas en una plataforma de analítica de apps mediante una serie de filtros. Los resultados muestran que las aplicaciones clasificadas como educativas no reúnen todas las condiciones necesarias para ser consideradas como tales, obedecen principalmente a juegos de ordenador o juegos serios de simulación y de ejercitación y práctica, orientados a un aprendizaje más memorístico que significativo. Se puede afirmar que, a pesar de tener un supuesto propósito educativo, cumplen más una función de entretenimiento, además de cebo para la obtención de datos, publicidad y venta de productos.

Abstract The purpose of this study is the analysis of educational apps for children based on the design of a content analysis model. After an extensive review of international studies that propose specific models and rubrics for assessing educational apps for pre-schoolers, a model is designed in order to give a detailed and comprehensive analysis of the pedagogical and technical characteristics of these programs. Based on this model, following a qualitative and deductive content analysis methodology, ten popular apps in Spain, selected from an app analytics platform by applying a series of filters, are examined. The results of this study show that the applications classified as "educational" do not meet all the necessary conditions to be considered as such, being mainly educational computer games or serious games of simulation and drill and practice activities oriented more to rote learning than to meaningful learning. It can be said that, although they have an "assumed" educational purpose, they are more directed to entertainment, also working as bait for obtaining data, advertising and selling products.

Resumo O objetivo deste estudo é a análise de aplicações educacionais para crianças a partir da criação de um modelo de análise de conteúdo. Após uma extensa revisão de trabalhos em nível internacional que apresentam modelos e rubricas específicas para a análise de aplicações educacionais para meninos e meninas da educação infantil, é criado um modelo que, de forma detalhada e abrangente, permite analisar as características pedagógicas, técnicas e desenho desses programas. Com base neste modelo, seguindo a metodologia de análise de conteúdo dedutiva e qualitativa, dez aplicações populares na Espanha são examinados, os quais são selecionados em uma plataforma de análise de aplicativos através da aplicação de uma série de filtros. Os resultados deste estudo mostram que as aplicações classificadas como "educacionais" não reúnem todas as condições necessárias para serem consideradas como tal, sendo principalmente jogos sérios de simulação e exercício e prática orientados para a aprendizagem mais mecanizada do que significativa. Pode-se dizer que, apesar de terem uma pretensa finalidade educacional, cumprem mais uma função de entretenimento, sendo também isca para obtenção de dados, publicidade e venda de produtos.

Resumen Se realizó un estudio de validez de constructo y confiabilidad al instrumento "Rúbrica analítica para el diagnóstico integral del nivel de desarrollo de una comunidad rural". El instrumento se aplicó a 351 pobladores de comunidades rurales, mientras que el análisis fue factorial exploratorio. Acorde a los resultados, se precisa que el modelo factorial se constituyó de cuatro dimensiones: i) condición organizacional, económica-ambiental y de acceso a la educación; ii) infraestructura; iii) gobernanza, y iv) condición social y cultural, mismas que explican más del 58% de la varianza. Referente a la confiabilidad, se obtuvo un valor óptimo de manera global (Alfa de Cronbach: 0.800), así como pertinente para cada una de las dimensiones. Se puede concluir que el instrumento muestra la adecuada representación del constructo objetivo revelando la calidad en su medición y mediante la cual brindará evaluaciones válidas y confiables a partir de la percepción de la población sobre el nivel de desarrollo de una comunidad rural.

Abstract This article studies the construct validity and reliability of the instrument "analytical rubric for the comprehensive diagnosis of development levels in rural communities". The instrument was applied to 351 inhabitants of rural communities, using exploratory factorial analysis. Findings show that the factorial model consisted of four dimensions: i) organizational, economic-environmental, and educational access conditions; ii) infrastructure; iii) governance; and iv) social and cultural conditions, which account for over 58% of the differences. Regarding reliability, an optimal value was obtained globally (Cronbach's alpha: 0.800) and was also significant across all dimensions. The article concludes that the instrument accurately measures the objective construct, demonstrating its usefulness in using local populations' perceptions to provide valid and reliable assessments of development levels in rural communities.

Resumen Los instrumentos que el profesorado de idiomas emplea para evaluar el aprendizaje son raramente estudiados, y ellos constituyen una fuente significativa de input sobre la forma como se concibe el aprendizaje y la Enseñanza. El propósito de la investigación es analizar 205 instrumentos de evaluación proporcionados por profesores de inglés. Este es un estudio de casos exploratorio, en el cual los principios de evaluación del idioma analizados fueron Autenticidad, Validez, Equidad, Confiabilidad y Practicabilidad. Estos 205 instrumentos de evaluación fueron analizados mediante el uso de una rúbrica analítica, la cual consideró los principios de evaluación del idioma como criterios. Mediante los diferentes análisis presentados en este estudio, es posible concluir que la evaluación tradicional es preferida sobre la evaluación auténtica; además, cuatro diferentes grupos revelan que los principios de evaluación del idioma se manifiestan en diferentes grados en cada tipo de instrumento de evaluación. Interesantemente, aunque el aprendizaje de la lengua consiste principalmente en cómo las personas se comunican con otros, el profesorado aún enfatiza la evaluación de la gramática y el vocabulario en vez de ayudar al estudiantado a desarrollar la habilidad de comunicación en una lengua extranjera mediante técnicas y procedimientos de evaluación auténtica, auto-evaluación y co-evaluación. estudiados Enseñanza 20 inglés exploratorio Autenticidad Validez Equidad Practicabilidad analítica criterios auténtica además Interesantemente otros autoevaluación auto coevaluación. coevaluación co co-evaluación 2

Resumo Os instrumentos que os professores de línguas utilizam para avaliar a aprendizagem dos alunos raramente são estudados e são uma fonte significativa de informações sobre como a aprendizagem e o ensino são concebidos. O objetivo da pesquisa é analisar 205 instrumentos de avaliação fornecidos por professores de inglês. Este é um estudo de caso exploratório, onde os princípios de avaliação da linguagem analisados foram Autenticidade, Validade, Equidade, Confiabilidade e Praticidade. Estes 205 instrumentos de avaliação foram analisados através da utilização de uma rubrica analítica, que considerou os princípios da avaliação linguística como critérios. Por meio das diferentes análises foi possível concluir que a avaliação tradicional é favorecida sobre a avaliação autêntica e quatro agrupamentos diferentes revelam que os princípios de avaliação da linguagem manifestam-se em diferentes graus em cada tipo de instrumento. Curiosamente, embora a aprendizagem de línguas seja principalmente sobre como as pessoas tentam se comunicar com outras, os professores ainda estão enfatizando a avaliação do conhecimento de gramática e vocabulário em vez de ajudar os alunos a desenvolver a habilidade de comunicação em língua estrangeira por meio de técnicas e procedimentos autênticos de avaliação, autoavaliação e coavaliação. concebidos 20 inglês exploratório Autenticidade Validade Equidade Praticidade analítica critérios manifestamse manifestam instrumento Curiosamente outras coavaliação 2

Abstract The instruments language teachers employ to assess student learning are rarely studied and they constitute a significant source of input of how learning and teaching are conceived. The aim of this research is to analyze 205 assessment instruments created by English teachers. This is an exploratory case study, in which the assessment principles of Authenticity, Validity, Fairness, Reliability and Practicality were analyzed within the context of the assessment instruments. The 205 assessment instruments were analyzed by using an analytic rubric, which considered the language assessment principles as criteria. Through the different analyses, it is possible to conclude that traditional assessment was favoured over authentic assessment and four different clusters reveal that language assessment principles manifest in different degrees in each type of instrument. Interestingly, although language learning is mainly about how people try to communicate with others, teachers are still stressing the assessment of grammar and vocabulary knowledge instead of helping students develop the skill of foreign language communication through key authentic assessment, self-assessment and peer-assessment techniques and procedures. conceived 20 study Authenticity Validity Fairness rubric criteria analyses instrument Interestingly others selfassessment self peerassessment peer procedures 2

Abstract The educational context traditionally determines an administrative practice of planning and evaluation processes. In this sense, there is a lack of instruments to evaluate the design of didactic sequences with the challenge of transferring knowledge that tackles contextual problems and make a teaching intervention with methodological bases for solving problems. This study aims to describe the design of a didactic sequence rubric to improve pedagogical practice. The methodology was implemented using an instrumental study of content validity based on the socioformation approach with the following steps: 1) analysis of similar instruments; 2) construction of a rubric with the socioformation approach; 3) revision and improvement of the instrument by experts; 4) application of the instrument to a pilot group; and 5) validation of content by a group of judges in the educational area. The results of the Aiken’s V with the significance of p <0.05 show a value above 8.0. Some items whose level of significance was 0.71 were eliminated. The reliability analysis shows a value of Cronbach’s alpha of 0.891; the Aiken and Cronbach coefficient methodologies applied determined the rubric’s content validity. In conclusion, a pertinent instrument to evaluate the design of didactic sequences is presented, and the need to extend this study with an exploratory factor analysis that determines its construct validity is set out.

Resumo O contexto educacional tradicionalmente determina uma prática administrativa de processos de planejamento e avaliação. Neste sentido, faltam instrumentos para avaliar o desenho de sequências didáticas com o desafio de conceder conhecimentos que confrontem problemas contextuais, e fazer uma intervenção de ensino com bases metodológicas para resolver problemas. O objetivo deste estudo é descrever o desenho de uma rubrica de sequência didática para o aprimoramento da prática pedagógica. A metodologia foi realizada através de um estudo instrumental de validade de conteúdo baseado na abordagem socio formativa com os seguintes passos: 1) análise de instrumentos em fins; 2) construção de uma rubrica com foco de socio formação; 3) revisão e aprimoramento do instrumento por especialistas; 4) aplicação do instrumento a um grupo piloto; e 5) validação de conteúdo por um grupo de juízes na área educacional. Os resultados em relação ao V de Aiken com um significado de p <0,05, mostram um valor acima de 8,0. Alguns itens cujo nível de significância foi de 0,71 foram eliminados. A análise de confiabilidade mostra um valor de alfa de Cronbach de 0,891, as metodologias aplicadas pelos coeficientes de Aiken e Cronbach determinam a validade de conteúdo da rubrica. Em conclusão, apresenta-se um instrumento pertinente para avaliar o desenho de sequências didáticas, e é apresentada a necessidade de estender este estudo com uma análise fatorial exploratória que determine sua validade de conteúdo.

Resumen El contexto educativo determina, de forma tradicional, una práctica administrativa de los procesos de planeación y evaluación; en este sentido, existe una falta de instrumentos para evaluar el diseño de secuencias didácticas con el reto de otorgar saberes que enfrenten problemas de contexto y hacer una intervención docente con bases metodológicas para la resolución de problemas. El propósito de este estudio es describir el diseño de una rúbrica de secuencias didácticas para mejora de la práctica pedagógica. La metodología se realizó mediante un estudio instrumental de validez de contenido con base en el enfoque socioformativo con los siguientes pasos: 1) análisis de instrumentos afines; 2) construcción de una rúbrica con el enfoque de la socioformación; 3) revisión y mejora del instrumento por parte de equipos expertos; 4) aplicación del instrumento a un grupo piloto; y 5) validación de contenido por un grupo de jueces en el área educativa. Los resultados respecto a la V de Aiken con una significación de p<0,05, demuestran un valor arriba de 8.0. Se eliminaron algunos ítems cuyo nivel de significación fue de 0.71. El análisis de confiabilidad, muestra un valor de alfa de Cronbach de 0.891, las metodologías de coeficiente Aiken y Cronbach aplicadas determinaron la validez de contenido de la rúbrica. En conclusión, se presenta un instrumento pertinente para evaluar el diseño de secuencias didácticas, y se plantea la necesidad de ampliar este estudio con un análisis factorial exploratorio que determine su validez de constructo.

Objetivo: avaliar o desempenho referido sobre julgamento clínico por estudantes de graduação em enfermagem. Método: estudo transversal, com a aplicação da Lasater Clinical Judgment Rubric-Brazilian Version em 166 estudantes da graduação em enfermagem de uma universidade pública do Brasil. Os dados foram analisados de forma descritiva e analítica (comparando o nível de julgamento clínico entre estudantes dos grupos iniciante, intermediário e concluinte). Aplicaram-se os testes: Qui-quadrado, Exato de Fisher e Kruskal-Wallis, e adotou-se p-valor 0,05. A confiabilidade do instrumento global (alpha de Cronbach) foi de 0,786. Resultados: dos 166 estudantes, 65,7% se avaliaram como proficientes em relação ao desempenho referido sobre julgamento clínico. Das 11 dimensões da rubrica (observação focada, reconhecimento de desvios dos padrões esperados, busca por informações, priorização dos dados, compreensão dos dados, atuação calma e confiante, comunicação clara, intervenção bem planejada/flexibilidade, habilidade técnica, avaliação/autoanálise e comprometimento com o aperfeiçoamento), apenas quatro não apresentaram diferenças significativas entre os grupos (p<0,05): observação focada, busca por informações, priorização dos dados, atuação calma e confiante. Conclusão: O desempenho referido sobre julgamento clínico como proficiente foi apontado por 65,7% estudantes e foi verificada diferença estatística significante, em sete dimensões, entre os iniciantes, intermediários e concluintes, compatível com a evolução da aprendizagem.

Objective: to evaluate the reported performance regarding clinical judgment by undergraduate Nursing students. Method: a cross-sectional study with the application of the Lasater Clinical Judgment Rubric-Brazilian Version in 166 undergraduate Nursing students from a Brazilian public university. The data were analyzed descriptively and analytically (by comparing the level of clinical judgment among students from the initial, intermediate, and concluding groups). The following tests were applied: Chi-square, Fisher’s Exact and Kruskal-Wallis, and a p-value of 0.05 was adopted. The reliability of the global instrument (Cronbach’s alpha) was 0.786. Results: of the 166 students, 65.7% evaluated themselves as proficient in relation to the reported performance on clinical judgment. Of the rubric’s 11 dimensions (focused observation, recognizing deviations from expected patterns, information seeking, prioritizing data, making sense of data, calm and confident manner, clear communication, well-planned intervention/flexibility, being skillful, evaluation/self-analysis, and commitment to improvement), only four groups did not present significant differences among them (p<0.05): focused observation, information seeking, prioritizing data, and calm and confident manner. Conclusion: the performance on clinical judgment reported as proficient was pointed out by 65.7% of the students and a significant statistical difference was verified in seven dimensions, among beginners, intermediate, and concluding students, compatible with the evolution of learning.

Objetivo: evaluar la capacidad referida de juicio clínico de estudiantes de licenciatura en enfermería. Método: estudio transversal con aplicación de la Lasater Clinical Judgment Rubric-Brazilian Version en 166 estudiantes de licenciatura en enfermería de una universidad pública de Brasil. Los datos se analizaron de forma descriptiva y analítica (comparando el nivel de juicio clínico entre los estudiantes de los grupos principiante, intermedio y avanzado). Se aplicaron las pruebas: Chi-cuadrado, Exacta de Fisher y Kruskal-Wallis, y se adoptó un p-valor de 0,05. La confiabilidad del instrumento global (alfa de Cronbach) fue de 0,786. Resultados: de los 166 estudiantes, el 65,7% se evaluó como competente en relación con la capacidad referida de juicio clínico. De las 11 dimensiones de la rúbrica (observación enfocada, reconocimiento de desviaciones de los estándares esperados, búsqueda de información, priorización de datos, comprensión de datos, desempeño tranquilo y seguro, comunicación clara, intervención bien planificada/flexibilidad, habilidad técnica, evaluación/autoanálisis y compromiso con la mejora), solo cuatro no mostraron diferencias significativas entre grupos (p<0,05): observación enfocada, búsqueda de información, priorización de datos, desempeño tranquilo y seguro. Conclusión: el 65,7% de los estudiantes consideró que poseía juicio clínico competente y hubo una diferencia estadísticamente significativa, en siete dimensiones, entre principiantes, intermedios y avanzados, compatible con la evolución del aprendizaje.

Abstract Teaching communicative competences to future teachers has become a need for the European Higher Education Area (EHEA). In this regard, it is essential to know the writing competence of the teachers in training and, specifically, their skills when it comes to writing a text. For that reason, this research article aimed to validate an analytical rubric to evaluate expository texts written by university students. The tool has taken into consideration seven general dimensions assessed according to an estimation scale, ranging from excellent to deficient, including good and acceptable. The validation of the tool was carried out using a mixed methodology (quantitative-qualitative), in which initially 12 independent judges validated its content, and then a statistical validation with the statistical package software (SPSS) was conducted. The results were the obtention of the unanimity of judgment among judges and high internal consistency in the tool. Therefore, the rubric has the suitable construct validity, validated by the judges’ assessment, and high reliability, which justifies its usefulness in analyzing and assessing expository texts to be written by future university students and teachers in training.

Resumo Resumo: A capacitação em competências comunicativas de futuros docentes se transformou em uma necessidade no Espaço Europeu de Educação Superior (EEES). Nesse sentido, é fundamental conhecer a competência escrita dos docentes em formação e, de fato, suas habilidades para elaborar textos. Por isso, o objetivo deste artigo de pesquisa foi a validação de uma rubrica analítica para avaliar textos expositivos escritos por estudantes universitários. O instrumento utilizado considerou sete dimensões gerais que são avaliadas em uma escala de estimativa que varia de excelente a ruim, passando por bom e aceitável. Com o uso de uma metodologia mista (qualitativa e quantitativa), se procedeu a validação do instrumento, no qual inicialmente 12 pessoas fizeram o julgamento de forma independente, validaram seu conteúdo e depois foi realizada a validação estatística com o software Statistical Package for the Social Sciences (SPSS). Obteve-se a unanimidade no julgamento entre os avaliadores, assim como uma elevada consistência interna no instrumento. Portanto, a proposta possui uma validade adequada de construto, constatada pela avaliação dos juízes e uma alta confiabilidade, o que justifica sua utilização para analisar e avaliar textos expositivos de estudantes universitários e professores em formação.

Resumen La formación en competencias comunicativas del futuro personal docente se ha convertido en una necesidad en el Espacio Europeo de Educación Superior (EEES). En este sentido, es fundamental conocer la competencia escritora de las personas docentes en formación y, concretamente, sus habilidades para elaborar un texto. Por ello, el objetivo de este artículo de investigación fue la validación de una rúbrica analítica para evaluar textos expositivos escritos por estudiantado universitario. El instrumento ha considerado siete dimensiones generales que se valoran, a partir de una escala de estimación, que va de excelente a deficiente, pasando por bueno y aceptable. Mediante una metodología mixta (cualitativa-cuantitativa), se procedió a la validación del instrumento, en el que inicialmente 12 personas juzgaron, de manera independiente, validaron su contenido y después se realizó su validación estadística con el software StatisticalPackageforthe Social Sciences (SPSS). Se obtuvo la unanimidad de juicio del equipo evaluador, así como una elevada consistencia interna en el instrumento. Por tanto, la rúbrica goza de una adecuada validez de constructo, constatada por la valoración experta, y una alta fiabilidad, lo que justifica su utilidad para analizar y valorar textos expositivos en futuro estudiantado universitario y docentes en formación.

Resumen En el presente trabajo se exponen los resultados de un estudio instrumental que aborda el análisis de la validez de constructo y confiabilidad del instrumento: enfoque directivo en la gestión para resultados en la sociedad del conocimiento, con el objeto de que obtenga una calidad óptima para que brinde evidencias válidas y confiables. La construcción del instrumento se basó en los cuatro ejes fundamentales del ciclo de gestión y en lo expresado en el primer principio de la Declaración de Marrakech. Para cumplir con el objetivo, el instrumento fue aplicado a 505 directivos de la administración pública. El análisis de validez de constructo se realizó con la técnica del análisis factorial exploratorio (AFE), verificándose la pertinencia de los datos para esta técnica y se analizó la confiabilidad del instrumento mediante el Alfa de Cronbach. Los resultados del AFE revelan que los ítems están representados en el modelo factorial, manifestándose un solo factor, lo cual corresponde con el modelo teórico propuesto. En cuanto al análisis de confiabilidad, se obtuvo un valor óptimo (Alfa de Cronbach: 0.868). Ante estos resultados, se concluye que el instrumento y los elementos que lo integran representan y miden con precisión el constructo que se pretende evaluar.

Abstract In this paper, the results of an instrumental study are presented that deals with the analysis of construct validity and reliability of the instrument: managerial approach in management for results in the knowledge society, with the objective to obtain an optimum quality so that provide valid and reliable evidence. The construction of the instrument was based on the four fundamental axes of the management cycle and what was expressed in the first principle of the Marrakech Declaration. To meet the objective, the instrument was applied to 505 executives of the public administration. The construct validity analysis was performed using the exploratory factor analysis (EFA) technique, verifying the pertinence of the data for this technique and analyzing the reliability of the instrument using Cronbach's Alpha. The results of the EFA reveal that the items are represented in the factorial model, manifesting only one factor, which corresponds to the proposed theoretical model. Regarding the reliability analysis, an optimal value was obtained (Cronbach's Alpha: 0.868). Given these results, it is concluded that the instrument and the elements that integrate it accurately represent and measure the construct that is intended to be evaluated.

Abstract: The teaching and evaluation of writing are essential activities in any area, especially in Medicine, which is a highly specialized discipline. However, professors, who have received training in medicine but not in didactics or writing assessment, often lack adequate tools to evaluate the linguistic- discursive aspects of the texts produced by their students. Our aim is to propose a contextualized evaluation instrument for assessing the linguistic-discursive quality of disciplinary texts produced by students of Medicine degrees. For this, a qualitative study through a case study design were developed in order to generate an analytical rubric for guiding teaching and assessment of writing in medical training. The elaboration process of the instrument included the revision of different inputs from a Medical degree program, which allowed us to identify the linguistic-discursive properties that these specialized texts should have and the corresponding aspects that should be evaluated by the disciplinary teachers. The instrument was made up of 17 dimensions, grouped into four macro dimensions: communicative situation, communication of specialized knowledge in Medicine, global and sentence structure, and normative. After several validation procedures, the final version of the instrument obtained a considerable agreement for content validity (K=0.6) and an almost perfect agreement for intercoder reliability (K=0.9). In conclusion, this instrument will allow obtaining more precise information regarding the level of acquisition of the writing competence along the training of doctors as well as defining intervention strategies according to the needs of the disciplinary community.

Resumen: La enseñanza y evaluación de la escritura son actividades esenciales en cualquier área, máxime en Medicina, que es una disciplina altamente especializada. Sin embargo, los docentes, con formación médica, pero no en didáctica ni evaluación de la escritura, muchas veces carecen de herramientas adecuadas para evaluar los aspectos lingüístico-discursivos de los textos que producen sus estudiantes. El objetivo es proponer un instrumento de evaluación contextualizado que permita valorar la calidad lingüístico-discursiva de textos disciplinares producidos por estudiantes de Medicina. Para ello, se desarrolla un estudio cualitativo mediante un estudio de caso, a fin de generar una rúbrica analítica que permita orientar la enseñanza y evaluación de la escritura en la formación en Medicina. El proceso de creación del instrumento incluyó la revisión de distintos insumos de la carrera mencionada, lo que permitió realizar un levantamiento de las propiedades lingüístico-discursivas que debiesen poseer los textos especializados en cuestión y los aspectos que tendrían que ser evaluados por los docentes disciplinares en dichos textos. El instrumento quedó constituido por 17 dimensiones, agrupadas en cuatro macrodimensiones: situación comunicativa, comunicación del conocimiento especializado en Medicina, estructura global y oracional, normativa. Tras diversos procedimientos de validación, la versión final del instrumento obtuvo un acuerdo considerable para la validez de contenido (K=0,6) y uno casi perfecto para la confiabilidad intercodificador (K=0,9). En conclusión, este instrumento permitirá obtener información más precisa respecto del nivel de adquisición de la competencia escritural en la formación de médicos; y, además, definir estrategias de intervención adecuadas a las necesidades de la comunidad disciplinar.