Abstract: This study aims to investigate which factors, external to the school's control, influence their educational outcomes in the Basic Education Development Index (Ideb). It is a cross-sectional, quantitative, and exploratory-descriptive study, employing multiple linear regression to verify the effect of 13 contextual evaluation indicators of basic education on the school performance of 222 high schools supervised by the state of Espírito Santo in 2019 Ideb. Through the stepwise method, four of them were selected to compose the regression model, revealing 50.8% of the variations in the Ideb score. The factor with the greatest impact was age-grade distortion rate, indicating that schools with a higher number of students lagging behind in school face more pronounced challenges in achieving good results in Ideb, even when controlling other variables. Subsequently, the percentage of students declared as being white and the socioeconomic level, respectively, were directly related to the indices obtained by the schools, reflecting racial, social, and economic inequalities. The fourth factor identified was the teacher efforts, signaling that teachers' workload can harm the quality of teaching and students' learning. These results reaffirm the importance of considering the context in which schools are inserted to evaluate their performances in Ideb. However, this contextualization does not imply that students' performance should be predetermined by the school's characteristics, but rather that it is essential to incorporate it into education monitoring and the development of public policies that address their specificities.

Resumo: Este artigo tem como objetivo investigar quais fatores, externos ao controle da escola, influenciam seus resultados educacionais no Índice de Desenvolvimento da Educação Básica (Ideb). Trata-se de um estudo transversal, quantitativo e descritivo-exploratório, que utilizou a regressão linear múltipla para verificar o efeito de 13 indicadores de avaliação de contexto da educação básica no desempenho escolar de 222 escolas de ensino médio administradas pelo estado do Espírito Santo no Ideb 2019. Por meio do método stepwise, quatro deles foram selecionados para compor o modelo de regressão, explicando 50,8% das variações na nota do Ideb. O fator de maior impacto foi a taxa de distorção idade-série, apontando que escolas com maior número de alunos em defasagem escolar enfrentam desafios mais acentuados para alcançar bons resultados no Ideb, mesmo controlando outras variáveis. Em seguida, vieram o percentual de estudantes declarados como brancos e o nível socioeconômico, respectivamente, que se mostraram diretamente relacionados aos índices obtidos pelas unidades, refletindo desigualdades raciais, sociais e econômicas. O quarto fator identificado foi o esforço docente, sinalizando que a sobrecarga de trabalho dos professores pode prejudicar a qualidade do ensino e a aprendizagem dos estudantes. Esses resultados reafirmam a importância de considerar o contexto em que as escolas estão inseridas para avaliar seu desempenho no Ideb. No entanto, essa contextualização não implica que o desempenho dos estudantes deva ser predeterminado pelas características da escola, mas, sim, que é essencial incorporá-la no monitoramento da educação e no desenvolvimento de políticas públicas que atendam às suas especificidades.

Resumen: Este artículo tiene como objetivo investigar qué factores, externos al control de la escuela, influyen en sus resultados educativos en el Índice de Desarrollo de la Educación Básica (Ideb). Se trata de un estudio transversal, cuantitativo y descriptivo-exploratorio, que utilizó regresión lineal múltiple para verificar el efecto de 13 indicadores de evaluación del contexto de la educación básica en el desempeño escolar de 222 escuelas secundarias administradas por el estado de Espírito Santo en el Ideb 2019. A través del método stepwise, cuatro de ellos fueron seleccionados para componer el modelo de regresión, explicando el 50.8% de las variaciones en la puntuación de Ideb. El factor de mayor impacto fue la tasa de distorsión edad-grado, lo que indica que las escuelas con mayor número de estudiantes con retraso escolar enfrentan mayores desafíos para lograr buenos resultados en Ideb, incluso controlando otras variables. Enseguida, vinieron el porcentaje de estudiantes declarados como blancos y el nivel socioeconómico, respectivamente, que se mostraron directamente relacionados con los índices obtenidos por las unidades, reflejando desigualdades raciales, sociales y económicas. El cuarto factor identificado fue el esfuerzo docente, señalando que la sobrecarga de trabajo de los profesores puede perjudicar la calidad de la enseñanza y el aprendizaje de los estudiantes. Estos resultados reafirman la importancia de considerar el contexto en el que se insertan las escuelas para evaluar su desempeño en Ideb. Sin embargo, esta contextualización no implica que el rendimiento de los estudiantes deba estar predeterminado por las características de la escuela, sino que es esencial incorporarlo en el monitoreo de la educación y en el desarrollo de políticas públicas que aborden sus especificidades.

ABSTRACT The Program for International Student Assessment (PISA) is a standardized exam carried out every three years by the Organization for Economic Co-operation and Development to measure the educational level of 15-year-old students in reading, mathematics, and science. This study aims to analyze what and how often teachers use methods to assess their students’ learning other than PISA. This mixed research uses the responses of teachers from five Latin American countries (Brazil, Chile, Panama, Peru, and the Dominican Republic) who responded to the 2018 PISA contextual questionnaire. Results organized the discussions based on three categories of analysis that align with assessment methods for learning, focusing on the dimensions of a) hetero-assessment, b) self-assessment, and c) feedback. Predominantly, hetero-assessment was the central approach, reflecting a traditional emphasis on the active role of the evaluating teacher. The absence of co-assessment and shared assessment highlights a gap in assessment practices, indicating the need to promote more collaborative and peer-to-peer assessments. This study concluded that these results must be interpreted considering contextual differences and local policies, showing the complexity of evaluation practices and indicating the importance of adopting comprehensive and collaborative methods to improve more inclusive educational environments that concern themselves with the learning processes of students in basic education.

RESUMO O Programa de Avaliação Internacional de Estudantes (PISA) é um exame padronizado realizado a cada três anos pela Organização para a Cooperação e Desenvolvimento Econômico (OCDE), com o objetivo de mensurar o nível educacional de jovens de 15 anos em Leitura, Matemática e Ciência. O objetivo deste artigo consiste em analisar quais são e com que frequência os docentes utilizam métodos de avaliação da aprendizagem de seus alunos para além do PISA. Caracteriza-se como uma pesquisa de natureza mista que utiliza as respostas dos professores de cinco países da América Latina (Brasil, Chile, Panamá, Peru e República Dominicana) que responderam ao questionário contextual do PISA de 2018. Os resultados permitiram organizar as discussões a partir de três categorias de análises que se alinham com os métodos de avaliação para aprendizagem, concentrando-se nas dimensões: a) heteroavaliação; b) autoavaliação; e c) retroalimentação. Predominantemente, a heteroavaliação foi a abordagem central, refletindo uma tradicional ênfase no papel ativo do professor avaliador. A ausência de coavaliação e avaliação compartilhada destaca uma lacuna nas práticas avaliativas, indicando a necessidade de promover avaliações mais colaborativas e entre pares. Conclui que esses resultados devem ser interpretados considerando as diferenças contextuais e políticas locais, revelando a complexidade das práticas avaliativas e indicando a importância de adotar métodos abrangentes e colaborativos para aprimorar ambientes educacionais mais inclusivos e preocupados com os processos de aprendizagem dos estudantes da educação básica.

Abstract The Scale of Attitudes towards External Assessments applied on a Large-Scale was developed to capture what basic education teachers think, feel, and how they behave in response to this type of assessment. Considering the potential of the instrument to support management decisions in the field of educational assessment policies, this article aimed to evaluate construct validity, via factor analysis, as well as scale reliability, via composite reliability of the scale, based on its application to a sample of teachers affiliated with the Education Department of Espírito Santo/Brazil. This is a quantitative, nonexperimental, instrumental study that involved 405 teachers from the public school network, whose results indicate adequate psychometric indices and a satisfactory factor structure consistent with the proposed three-dimensional attitude construct. The statistical coefficients found at the level of the analyses performed legitimize its use for the development of public policies and effective practices in the educational field.

Resumo A Escala de Atitudes perante as Avaliações Externas aplicadas em Larga Escala foi desenvolvida para capturar o que os professores da educação básica pensam, sentem e se comportam mediante esse tipo de avaliação. Considerando as potencialidades do instrumento para subsidiar decisões gerenciais no âmbito das políticas de avaliação educacional, esta pesquisa objetivou avaliar a validade do construto, mediante a Análise Fatorial, e a confiabilidade da escala, por meio da fidedignidade composta, a partir da aplicação para uma amostra de professores vinculados à Secretaria de Educação do Espírito Santo/Brasil. Trata-se de um estudo quantitativo, não experimental, de cunho instrumental, que envolveu 405 docentes da rede, cujos resultados indicam para adequados índices psicométricos e uma estrutura fatorial satisfatória e condizente com a proposta tridimensional do construto atitudes. Os coeficientes estatísticos encontrados ao nível das análises realizadas legitimam sua utilização para o desenvolvimento de políticas e práticas efetivas no âmbito educacional.

Resumen La Escala de Actitudes ante las Evaluaciones Externas aplicadas a Gran Escala se desarrolló para identificar lo que el profesorado de educación básica piensa, siente y hace frente a este tipo de evaluación. Teniendo en cuenta el potencial del instrumento para respaldar las decisiones gerenciales en las políticas de evaluación educativa, este artículo tuvo como objetivo evaluar la validez del constructo, mediante el análisis factorial, y la confiabilidad, mediante la fiabilidad compuesta de la escala, basándose en su aplicación a una muestra de profesores de la Red de Educación de Espírito Santo/Brasil. Se trata de un estudio cuantitativo, no experimental, de naturaleza instrumental, que involucró a 405 docentes; y los resultados indican índices psicométricos adecuados y una estructura factorial satisfactoria y coherente con la propuesta tridimensional del constructo de actitudes. Los coeficientes estadísticos encontrados a partir de los análisis realizados legitiman su uso para el desarrollo de políticas públicas y prácticas efectivas en el campo educativo.

Abstract This paper aims to analyze, under the theoretical possibilities of the indiciary paradigm, the methodology used in the construction of the Ideb algorithm and of intermediate goals for the quality of Brazilian Education, looking for evidence that will lead us to understand the concept of quality of Education assumed by the indicator. It is a qualitative study, which uses researching bibliographies and analyzing documents as a theoretical-methodological approach considering, as sources, the official technical notes made available to describe the statistical-mathematical procedures utilized in the design of the indicator. Results showed the mathematical rigor and the care taken by MEC/Inep professionals to differentiate the biennial goals projected for each teaching modality and in all administrative spheres. On the other hand, they expose some weaknesses at not considering the specificities surrounding the Brazilian educational reality, compromising the reliability of the evidenced results.

Resumo Este artigo tem o objetivo de analisar, sob as possibilidades teóricas do paradigma indiciário, a metodologia utilizada na construção do algoritmo do Ideb e na projeção de metas a serem alcançadas em todas as esferas dos sistemas educacionais brasileiros, buscando indícios que nos levem a compreender a concepção de qualidade da Educação adotada pelo indicador. Trata-se de um estudo qualitativo que assume a pesquisa bibliográfica e a análise documental como abordagem teórico-metodológica, considerando, como fontes, as notas técnicas oficiais disponibilizadas para descrever os procedimentos estatístico-matemáticos utilizados. As análises apresentadas evidenciam o rigor matemático e o cuidado dos profissionais do MEC/Inep em diferenciar as metas bienais projetadas para cada modalidade de Ensino e setor administrativo. Em contrapartida, expõem sua fragilidade em não considerar as especificidades que constituem a realidade educacional brasileira, comprometendo a fidedignidade dos resultados evidenciados.

Resumen Este artículo tiene como objetivo analizar, bajo las posibilidades teóricas del paradigma probatorio, la metodología utilizada en la construcción del algoritmo Ideb y en la proyección de metas a ser alcanzadas en todas las esferas de los sistemas educativos brasileños, buscando evidencias que nos lleven a comprender el concepción de la calidad en la Educación adoptada por el indicador. Se trata de una investigación cualitativa que asume como enfoque teórico-metodológico la investigación bibliográfica y el análisis documental, considerando como fuentes las notas técnicas oficiales disponibles para describir los procedimientos estadístico-matemáticos utilizados. Los análisis presentados muestran el rigor matemático y el cuidado de los profesionales del MEC/Inep en diferenciar las metas bienales diseñadas para cada modalidad de enseñanza y del sector administrativo. Por otro lado, exponen su fragilidad al no considerar las especificidades que constituyen la realidad educativa brasileña, comprometiendo la confiabilidad de los resultados evidenciados.

RESUMO Durante a reforma educacional implantada na primeira década deste século no estado do Espírito Santo, foi instaurado, como política de bonificação por desempenho, o Indicador de Desenvolvimento das Escolas. Este artigo foi desenvolvido com o objetivo de analisar a metodologia utilizada na construção do algoritmo do indicador, estabelecendo algumas aproximações com o Índice de Desenvolvimento da Educação Básica. Para tanto, assume uma metodologia mista exploratória sequencial, subsidiada pela pesquisa documental e por análises correlacionais. Como resultado, percebeu-se que, embora apresente avanços em relação ao indicador nacional, sobretudo por considerar o fator socioeconômico em sua composição, existem fragilidades que são sinalizadas pensando um possível aperfeiçoamento futuro.

ABSTRACT During the educational reform implemented in the first decade of this century in the state of Espírito Santo, Brazil, it was established, as a bonus policy for performance, the School Development Indicator. This article was developed with the objective of analyzing the methodology used in the construction of the indicator algorithm, establishing some approaches with the Basic Education Index of Development. With this aim, it assumes a mixed sequential exploratory methodology, supported by documentary research and correlational analyses. As a result, it was noticed that, although presenting advances in comparison to the national indicator, primarily as it considers the socioeconomic factor in its composition, there are weaknesses signaled in order to think a possible improvement in the future.

RESUMEN Durante la reforma educativa implementada en la primera década de este siglo en el estado de Espírito Santo, se introdujo el Indicador de Desarrollo Escolar como política de bonificación por desempeño. Este artículo se desarrolló con el objetivo de analizar la metodología utilizada en la construcción del algoritmo del indicador, estableciendo algunas aproximaciones con el Índice de Desarrollo de la Educación Básica. Para ello, asume una metodología mixta exploratoria secuencial, apoyada en investigación documental y análisis correlacionales. Como resultado, se percibió que, si bien presenta avances en relación al indicador nacional, especialmente considerando el factor socioeconómico en su composición, existen debilidades que se señalan pensando una posible mejora futura.

Resumo O Exame Nacional do Ensino Médio (ENEM), criado em 1998 para avaliar a qualidade da educação oferecida para os jovens brasileiros, tem se consolidado como a principal porta de acesso ao Ensino Superior no Brasil. Contudo, ainda é pequeno o número de estudos voltados a analisar a qualidade do exame e dos itens que o compõe. Para contribuir com esta temática, este artigo tem o objetivo de analisar a qualidade psicométrica da Prova de Matemática da edição de 2018 do ENEM/Brasil. Metodologicamente, trata-se de uma pesquisa predominantemente quantitativa e exploratória, desenvolvida a partir da aplicação de técnicas psicométricas a uma amostra de 68438 respondentes, matriculados no 3º ano do Ensino Médio no ano de sua aplicação. Os resultados indicaram uma prova de confiabilidade satisfatória (α>0.7). Quanto aos itens que a compõem, identificou-se 4 que apresentavam problemas de ajuste ao modelo logístico de 3 parâmetros da Teoria de Resposta ao Item (TRI), adotado pelo exame, 1 que apresentava coeficiente de discriminação significativamente baixo a<0.5 e 5 que apresentavam coeficiente de dificuldade acima dos limites considerados aceitáveis neste estudo b>3.0 , definidos a partir de consulta à literatura especializada. Esses resultados nos levam a concluir que uma porcentagem considerável dos itens da prova analisada (22.7%) apresenta parâmetros psicométricos insatisfatórios. Tendo em vista que qualquer imprecisão sinalizada pode comprometer a validade dos resultados obtidos, sugere-se que os processos que envolvem a criação, revisão, testagem e calibração dos itens sejam aprimorados, de modo a garantir a isonomia do exame.

Resumen El Examen Nacional de la Secundaria Superior (ENEM), creado en 1998 para evaluar la calidad de la educación ofrecida a la juventud brasileña, se ha consolidado como la principal puerta de acceso a la Enseñanza Superior en Brasil. Actualmente es reducido el número de estudios dedicados a analizar la calidad de la prueba y de los elementos que la componen. Para contribuir a esta temática, este artículo busca analizar la calidad psicométrica del Examen de Matemáticas de la edición 2018 de ENEM/Brasil. Con respecto a la metodología, la investigación fue predominantemente cuantitativa y exploratoria a través de técnicas psicométricas aplicadas a una muestra de 68438 estudiantes del 3º año de preparatoria, quienes realizaron la prueba. Los resultados apuntaron hacia una prueba confiable (α>0.7). En cuanto a los ítems que lo componen, 4 se identificaron con problemas de ajuste al modelo logístico de 3 parámetros de la Teoría de Respuesta al Ítem (TRI) adoptado por el examen; 1 que presentaba un coeficiente de discriminación significativamente bajo (a <0.5) y 5 que tenían un coeficiente de dificultad con niveles encima de los considerados aceptables (b> 3.0), teniendo en cuenta los criterios generales expuestos en la literatura especializada. Estos resultados nos llevan a concluir que un porcentaje considerable de los ítems analizados de la prueba (22.7%) tienen parámetros psicométricos insatisfactorios. Considerando que cualquier imprecisión indicada puede comprometer la validez de los resultados obtenidos, se sugiere mejorar los procesos que involucran la creación, revisión, ensayo y evaluación de los ítems, a fin de garantizar la isonomía del examen.

Abstract The Brazilian National High School Examination (ENEM), created in 1998 to assess the quality of education offered to young brazilians, has consolidated itself as the main access to the universities in Brazil. However, there are few studies aimed at analyzing the quality of the exam and the items that are in it. Thus, this paper aims to analyze the psychometric quality of the mathematics test of ENEM of 2018. It was used a quantitative and exploratory methodology, developed through psychometrics methods applied to 68,438 students that made the exam, enrolled in the last year of the high school. The results pointed to a reliable test (α>0.7). As for the items that compose it, four showed adjustment problems concerning to the logistic model of three parameters of the Theory of Response to the item (TRI), adopted by the exam, one showed a significantly lower coefficient of discrimination a<0.5 and five that showed a difficulty coefficient higher than those considered acceptable b>3.0 . These results lead us to conclude that a considerable number of the items analyzed (22.7%) showed unsatisfactory psychometric parameters. Bearing in mind that any reported inaccuracies may compromise the validity of the results obtained, it is suggested that the processes that involve the creation, review, testing and calibration of the items must be improved, in order to guarantee the isonomy of the exam.