Resumen La Escala de Actitudes ante las Evaluaciones Externas aplicadas a Gran Escala se desarrolló para identificar lo que el profesorado de educación básica piensa, siente y hace frente a este tipo de evaluación. Teniendo en cuenta el potencial del instrumento para respaldar las decisiones gerenciales en las políticas de evaluación educativa, este artículo tuvo como objetivo evaluar la validez del constructo, mediante el análisis factorial, y la confiabilidad, mediante la fiabilidad compuesta de la escala, basándose en su aplicación a una muestra de profesores de la Red de Educación de Espírito Santo/Brasil. Se trata de un estudio cuantitativo, no experimental, de naturaleza instrumental, que involucró a 405 docentes; y los resultados indican índices psicométricos adecuados y una estructura factorial satisfactoria y coherente con la propuesta tridimensional del constructo de actitudes. Los coeficientes estadísticos encontrados a partir de los análisis realizados legitiman su uso para el desarrollo de políticas públicas y prácticas efectivas en el campo educativo. piensa educativa confiabilidad escala SantoBrasil Santo Brasil Santo/Brasil cuantitativo experimental instrumental 40 docentes actitudes educativo 4

Resumo A Escala de Atitudes perante as Avaliações Externas aplicadas em Larga Escala foi desenvolvida para capturar o que os professores da educação básica pensam, sentem e se comportam mediante esse tipo de avaliação. Considerando as potencialidades do instrumento para subsidiar decisões gerenciais no âmbito das políticas de avaliação educacional, esta pesquisa objetivou avaliar a validade do construto, mediante a Análise Fatorial, e a confiabilidade da escala, por meio da fidedignidade composta, a partir da aplicação para uma amostra de professores vinculados à Secretaria de Educação do Espírito Santo/Brasil. Trata-se de um estudo quantitativo, não experimental, de cunho instrumental, que envolveu 405 docentes da rede, cujos resultados indicam para adequados índices psicométricos e uma estrutura fatorial satisfatória e condizente com a proposta tridimensional do construto atitudes. Os coeficientes estatísticos encontrados ao nível das análises realizadas legitimam sua utilização para o desenvolvimento de políticas e práticas efetivas no âmbito educacional. pensam educacional Fatorial escala composta SantoBrasil Santo Brasil Santo/Brasil Tratase Trata quantitativo experimental instrumental 40 rede atitudes 4

Abstract The Scale of Attitudes towards External Assessments applied on a Large-Scale was developed to capture what basic education teachers think, feel, and how they behave in response to this type of assessment. Considering the potential of the instrument to support management decisions in the field of educational assessment policies, this article aimed to evaluate construct validity, via factor analysis, as well as scale reliability, via composite reliability of the scale, based on its application to a sample of teachers affiliated with the Education Department of Espírito Santo/Brazil. This is a quantitative, nonexperimental, instrumental study that involved 405 teachers from the public school network, whose results indicate adequate psychometric indices and a satisfactory factor structure consistent with the proposed three-dimensional attitude construct. The statistical coefficients found at the level of the analyses performed legitimize its use for the development of public policies and effective practices in the educational field. LargeScale Large think feel validity analysis SantoBrazil Santo Brazil Santo/Brazil quantitative nonexperimental 40 network threedimensional three dimensional 4

Resumen Este artículo fue desarrollado con el objetivo de investigar cómo la titulación del personal docente tiene un impacto en el Índice General de Cursos, el principal indicador de calidad desarrollado para evaluar las Instituciones de Educación Superior en Brasil. Para ello, considera los resultados obtenidos por las instituciones que integran la Red Federal de Educación Profesional, Científica y Tecnológica brasileña. Metodológicamente, se trata de un estudio correlacional, realizado en el primer semestre de 2020, fundamentado en la estimación de un modelo de regresión lineal simple, capaz de explicar la relación entre estas variables. Luego del análisis diagnóstico del modelo, se evaluó la calidad del ajuste mediante el cálculo del coeficiente de determinación, cuyo valor corregido indicó que alrededor del 60% de la variación observada por la variable respuesta está siendo explicada por el modelo propuesto. Así, para un aumento, en promedio, de un nivel de calificación de los docentes analizados, se estima que existe un aumento promedio de 1.0274 puntos en el Índice General de Cursos de las unidades en las que laboran, señalando la necesidad formular políticas educativas orientadas a este fin en estas instituciones, especialmente considerando el incremento de los resultados educativos obtenidos a través del indicador investigado.

Abstract The purpose of this paper was to look into how a professor's degree affects the General Index of Courses, which is the main quality indicator in Brazilian higher education. For that, the results obtained by the Brazilian Federal Network of Professional, Scientific, and Technological Education were considered. Methodologically, it is a correlational study, carried out in the first half of 2020, supported by the simple linear regression model for understanding the relationship between these variables. After the diagnostic analysis of the model, the quality of the adjustment was assessed by calculating the coefficient of determination, whose corrected value indicated that about 60% of the variation observed in the response variable is being explained by the proposed model. Thus, for an increase, on average, in the level of title of the analyzed professors, it is estimated that there is an average increase of 1,0274 points in the General Index of Courses of the units in which they work, signaling the need to formulate policies in educational institutions aimed at this end, especially considering the increase in educational results obtained through the indicator investigated.

Resumen Este artículo tiene como objetivo analizar, bajo las posibilidades teóricas del paradigma probatorio, la metodología utilizada en la construcción del algoritmo Ideb y en la proyección de metas a ser alcanzadas en todas las esferas de los sistemas educativos brasileños, buscando evidencias que nos lleven a comprender el concepción de la calidad en la Educación adoptada por el indicador. Se trata de una investigación cualitativa que asume como enfoque teórico-metodológico la investigación bibliográfica y el análisis documental, considerando como fuentes las notas técnicas oficiales disponibles para describir los procedimientos estadístico-matemáticos utilizados. Los análisis presentados muestran el rigor matemático y el cuidado de los profesionales del MEC/Inep en diferenciar las metas bienales diseñadas para cada modalidad de enseñanza y del sector administrativo. Por otro lado, exponen su fragilidad al no considerar las especificidades que constituyen la realidad educativa brasileña, comprometiendo la confiabilidad de los resultados evidenciados. analizar probatorio brasileños indicador teóricometodológico teórico metodológico documental estadísticomatemáticos estadístico matemáticos utilizados MECInep MEC Inep administrativo lado brasileña evidenciados

Abstract This paper aims to analyze, under the theoretical possibilities of the indiciary paradigm, the methodology used in the construction of the Ideb algorithm and of intermediate goals for the quality of Brazilian Education, looking for evidence that will lead us to understand the concept of quality of Education assumed by the indicator. It is a qualitative study, which uses researching bibliographies and analyzing documents as a theoretical-methodological approach considering, as sources, the official technical notes made available to describe the statistical-mathematical procedures utilized in the design of the indicator. Results showed the mathematical rigor and the care taken by MEC/Inep professionals to differentiate the biennial goals projected for each teaching modality and in all administrative spheres. On the other hand, they expose some weaknesses at not considering the specificities surrounding the Brazilian educational reality, compromising the reliability of the evidenced results. analyze paradigm indicator study theoreticalmethodological methodological sources statisticalmathematical statistical MECInep MEC Inep spheres hand reality results

Resumo Este artigo tem o objetivo de analisar, sob as possibilidades teóricas do paradigma indiciário, a metodologia utilizada na construção do algoritmo do Ideb e na projeção de metas a serem alcançadas em todas as esferas dos sistemas educacionais brasileiros, buscando indícios que nos levem a compreender a concepção de qualidade da Educação adotada pelo indicador. Trata-se de um estudo qualitativo que assume a pesquisa bibliográfica e a análise documental como abordagem teórico-metodológica, considerando, como fontes, as notas técnicas oficiais disponibilizadas para descrever os procedimentos estatístico-matemáticos utilizados. As análises apresentadas evidenciam o rigor matemático e o cuidado dos profissionais do MEC/Inep em diferenciar as metas bienais projetadas para cada modalidade de Ensino e setor administrativo. Em contrapartida, expõem sua fragilidade em não considerar as especificidades que constituem a realidade educacional brasileira, comprometendo a fidedignidade dos resultados evidenciados. analisar indiciário brasileiros indicador Tratase Trata se teóricometodológica, teóricometodológica teórico metodológica, metodológica teórico-metodológica considerando fontes estatísticomatemáticos estatístico matemáticos utilizados MECInep MEC Inep administrativo contrapartida brasileira evidenciados

RESUMO Durante a reforma educacional implantada na primeira década deste século no estado do Espírito Santo, foi instaurado, como política de bonificação por desempenho, o Indicador de Desenvolvimento das Escolas. Este artigo foi desenvolvido com o objetivo de analisar a metodologia utilizada na construção do algoritmo do indicador, estabelecendo algumas aproximações com o Índice de Desenvolvimento da Educação Básica. Para tanto, assume uma metodologia mista exploratória sequencial, subsidiada pela pesquisa documental e por análises correlacionais. Como resultado, percebeu-se que, embora apresente avanços em relação ao indicador nacional, sobretudo por considerar o fator socioeconômico em sua composição, existem fragilidades que são sinalizadas pensando um possível aperfeiçoamento futuro.

ABSTRACT During the educational reform implemented in the first decade of this century in the state of Espírito Santo, Brazil, it was established, as a bonus policy for performance, the School Development Indicator. This article was developed with the objective of analyzing the methodology used in the construction of the indicator algorithm, establishing some approaches with the Basic Education Index of Development. With this aim, it assumes a mixed sequential exploratory methodology, supported by documentary research and correlational analyses. As a result, it was noticed that, although presenting advances in comparison to the national indicator, primarily as it considers the socioeconomic factor in its composition, there are weaknesses signaled in order to think a possible improvement in the future.

RESUMEN Durante la reforma educativa implementada en la primera década de este siglo en el estado de Espírito Santo, se introdujo el Indicador de Desarrollo Escolar como política de bonificación por desempeño. Este artículo se desarrolló con el objetivo de analizar la metodología utilizada en la construcción del algoritmo del indicador, estableciendo algunas aproximaciones con el Índice de Desarrollo de la Educación Básica. Para ello, asume una metodología mixta exploratoria secuencial, apoyada en investigación documental y análisis correlacionales. Como resultado, se percibió que, si bien presenta avances en relación al indicador nacional, especialmente considerando el factor socioeconómico en su composición, existen debilidades que se señalan pensando una posible mejora futura.

Resumen El Examen Nacional de la Secundaria Superior (ENEM), creado en 1998 para evaluar la calidad de la educación ofrecida a la juventud brasileña, se ha consolidado como la principal puerta de acceso a la Enseñanza Superior en Brasil. Actualmente es reducido el número de estudios dedicados a analizar la calidad de la prueba y de los elementos que la componen. Para contribuir a esta temática, este artículo busca analizar la calidad psicométrica del Examen de Matemáticas de la edición 2018 de ENEM/Brasil. Con respecto a la metodología, la investigación fue predominantemente cuantitativa y exploratoria a través de técnicas psicométricas aplicadas a una muestra de 68438 estudiantes del 3º año de preparatoria, quienes realizaron la prueba. Los resultados apuntaron hacia una prueba confiable (α>0.7). En cuanto a los ítems que lo componen, 4 se identificaron con problemas de ajuste al modelo logístico de 3 parámetros de la Teoría de Respuesta al Ítem (TRI) adoptado por el examen; 1 que presentaba un coeficiente de discriminación significativamente bajo (a <0.5) y 5 que tenían un coeficiente de dificultad con niveles encima de los considerados aceptables (b> 3.0), teniendo en cuenta los criterios generales expuestos en la literatura especializada. Estos resultados nos llevan a concluir que un porcentaje considerable de los ítems analizados de la prueba (22.7%) tienen parámetros psicométricos insatisfactorios. Considerando que cualquier imprecisión indicada puede comprometer la validez de los resultados obtenidos, se sugiere mejorar los procesos que involucran la creación, revisión, ensayo y evaluación de los ítems, a fin de garantizar la isonomía del examen.

Resumo O Exame Nacional do Ensino Médio (ENEM), criado em 1998 para avaliar a qualidade da educação oferecida para os jovens brasileiros, tem se consolidado como a principal porta de acesso ao Ensino Superior no Brasil. Contudo, ainda é pequeno o número de estudos voltados a analisar a qualidade do exame e dos itens que o compõe. Para contribuir com esta temática, este artigo tem o objetivo de analisar a qualidade psicométrica da Prova de Matemática da edição de 2018 do ENEM/Brasil. Metodologicamente, trata-se de uma pesquisa predominantemente quantitativa e exploratória, desenvolvida a partir da aplicação de técnicas psicométricas a uma amostra de 68438 respondentes, matriculados no 3º ano do Ensino Médio no ano de sua aplicação. Os resultados indicaram uma prova de confiabilidade satisfatória (α>0.7). Quanto aos itens que a compõem, identificou-se 4 que apresentavam problemas de ajuste ao modelo logístico de 3 parâmetros da Teoria de Resposta ao Item (TRI), adotado pelo exame, 1 que apresentava coeficiente de discriminação significativamente baixo a<0.5 e 5 que apresentavam coeficiente de dificuldade acima dos limites considerados aceitáveis neste estudo b>3.0 , definidos a partir de consulta à literatura especializada. Esses resultados nos levam a concluir que uma porcentagem considerável dos itens da prova analisada (22.7%) apresenta parâmetros psicométricos insatisfatórios. Tendo em vista que qualquer imprecisão sinalizada pode comprometer a validade dos resultados obtidos, sugere-se que os processos que envolvem a criação, revisão, testagem e calibração dos itens sejam aprimorados, de modo a garantir a isonomia do exame.

Abstract The Brazilian National High School Examination (ENEM), created in 1998 to assess the quality of education offered to young brazilians, has consolidated itself as the main access to the universities in Brazil. However, there are few studies aimed at analyzing the quality of the exam and the items that are in it. Thus, this paper aims to analyze the psychometric quality of the mathematics test of ENEM of 2018. It was used a quantitative and exploratory methodology, developed through psychometrics methods applied to 68,438 students that made the exam, enrolled in the last year of the high school. The results pointed to a reliable test (α>0.7). As for the items that compose it, four showed adjustment problems concerning to the logistic model of three parameters of the Theory of Response to the item (TRI), adopted by the exam, one showed a significantly lower coefficient of discrimination a<0.5 and five that showed a difficulty coefficient higher than those considered acceptable b>3.0 . These results lead us to conclude that a considerable number of the items analyzed (22.7%) showed unsatisfactory psychometric parameters. Bearing in mind that any reported inaccuracies may compromise the validity of the results obtained, it is suggested that the processes that involve the creation, review, testing and calibration of the items must be improved, in order to guarantee the isonomy of the exam.