RESUMO Este artigo faz uma análise do Paebes Alfa, o programa de avaliação da alfabetização do estado do Espírito Santo, entre os anos de 2009 e 2017. Para tanto, foi proposto um conjunto de dez critérios para análise e descrição do programa, algo não encontrado na literatura educacional, cujo mapeamento mostrou a ausência de estudos dessa natureza. O estudo contou com detalhada pesquisa bibliográfica e documental, além de entrevistas com gestores e especialistas que trabalharam com o programa ao longo do período analisado. Espera-se que este trabalho seja capaz de servir como ponto de partida para pesquisas que se interessam pela análise e compreensão de programas de avaliação da alfabetização no Brasil, ajudando a preencher a atual lacuna observada na literatura especializada.

ABSTRACT This article analyzes Paebes Alfa, the literacy assessment program of the state of Espírito Santo, between 2009 and 2017. Therefore, a set of ten criteria was proposed for analysis and description of the program, something not found in the educational literature, whose mapping showed the absence of studies about this theme. The study included detailed bibliographic and documentary research, as well as interviews with managers and specialists who worked in the program throughout are the analyzed period. It is expected that this work will be able to serve as a starting point for researches about literacy assessment programs in Brazil, helping to fill the current gap in the specialized literature.

RESUMO: O presente estudo alinha-se ao campo de investigação da eficácia escolar na medida em que tem como objetivo principal investigar a associação entre o desempenho dos estudantes em uma avaliação em larga escala e o índice Atitudes e Práticas Pedagógicas (IPP) - definido como um dos fatores de eficácia escolar e que se refere, de forma mais direta, à atuação do professor. Por meio de uma abordagem quantitativa, o estudo fez uso de uma modelagem estatística denominada HLM para observar a associação entre o IPP e o desempenho médio em Língua Portuguesa e Matemática dos estudantes do 9º ano do Ensino Fundamental avaliados pelo PAEBES - avaliação em larga escala do estado do Espírito Santo. Os principais resultados corroboram outros achados de pesquisa e dizem respeito ao efeito negativo da reprovação e do efeito positivo do IPP sobre o desempenho de ambas as disciplinas.

ABSTRACT: The present study is in line with the field of investigation of school effectiveness, because the main objective is to investigate the association between student performance in a large-scale evaluation and the scale of Attitudes and Teaching Practices (IPP) - defined as one of the factors of school effectiveness and that refers more directly to the teacher’s performance. Through a quantitative approach, the study made use of a statistical model called HLM to observe the association between IPP and the performance in Portuguese Language and Mathematics of the 9th grade students, evaluated by PAEBES - a large-scale evaluation of the state of Espírito Santo. The main results corroborate other research findings and relate to the negative effect of the reprobation and the positive effect of IPP on the performance of both disciplines.