Este trabalho investigou as propriedades psicométricas de um instrumento de avaliação da compreensão em leitura utilizando a técnica de Cloze. Participaram 612 estudantes ingressantes de quatro cursos de uma universidade particular, cuja tarefa era preencher a lacuna do texto com a palavra que julgassem mais apropriada. Observou-se um bom ajuste ao modelo de dois parâmetros da Teoria de Resposta ao Item, sendo que a escala formada pela soma do número de lacunas corretamente completadas provou possuir consistência interna alta (KR-20 = 0,84). Os itens formaram dois grupos em razão da dificuldade: um grupo com itens muito fáceis e outro com itens muito difíceis. Parte da variabilidade dos índices de dificuldade pôde ser explicada pela classe gramatical da palavra a ser descoberta (r=0,62, p <0,001). Do maior ao menor nível de complexidade foram observados: adjetivos, verbos, advérbios, substantivos, pronome, preposição e artigo. Analisando-se os processos cognitivos que poderiam explicar as diferenças de dificuldade correlacionadas com as classes gramaticais e aliando-se a aplicação da Teoria de Resposta ao Item (TRI), discutiu-se o avanço das interpretações de proficiência em leitura referenciadas nos itens.
This research studied the psychometric properties of a reading comprehension test using the Cloze's technique. The participants were 612 freshmen undergraduate students whose task was to discover the omitted words. It was observed a good fit to a two parameter model of Item Response Theory. The total score composed by the sum of the correct completions achieved high level of reliability (KR-20 = .84). Considering the item complexities, two groups were formed: one composed of very easy items, and the other with very complex ones. A parcel of item complexity was explained by the grammatical category of the word to be discovered (r= 0.62, p < 0.001). From the highest to the lowest difficulty level: adjectives, verbs, adverbs, nouns, pronouns, prepositions, articles were observed. The cognitive processes that could explain the differences in the difficulties correlated with grammatical categories were analized. Trough this analysis and trough Item Response Theory (IRT) the advances of item referenced interpretation in describing reading comprehension proficiency were discussed.