Resumen Un nivel adecuado de comprensión lectora es imprescindible para desempeñarse exitosamente en la educación universitaria, de allí la importancia de la investigación y el mejoramiento de esta destreza cognitiva. El objetivo del presente artículo de revisión bibliográfica es explorar algunos mecanismos cognitivos que influyen en la capacidad de comprensión lectora de los estudiantes universitarios, por lo cual, se brindan algunas herramientas teórico-conceptuales para ahondar en los mecanismos cognitivos que subyacen a la capacidad de comprensión lectora. El problema es dilucidar cuáles herramientas proporciona la psicología cognitiva para entender y mejorar la comprensión lectora en estudiantes universitarios. A partir de lo anterior, se concluye que el estudio y el mejoramiento de la comprensión lectora requieren tomar en cuenta mecanismos cognitivos de dominios general y específico, los cuales están en la base de las fortalezas y debilidades que se manifiestan en los instrumentos de evaluación tradicionales de la comprensión lectora. Asimismo, se concluye que la técnica de seguimiento ocular aplicada al proceso de la lectura es de gran utilidad para identificar las dificultades que pueden presentarse al comprender textos escritos. Estas herramientas teórico-conceptuales se han identificado como parte del proyecto de investigación El rol de las funciones ejecutivas y la inteligencia fluida en las habilidades verbales y la compresión lectora de los estudiantes universitarios: un estudio de movimientos oculares, el cual se desarrolla en el Instituto de Investigaciones Psicológicas de la Universidad de Costa Rica

Abstract An appropriate adequate level of reading comprehension is essential to perform successfully in university education; hence the importance of research and improvement of this cognitive skill. This bibliographic review article seeks to explore some cognitive mechanisms that influence the reading comprehension capacity of university students, for which some theoreticalconceptual tools are provided to delve into the cognitive mechanisms that underlie the reading comprehension capacity. This study attempts to elucidate which tools cognitive psychology provides to understand and improve reading comprehension in university students. Based on the above, it is concluded that the study and improvement of reading comprehension requires accounting for cognitive mechanisms of general domain and specific domain, which are at the base of the strengths and weaknesses manifested in the traditional evaluation instruments of reading comprehension. Likewise, it is concluded that the eye tracking technique applied to the reading process is a very useful tool to identify the difficulties that may arise when understanding written texts. Finally, it is worth mentioning that these theoretical-conceptual tools have been identified as part of the research project The role of executive functions and fluid intelligence in verbal skills and reading comprehension of university students: a study of eye movements, developed at the Institute of Psychological Research of the University of Costa Rica.

Resumen El objetivo del presente artículo es brindar evidencias de validez y de confiabilidad sobre una prueba nueva para medir el nivel de comprensión lectora de estudiantes universitarios. Para ello se empleó un diseño de investigación observacional y transversal, mediante la cual se aplicó la prueba a un grupo de 244 estudiantes de primer ingreso a una carrera universitaria. Los resultados fueron analizados con base en la Teoría Clásica de los Test y en el modelo de Rasch, así como también se estimó el coeficiente de correlación de Pearson entre las puntuaciones en la prueba y un curso universitario de primer año de carrera. El principal hallazgo de este estudio es la creación de una prueba de 44 ítems que permite generar puntuaciones con una confiabilidad de 0,74 y que presentan una correlación estadísticamente significativa (p < 0,000) de 0,21 [0,09, 0,33] con las notas de estudiantes en un curso de carrera de primer año. Con base en los análisis efectuados, se concluye que la prueba podría ser útil para detectar estudiantes de primer ingreso a la educación superior que podrían presentar problemas de comprensión lectora y, por ende, ver disminuido su rendimiento académico. En este sentido, la prueba podría servir para propósitos de screening, es decir, para coadyuvar en la elaboración de planes remediales, implementación de intervenciones educativas y desarrollo de unidades didácticas orientadas al fortalecimiento de la comprensión lectora de los(as) estudiantes universitarios de primer ingreso.

Abstract The goal of this article is to provide evidence as to the validity and reliability of a new Reading Comprehension test aimed at college students which is based on an observational and cross-cutting research design. The test was taken by 244 students in the first year of their major. The results were analyzed according to the Classical Test Theory, the Rasch Model and a Pearson correlation coefficient to compare the scores obtained with first year courses taken by students for their Major. As a result of the study, a 44-item was elaborated with a reliability scale of 0.74 and a statistically significant correlation scores of 0.21 [0.09, 0.33] (p < 0.000) for student grades in first-year courses. It can be concluded that this test could be useful to detect reading comprehension difficulties among first-year university students which could potentially negatively impact their academic performance. The test could also serve as a screening tool in the development of remedial programs to strengthen reading comprehension among these students.

Resumen En este artículo se presenta un estudio cuantitativo cuyo objetivo fue poner a prueba un nuevo método para recabar evidencias sobre los procesos de respuesta utilizados por los examinados en pruebas educativas. Como antecedente fundamental, el estudio parte de la necesidad de contar con métodos sistemáticos para mejorar la calidad de los instrumentos que se utilizan en la evaluación educativa. Se comparó el método tradicional, de los reportes verbales, con el método de la Respuesta Guiada por el Experto con respecto a su idoneidad para recabar evidencias sobre la interpretación de las puntuaciones en una prueba educativa. Para esto, se seleccionó una muestra a conveniencia de 17 estudiantes de primer ingreso de la Universidad de Costa Rica y se le aplicó una entrevista semiestructurada a cada uno, en las cuales debían resolver ítems de razonamiento en voz alta empleando el método tradicional de reportes verbales o el método de la Respuesta Guiada por el Experto. Las entrevistas fueron codificadas por un grupo de expertos y se calculó un coeficente de acuerdo entre ellos. Con el método tradicional se obtuvo un coeficiente kappa de Fleiss de 0.22, mientras que, con el método de la Respuesta Guiada por el Experto, este fue de 0.40. Se concluye con las ventajas de utilizar este método para desarrollar instrumentos de evaluación educativa que representen adecuadamente las habilidades, destrezas, competencias y conocimientos de los estudiantes.

Abstract This article presents a quantitative study whose objective was to test a new method to collect evidence about the response processes used by examinees in educational tests. As a fundamental precedent, the study starts from the need to have systematic methods to improve the quality of the instruments used in educational assessment. A traditional method of verbal reports was compared to the Expert-guided Responses method regarding its suitability to gather evidence for scores interpretation in an educational test. For this purpose, a convenience sample of 17 first-year students from the University of Costa Rica was selected and a semistructured interview was applied to each, in which they had to solve reasoning items aloud using the traditional method of verbal reports, or the Expert-guided Responses method. The interviews were coded by a group of raters, and a coefficient of agreement between them was calculated. With the traditional method, a Fleiss kappa coefficient of 0.22 was obtained, whereas with the Expert-guided Responses method it was 0.40. The article concludes with the advantages of using the new method to develop educational assessment tools that adequately represent the students’ abilities, skills, proficiencies, and knowledge.

Resumen La premisa de este estudio consiste en que un modelo cognitivo permite a las personas mejorar el desempeño en la resolución de preguntas de una prueba estandarizada donde el uso de estrategias tiene un papel crucial. El propósito de la investigación fue validar un modelo cognitivo con cuatro estrategias definidas por jueces expertos con base en los procesos de respuesta que subyacen a ítems de la Prueba de Aptitud Académica de la Universidad de Costa Rica (UCR). Se realizaron ocho en trevistas semiestructuradas a estudiantes de la UCR, quienes estaban cursando el primer año en esta institución y se aplicaron las técnicas de reporte verbal para obtener evidencias de los procesos de respuesta de los ítems. Se analizaron los reportes para comprobar la correspondencia entre el marco de las estrategias definidas previamente por jueces expertos y las respuestas dadas por los participan tes. Los resultados indicaron que los participantes siguieron las estrategias propuestas para la solu ción de las situaciones planteadas por los jueces; por tanto, los ítems son indicadores de los procesos subyacentes a estas estrategias. Estos hallazgos abren la posibilidad de implementar investigaciones con atributos presentes en cada estrategia propuesta de este estudio, que posibiliten predecir las pun tuaciones de la prueba en el rendimiento académico en la UCR.

Abstract The premise of this study is that a cognitive model can increase students’ performance for solving items on a stan dardized test, where strategies play a crucial role. The purpose of the study is to validate a cognitive model with four strategies defined by expert judges based on the response processes that underlie the items of the University of Costa Rica (UCR) Academic Aptitude Test. Eight semi-structured interviews were conducted with first-year students at UCR and the techniques of verbal reporting were applied to gather evidence of the items’ response processes. The reports were analyzed to verify the correspondence between the framework of the strategies pre viously defined by expert judges and the answers given by the participants. In light of the results, it was concluded that the participants followed the proposed strategies for solving the situations posed, and, therefore, the items are indicators of the processes underlying these strategies. The results open the possibility of implementing research with attributes present in each strategy proposed in this study, which will allow predicting test scores in academic performance at the UCR.

Resumen: Los estándares actuales, para la evaluación de la calidad psicométrica de las pruebas psicológicas y educativas, estipulan que una de las evidencias requeridas que justifican las inferencias derivadas de la aplicación de un test se refiere a las estrategias para contestar a los ítems que lo componen. Por lo tanto, el objetivo del presente artículo se propone presentar los resultados de una investigación, que consistió en la ejecución de entrevistas semiestructuradas a un conjunto de 15 estudiantes universi tarios de primer ingreso, cuyos reportes orales fueron analizados con el objetivo de fundamentar un conjunto de estrategias para contestar los ítems verbales de la Prueba de Aptitud Académica de la Universidad de Costa Rica, que habían sido identificadas previamente. Los resultados indican que efectivamente los participantes emplearon las estrategias propuestas, lo cual constituye una eviden cia de gran importancia sobre las habilidades de razonamiento que se miden con los ítems verbales de la Prueba de Aptitud Académica. Finalmente, se concluye con una discusión sobre los resultados acerca de la utilidad de los autorreportes verbales que recaban evidencias de validez para un test y sobre futuras investigaciones en esta línea.

Abstract: Current standards for assessing the psychometric quality of psychological and educational tests stip ulate that one indication required to justify the inferences derived from the application of a test are those related to answering strategies for the test items. Thus, this article presents the results of a study that involved the execution of semi-structured interviews with a group of 15 college freshmen, whose oral reports were analyzed to provide support for a set of strategies to answer previously identified verbal items from the “Academic Aptitude Test” (Prueba de Aptitud Académica) at the Universidad de Costa Rica. The results indicate that participants actually used the proposed strategies, which is important evidence about the reasoning skills measured by the Prueba de Aptitud Académica verbal items. Finally, we conclude with a discussion of the results, the usefulness of verbal self-reports to gather evidence for test validity and future research along these lines.

En este artículo se presenta el proceso de construcción y validación de una rúbrica para medir la expresión escrita de estudiantes universitarios de primer año de ingreso. Se recogieron 117 ensayos escritos por estudiantes universitarios (75 mujeres y 42 hombres) de la carrera de Filología Española de la Universidad de Costa Rica. Los ensayos fueron calificados por dos evaluadoras con base en una rúbrica, después de lo cual se calcularon diferentes índices de concordancia entre jueces para evaluar la calidad técnica de ésta. Entre los resultados más importantes se observó un porcentaje de acuerdo absoluto [±3 errores] del 90% en la mayoría de los rubros evaluados. Por otro lado, se observaron correlaciones pequeñas y moderadas entre los aspectos incluidos en la rúbrica. A partir de estos resultados se discute la utilidad de utilizar la lingüística textual como base teórica para construir rúbricas de evaluación.

This article describes the process of construction and validation of a rubric to measure the writing of first-year university students. 117 essays written by Spanish Philology students (75 women and 42 men) of the University of Costa Rica were collected. Two evaluators, based on a rubric, rated the compositions after which different raters agreement coefficients were calculated to assess the technical quality of the rubric. Among the most important results, a 90% of absolute agreement was observed [± 3 errors] in most of the areas evaluated. On the other hand, small and moderate correlations between the aspects included in the rubric were observed. From these results the utility of using text linguistics as a theoretical basis for constructing written expression rubrics are discussed.

Resumen Se presentan los modelos de mezcla de la Teoría de respuesta al ítem y cómo estos pueden ser utilizados para identificar subagrupaciones no observadas de examinados denominadas como clases latentes. Asimismo se ejemplifica la utilidad del modelo de mezcla de la Teoría de respuesta al ítem de dos parámetros, mediante el cual se logra detectar la presencia de ítems en una escala de depresión que miden de manera distinta a los examinados en comparación con el resto de ítems que componen dicho instrumento. Finalmente, se presentan algunas recomendaciones generales en cuanto a la complementariedad que debe existir entre la teoría sustantiva que subyace al desarrollo de una escala y la aplicación de los modelos de mezcla de la Teoría de respuesta al ítem.

Abstract. The Item Response Theory mixture models and how these can be used to identify unobserved sub-groups of examinees, known as latent classes, are presented. The usefulness of the two-parameter mixture model parameters is exemplified by detecting the presence of items in a depression scale that measure the examinees differently in comparison with the rest of items. Finally, some general recommendations regarding the complementarity that should exist between the substantive theory underlying the development of a scale and the use of these models are given.