RESUMO. Estudantes autorregulados tendem a gerenciar suas demandas acadêmicas de modo flexível e crítico a fim de alcançar suas metas. Sendo assim, o objetivo dessa pesquisa foi compreender o processo de desenvolvimento da autorregulação da aprendizagem em estudantes universitários. Foi realizado um estudo de caso coletivo, sendo entrevistados três estudantes de graduação em três momentos distintos durante suas participações em uma intervenção com foco na promoção de competências autorregulatórias. Os dados foram analisados por meio de análise de conteúdo, seguindo categorias teóricas a partir do ciclo autorregulatório: fase de antecipação, de desempenho e de autorreflexão. Foi possível observar trajetórias particulares de desenvolvimento, caracterizadas pelo papel da autoeficácia como motivadora para proposição de objetivos e de estratégias. Além disso, conforme esperado teoricamente, o desenvolvimento autorregulatório pareceu depender inicialmente de reguladores externos para sua consolidação. Discute-se a importância de se promover feedbacks acadêmicos relacionados não apenas aos resultados das avaliações, mas também ao processo de estudos, para colaborar na construção de um estudante mais autônomo, crítico e autorregulado.

ABSTRACT. Self-regulated learners manage their academic demands in a flexible and critical way in order to achieve their goals. The aim of this research was to understand the development of self-regulated learning in college students. It was conducted a collective case study, with three undergraduate students interviewed at three different times during their participation in an intervention focused on the promotion of self-regulatory skills. Data were analyzed using content analysis, following theoretical categories based on the self-regulation cycle: anticipation, performance and self-reflection phases. Particular development trajectories were observed and self-efficacy was a motivator to propose objectives and strategies. Self-regulated learning seems to initially depend on external regulators for its consolidation. It was noted the importance of promoting academic feedbacks related not only to the results of the evaluations, but also to the process of studies, thus contributing to building a more autonomous, critical and self-regulated learner.

RESUMEN. Estudiantes autorregulados tienden a gestionar sus demandas académicas de forma flexible y crítico. Por lo tanto, el objetivo de esta investigación fue comprender el proceso de desarrollo de la autorregulación del aprendizaje en los estudiantes universitarios. Se llevó a cabo un estudio de caso colectivo con tres estudiantes universitarios en tres ocasiones distintas durante su participación en una intervención centrada en la promoción de las habilidades de autorregulación. Los datos se analizaron utilizando análisis de contenido, siguiendo categorías teóricas a partir del ciclo autorregulatorio: fase de anticipación, de desempeño y de autorreflexión. Observaron trayectorias de desarrollo individuales que se caracterizan por el papel de la autoeficacia y la motivación para proponer metas y estrategias. El desarrollo de autorregulación apareció inicialmente depender de los reguladores externos para su consolidación. Se hace hincapié en la importancia de promover evaluaciones académicas relacionadas no sólo con los resultados de las evaluaciones, sino también el proceso de estudios, contribuyendo así a la construcción de un estudiante más autónomo, autorregulado y crítica.

RESUMO Este estudo objetivou apresentar a construção da Escala de Avaliação Docente (EADoc) e suas evidências de validade. A escala foi desenvolvida com base em uma revisão de literatura e de entrevistas com estudantes de graduação. A EADoc foi avaliada por dez juízes quanto a evidências de validade de conteúdo, com subsequente análise de evidências de validade de construto e fidedignidade. A matriz de correlação tetracórica foi submetida a análises fatoriais exploratórias, e o método Hull foi usado para a decisão do número de dimensões a serem retidas. Foram conduzidas análises de teoria de resposta ao item (TRI), pelo modelo rating scale, que excluiu sete itens. O índice Kaiser-Meyer-Olkin (KMO) e o teste de esfericidade de Bartlett indicaram a fatorabilidade da matriz de correlações policóricas dos itens. O método Hull apontou a retenção de um fator, com autovalor de 15,49. As medidas de fidedignidade para o fator foram de α=0,96 e ω =0,95. Considera-se que a EADoc pode auxiliar na avaliação de práticas da educação superior no Brasil.

ABSTRACT The objective of this study was to present the construction of the Teaching Assessment Scale (TAS) and the validity evidence for it. This scale was developed through a literature review and interviews with graduate students. The evidence for content validity of the TAS was evaluated by ten referees, and this was followed by the analysis of the evidence for construct validity and reliability. The tetrachoric correlation matrix was submitted for exploratory factorial analysis, and the Hull method was used to decide the number of dimensions to be retained. Item response theory (IRT) analysis was performed using the rating scale model with the result that seven items needed to be excluded. The Kaiser-Meyer-Olkin (KMO) index and Bartlett’s Test of Sphericity indicated that the polychoric correlation matrix was factorable. The Hull method suggested the retention of a factor, with the eigenvalue of 15.49. The factor’s reliability measures were α = 0.96 and ω = 0.95. As a result, the TAS is considered helpful in evaluating higher education teaching methods in Brazil.

RESUMEN En este estudio se presentan los procesos de construcción de la Escala de Evaluación Docente y sus pruebas de validez. La escala fue desarrollada a partir de una revisión de la literatura y entrevistas con estudiantes de pregrado. La escala fue sometida a diez jueces para investigar evidencias de validez de contenido, seguido por el análisis de evidencias de validez de constructo y fiabilidad. La matriz de correlaciones tetracóricas se sometió a análisis factorial exploratorio y el método HULL se utilizó para decidir el número de dimensiones a ser retenidas. Se realizaron los análisis de Teoría de Respuesta a los Ítems (TRI) por el modelo de escala de clasificación y se excluyeron siete ítems. El índice Kaiser-Meyer-Olkin (KMO) y la prueba de esfericidad de Bartlett y el índice de KMO indica la factorabilidad de la matriz de correlaciones policóricas de ítems. El método HULL indicó la retención de un factor con el valor propio de 15,49. Las medidas de fiabilidad para el factor fueron α=0,96 y ω =0,95. Se considera que la escala puede ayudar en la evaluación de las prácticas de enseñanza superior en Brasil.

Resumo Este estudo explorou a construção dos projetos de vida e carreira dos estudantes indígenas em uma universidade pública brasileira, situada no Estado do Rio Grande do Sul. Participaram cinco estudantes indígenas, quatro da etnia kaigang e um da etnia guarani, que responderam a uma entrevista de roteiro flexível. Os dados foram analisados qualitativamente através de análise temática. Observou-se que as escolhas de carreira se relacionaram à construção de um projeto coletivo, envolvendo a família e a comunidade. A formação profissional mostrou-se associada com a possibilidade de contribuir com as sociedades indígenas de modo geral. Sugere-se, então, que as teorias de carreira possam se ajustar às peculiaridades culturais, considerando, em especial, a natureza relacional inerente à construção de carreira de jovens indígenas.

Abstract This study sought to explore the construction of life and career projects of indigenous students of a Brazilian public university, located in Rio Grande do Sul. Five indigenous students, four from the Kaingang ethnic group and one from the Guarani ethnic group, participated in a flexible interview. A qualitative analysis was employed. The career choices were related to a collective project involving their families and communities. Professionalization has been associated with the possibility of contributing to indigenous societies in general. Career theories must adjust to cultural peculiarities, considering the relational nature inherent in the career construction of young indigenous.

Resumen Este estudio exploró la construcción de proyectos de vida y carrera de los estudiantes indígenas en una universidad pública brasileña, con sede en Rio Grande do Sul. Participaron cinco estudiantes indígenas, cuatro de la etnia Kaingang y uno de la etnia Guaraní, que respondieron a una entrevista de guión flexible. Los datos se analizaron cualitativamente a través del análisis temático. Se observó que las elecciones de carrera están relacionadas con la construcción de un proyecto colectivo, con la participación de la familia y la comunidad. La formación profesional se asoció con la posibilidad de contribuir con los pueblos indígenas en general. Se sugiere que las teorías de carrera pueden adaptarse a las peculiaridades culturales, teniendo en cuenta en particular la naturaleza relacional inherente a la construcción de carrera de jóvenes indígenas.

ResumoO objetivo deste estudo foi descrever o processo de construção e de validação de uma metodologia para avaliação da qualidade de escalas de revisões sistemáticas. A partir da ampliação do escopo e de acréscimos de novos itens ao instrumento Assessment of Multiple Systematic Reviews (AMSTAR), buscaram-se evidências de validade e confiabilidade da nova metodologia. Em um primeiro momento, a escala original foi traduzida, adaptada, ampliada e avaliada por um painel de cinco especialistas. Em seguida, foi utilizada para avaliar uma amostra aleatória de cinco revisões sistemáticas por três juízes sem treinamento formal na escala. Por fim, a escala consolidada foi avaliada em uma nova rodada por 2 juízes. O painel de especialistas entrou em consenso em relação à validade das alterações propostas. Em relação à escala consolidada, a concordância média entre os juízes por itens e no escore total foi considerada satisfatória. A partir dos processos de adaptação e validação realizados, a metodologia em sua versão final foi composta por 14 itens que conjuntamente indicam a qualidade metodológica de revisões sistemáticas de campos do conhecimento diversos.

AbstractThe aim of this study was to describe the process of creation and validation of methodology to assess the methodological quality of systematic reviews. From the expansion of the scope and addition of new items to the Assessment of Multiple Systematic Reviews (AMSTAR) instrument evidence of validity and reliability of the new methodology was sought. Firstly, the original scale was translated, adapted, expanded and evaluated by a panel of five experts. Then it was tested by evaluating a random sample of five systematic reviews by three judges with no formal training in the scale. Finally, the consolidated scale was assessed in a new panel by two judges. The panel of experts reached a consensus regarding the validity of the proposed changes. With respect to the scale total and per item score, the average agreement between judges was considered satisfactory in the consolidated scale. From the processes of adaptation and validation performed, the methodology in its final version consisted of 14 items that taken together indicate the methodological quality of systematic reviews from different areas of knowledge.

Resumo O objetivo deste estudo foi descrever o processo de construção e de validação de uma metodologia para avaliação da qualidade de escalas de revisões sistemáticas. A partir da ampliação do escopo e de acréscimos de novos itens ao instrumento Assessment of Multiple Systematic Reviews (AMSTAR), buscaram-se evidências de validade e confiabilidade da nova metodologia. Em um primeiro momento, a escala original foi traduzida, adaptada, ampliada e avaliada por um painel de cinco especialistas. Em seguida, foi utilizada para avaliar uma amostra aleatória de cinco revisões sistemáticas por três juízes sem treinamento formal na escala. Por fim, a escala consolidada foi avaliada em uma nova rodada por 2 juízes. O painel de especialistas entrou em consenso em relação à validade das alterações propostas. Em relação à escala consolidada, a concordância média entre os juízes por itens e no escore total foi considerada satisfatória. A partir dos processos de adaptação e validação realizados, a metodologia em sua versão final foi composta por 14 itens que conjuntamente indicam a qualidade metodológica de revisões sistemáticas de campos do conhecimento diversos.

Abstract The aim of this study was to describe the process of creation and validation of methodology to assess the methodological quality of systematic reviews. From the expansion of the scope and addition of new items to the Assessment of Multiple Systematic Reviews (AMSTAR) instrument evidence of validity and reliability of the new methodology was sought. Firstly, the original scale was translated, adapted, expanded and evaluated by a panel of five experts. Then it was tested by evaluating a random sample of five systematic reviews by three judges with no formal training in the scale. Finally, the consolidated scale was assessed in a new panel by two judges. The panel of experts reached a consensus regarding the validity of the proposed changes. With respect to the scale total and per item score, the average agreement between judges was considered satisfactory in the consolidated scale. From the processes of adaptation and validation performed, the methodology in its final version consisted of 14 items that taken together indicate the methodological quality of systematic reviews from different areas of knowledge.

Buscou-se avaliar a qualidade metodológica das revisões sistemáticas (RS) publicadas em periódicos brasileiros de psicologia. Foi conduzida uma RS nas bases PePSIC e SciELO, usando as palavras-chave: "revisão" e "sistemática". Foram identificados e analisados 33 artigos através do instrumento Assessment of Multiple Systematic Reviews (AMSTAR). A pontuação média das revisões foi 5,39 (em um escore que podia variar de 0 a 11). Houve diferença de qualidade entre as RS publicadas no SciELO e as que o foram no PePSIC, mas não foi observada diferença conforme o estrato do periódico, segundo o Qualis CAPES. Além disso, não verificou-se incremento na qualidade das publicações de 2001 a 2012. Sugere-se adoção de diretrizes por parte dos periódicos e dos autores de forma a melhorar a qualidade das RS no Brasil.

The aim of this study is to measure the methodological quality of systematic reviews (SR) published in Brazilian psychology journals. It was conducted a SR in SciELO and PePSIC databases, using "review" and "systematic" as keywords. 33 articles were identified and analyzed using the Assessment of Multiple Systematic Reviews (AMSTAR). The mean value of quality was 5.39 (SD = 1.91) on a scale ranging from 0 to 11. Using criteria of Qualis CAPES, significant differences were found in the quality of RS published in SciELO compared to those published in PePSIC, but not according to the journal extract. No increase in quality was observed from 2001 to 2012. The adoption of guidelines for publication of SR is suggested, in order to improve their quality in Brazil.