RESUMO O novo modelo formativo de ensino superior pretende dotar os estudantes das competências adequadas. A competência de comunicação oral é uma das mais importantes para a empregabilidade dos graduados. Há vários critérios utilizados na avaliação dessa competência, e por isso é importante uni-los. Nessa perspectiva, é importante o desenvolvimento de rubricas validadas. As rubricas permitem uma avaliação da qualidade das contribuições dos estudantes, assim como os orientam no seu desempenho ao especificar os fatores que serão avaliados. Para alcançar o objetivo principal deste trabalho, é descrito o processo de elaboração de uma rubrica e analisadas a validez e a confiabilidade de sua implantação. Para isso se realiza uma experiência na disciplina organização industrial e administração de empresas, do curso de graduação em engenharia industrial. Os resultados revelam que a rubrica desenvolvida é uma ferramenta válida e confiável para avaliar a competência de comunicação oral.

ABSTRACT The new university educational model fosters the equipping of students with the right competences. Oral communication competence is one of the most important ones demanded for the employability of university graduates. There are several evaluation criteria to assess this competence, so it is important to unify them. Therefore, it is crucial to develop validated scoring rubrics. Rubrics allow assessing the quality of students’ contributions as well as guiding their performance by specifying the factors that will be evaluated. To achieve the main objective of this paper, we describe the development process of a scoring rubric and analyze its validity and reliability based on its implementation. Therefore, we undertake a practical experiment in the subject, industrial organization and business administration in an industrial engineering degree course. Consequently, our findings revealed that the scoring rubric is a valid and reliable tool to assess oral communication competence.

RESUMEN El nuevo modelo formativo de enseñanza universitaria promueve dotar a los estudiantes de las competencias adecuadas. La competencia de comunicación oral es una de las más importantes para la empleabilidad de los titulados universitarios. Hay varios criterios para evaluar esta competencia, por lo que es importante unificarlos. Por tanto, es crucial desarrollar rúbricas validadas. Las rúbricas permiten valorar la calidad de las contribuciones de los estudiantes, así como orientarlos en su desempeño al especificar los factores que serán evaluados. Para alcanzar el objetivo principal de este trabajo se describe el proceso de elaboración de una rúbrica y se analiza su validez y fiabilidad mediante su implementación. Para ello se lleva a cabo una experiencia en la asignatura “organización industrial y administración de empresas” de la titulación de ingeniería industrial. Como consecuencia, los resultados revelan que la rúbrica diseñada es una herramienta válida y fiable para evaluar la competencia de comunicación oral.

Valorar de manera realista y crítica las propias capacidades es clave para una adaptación continua a las cambiantes condiciones del mercado de trabajo. El sistema universitario debe preparar a los futuros ingenieros para que puedan juzgar su propio trabajo de manera precisa, reduciendo los sesgos como la auto-benevolencia. Este trabajo analiza, con una muestra de estudiantes de Ingeniería Industrial, la precisión de la autoevaluación en presentaciones orales, utilizando una rúbrica. Los resultados, fruto de varias pruebas estadísticas, indican que los estudiantes son buenos valoradores del trabajo de otros, pero benevolentes consigo mismos. Además, los hombres se autoevalúan de manera significativamente superior que las mujeres. Finalmente, las autoevaluaciones tienden a compensar las valoraciones efectuadas por otros valoradores, fundamentalmente en el caso de los estudiantes peor considerados por los profesores. Estos resultados sugieren la necesidad de incluir actividades de autoevaluación en un número creciente que mejoren el desempeño de los estudiantes.

Assess one's own abilities realistically and critically is the key for a continuous adaptation to the changing labor market conditions. The university system must train the future engineers to rate their own performance accurately, reducing biases as self-benevolence. This paper analyzes, with a sample of students of Industrial Engineering, the accuracy of self-assessment in oral presentations, using a scoring rubric. The results of several statistical tests indicate that students are good assessors of others work, but benevolent with their own work. In addition, men evaluate themselves significantly higher than women do. Finally, self-assessment tend to compensate for others assessments, mainly in the case of students considered worse by teachers. These results point to the need of including self-assessment activities in an increasing number to improve students' performance.

Resumen: La incorporación del pensamiento estratégico en la dirección de los servicios públicos presume que los gerentes públicos deben ser capaces de liderar cambios que permitan a las entidades públicas responder adecuadamente a las presiones del entorno. En este trabajo se presenta un estudio de múltiples casos, realizado en cadenas de televisión regionales en España, que pretende analizar (1) qué elementos clave de la organización evalúa inicialmente el gerente público cuando quiere conocer si su entidad tiene la capacidad de iniciar un cambio estratégico, (2) cómo los gerentes perciben la capacidad de la organización pública para iniciar un cambio estratégico, y (3) por qué los gerentes mejoran su percepción sobre la capacidad de la organización. En última instancia se propone un modelo explicativo de la capacidad de cambio de la organización pública desde la perspectiva directiva.

Résumé: L'incorporation de la pensée stratégique dans la direction des services publics présume que les gérants publics soient capables de diriger des changements qui permettent aux organismes publics de répondre de manière adéquate aux pressions du milieu. Ce travail présente une étude de nombreux cas, réalisée dans des chaînes de télévision régionales d'Espagne et prétend analyser (1) quels sont les éléments-clés de l'organisation qu'évalue tout d'abord le gérant public lorsqu'il veut savoir si celle-ci possède la capacité d'engager un changement stratégique, (2) comment les gérants perçoivent la capacité de l'organisation publique pour engager un changement stratégique et, (3) pour quoi les gérants améliorent leur perception sur la capacité de l'organisation. Enfin, il est proposé un modèle explicatif de la capacité de changement de l'organisation publique sous la perspective directive.

Abstract: The incorporation of strategic thinking into the management of public services assumes that public sector managers are capable of leading change processes that that enable public entities to respond to changing environments. This paper presents the resutls of a multiple case study of Spanish regional television channels. The research was carried out to analyze (1) which key organizational elements are analyzed first by public sector managers when strategic change is initiated, (2) how managers perceive the capacity of public entities to initiate strategic change and (3) why their perceptions of the capability of their organizations improve. Finally, the article proposes a model to explain organizational capacity for change from the management perspective.

Resumo: A incorporação do pensamento estratégico na direção dos serviços públicos presume que os gerentes públicos devem ser capazes de liderar mudanças que permitam às entidades públicas responder adequadamente às pressões do ambiente. Neste trabalho, apresenta-se um estudo de múltiplos casos, realizado em cadeias de televisão regionais na Espanha, que pretende analisar: 1) que elementos-chave da organização inicialmente o gerente público avalia quando quer conhecer se sua entidade tem a capacidade de iniciar uma mudança estratégica; 2) como os gerentes percebem a capacidade da organização pública para iniciar uma mudança estratégica, e 3) por que os gerentes melhoram sua percepção sobre a capacidade da organização. Em última instância, propõe-se um modelo explicativo da capacidade de mudança da organização pública a partir da perspectiva diretiva.