Abstract This article stems from research carried out within the Paulex Universitas Project in order to gather relevant information regarding 2nd year baccalaureate professors’ preferences in terms of exercise typology with a view to analysing the feasibility of implementing a computer-based foreign language exam within the University Entrance Examination in Spain and, more specifically, the suitability of exam automation, professors’ preferred exercise typologies and the relationship between them. A total of 214 professors completed a questionnaire, administered in accordance with the Delphi method, enquiring about the typologies they preferred in relation to the language skills to be assessed. Regarding test automation, there was evidence that professors clearly accepted the proposed computer-based language exam. As for exercise typology, professors preferred open answer/input and multiple-choice exercises. With regard to the relationship between exercise typologies, there appears to be no visible marked tendency toward a specific type of task, as it is unclear whether communicative tasks or objective information tasks are preferred. Findings also showed that, despite some reservations, teachers consider computer use an overall good system for exam delivery regardless of the language skill being assessed.

Resumen El presente artículo forma parte de la investigación desarrollada en el proyecto Paulex Universitas con la intención de obtener información sobre los ítems más aceptados por los profesores de 2º de Bachillerato de cara al inicio de la fase de pruebas para examinar la viabilidad de la puesta en funcionamiento de la Prueba de Acceso a la Universidad (PAU) asistida por ordenador en España y, más específicamente, los siguientes aspectos: la posibilidad de automatización de la prueba, las tipologías de ejercicios más populares entre los profesores y la relación entre las mismas. Un total de 214 profesores respondieron a un cuestionario diseñado según el método Delphi, destinado a averiguar la tipología de ejercicios preferida en relación a las destrezas a evaluar. En lo referente a la automatización de la prueba, los datos obtenidos muestran la aceptación de una nueva versión del test de inglés de la PAU por parte de los profesores. En cuanto a las tipologías de ejercicios, las preferidas por los docentes son ejercicios de respuesta abierta y ejercicios de selección múltiple. Por su parte, en lo que respecta a la relación entre las distintas tipologías de ejercicios, no se aprecia una tendencia clara acerca de las las tareas: si deben ser comunicativas o, por el contrario, si deben ir dirigidas hacia la obtención de información objetiva. Por último, a pesar de sus reservas, los profesores consideran que la utilización de ordenadores sería un buen sistema para realizar el examen en su conjunto, independientemente del tipo de destrezas que se evalúen.

Resumen Este estudio analiza la opinión de los candidatos sobre un examen oral con ordenador para averiguar los aspectos que consideran más relevantes en la evaluación oral a través de las nuevas tecnologías y explorar las principales ventajas y desventajas de este tipo de pruebas comparadas con pruebas orales con evaluadores humanos. Se distribuyó un pequeño cuestionario a 80 candidatos que realizaron el examen oral APTIS en la Universidad de Alcalá en abril de 2016. Los resultados revelan que los candidatos consideran que las pruebas orales con ordenador son válidas y adecuadas para la evaluación de la competencia oral. Curiosamente, los datos demuestran que las características personales de los candidatos juegan un papel primordial en la elección del método de evaluación más idóneo.

Abstract This study examines test-takers’ views on a computer-delivered speaking test in order to investigate the aspects they consider most relevant in technology-based oral assessment, and to explore the main advantages and disadvantages computer-based tests may offer as compared to face-to-face speaking tests. A small-scale open questionnaire was administered to 80 test-takers who took the APTIS speaking test at the Universidad de Alcalá in April 2016. Results reveal that examinees believe computer-based tests provide a valid measure of oral competence in English and are considered to be an adequate method for the assessment of speaking. Interestingly, the data suggest that personal characteristics of test-takers seem to play a key role in deciding upon the most suitable and reliable delivery mode.

This paper aims at showing the constraints and benefits both from an institutional and the test user’s perspectives of automatizing the Diploma in Spanish as a Foreign Language (DELE). The article addresses computational and language issues such as web design, language use realities and, overall, it proves the need to implement such a project. It also shows that whether the DELE exam is to put into functioning, it needs to satisfy these three areas: design, language scope and technology improvement and adequacy. In this sense, the implementation of a computer based test may be seen as a beneficial tool that permits to evaluate the four traditional skills plus language use more efficiently than the current pencil & paper system.

Este artículo trata de mostrar las dificultades y beneficios, tanto desde la perspectiva institucional como desde la del usuario, de automatizar el Diploma de Español como Lengua Extranjera (DELE). El artículo trata sobre cuestiones lingüísticas e informáticas tales como el diseño web, las realidades del uso de la lengua y, por encima de todo, muestra la necesidad de la implementación de dicho proyecto. Asimismo, muestra que si el examen de DELE se pusiera en funcionamiento, debería satisfacer tres áreas: diseño, cuestiones de la lengua y la mejora y adecuación tecnológica. En este sentido, la puesta en funcionamiento de un examen asistido por ordenador puede ser vista como una herramienta beneficiosa que permite evaluar las cuatro destrezas tradicionales más el uso de la lengua de manera más eficiente que el sistema actual de papel y lápiz.