RESUMO: Os métodos da OCDE e do PISA para influenciar a política por meio dos rankings e do aconselhamento político estão bem documentados. Este artigo é especulativo e explora as implicações mais sutis e talvez mais profundas da evolução da base de dados do PISA, e da análise secundária que é realizada utilizando-a. Com base em conceitos dos Science and Technology Studies , este artigo sugere que o PISA reduz "objetos ontologicamente luxuriantes" em "objetos ontologicamente empobrecidos" por meio da padronização e simplificação. Libertos das suas amarras e traduzidos em inscrições, esses objetos ontologicamente empobrecidos são promíscuos, combinando-se livremente, de diferentes formas, com outros tantos objetos, através de espaços e tempos, tendo em vista a produção de lições para as políticas e as práticas. Neste artigo, sugiro que, embora essas relações promíscuas possam produzir afirmações matematicamente defensáveis, esses resultados podem ser ontologicamente um absurdo. Utilizando dados de entrevistas com especialistas da avaliação e com políticos, bem como análises secundárias publicadas, este artigo introduz algumas ideias sobre como podemos compreender o banco de dados do PISA e o seu uso em análises secundárias. O artigo argumenta que a análise secundária não é um exercício meramente matemático ou técnico, mas sociotécnico, e que, dada a sua influência e o seu alcance, intenta abrir as caixas negras do banco de dados do PISA e as práticas das análises secundárias, disponibilizando-as para uma análise e uma crítica sociológica e filosófica mais ampla.
ABSTRACT: The heavy hammer methods of OECD and PISA in influencing policy through the rankings and through its policy advice are well documented. This speculative paper explores the more subtle and perhaps deeper implications of the development of the PISA database, and of the secondary analysis that is performed using this database. Speculating with concepts from Science and Technology Studies, this paper suggests that PISA deflates "ontologically luxuriant objects" into "ontologically impoverished objects" through standardization and simplification. Freed from their moorings and translated into inscriptions, these ontologically impoverished objects are promiscuous, freely combining with other such objects across spaces and times in different ways to produce lessons for policy and practice. In this paper, I suggest that, while these promiscuous relations may produce mathematically defensible assertions, such findings may be ontologically absurd. Using data from interviews with measurement and policy experts, as well as published secondary analyses, this paper ventures some speculative ideas about how we might understand the PISA database and the use of this database in secondary analysis. The paper argues that secondary analysis is not merely a mathematical or technical exercise but a sociotechnical one, and that, given its influence and reach, it attempts to open up the black boxes of the PISA database and the practices of secondary analysis, and make them available for wider sociological and philosophical examination and critique.
RÉSUMÉ: Les méthodes lourds de l'OCDE et de PISA pour influencer la politique à travers les 'rankings' et les recommandations politiques sont bien documentés. Cet article est spéculatif et explore les implications plus subtiles et peut-être plus profondes de l'évolution de la base de données de PISA, et l'analyse secondaire qui est effectuée en utilisant cette base de données. En spéculant de concepts des Science and Technology Studies, cet article suggère que l'enquête PISA vide "des objets ontologiquement luxuriantes" dans des "objets ontologiquement pauvres" grâce à la standardisation et la simplification. Libérés de ses amarres et traduites en des inscriptions, ces objets ontologiquement pauvres sont sujets à la promiscuité, en s'associant librement, de différentes manières, avec autant d'objets à travers l'espace et le temps, afin de produire des leçons pour la politique et des pratiques. Dans cet article, je suggère que, bien que ces relations de promiscuité puissent produire des assertions mathématiquement défendables, ces résultats peuvent être ontologiquement un absurde. En utilisant des données à partir d'entretiens avec des experts de l'évaluation et de la politique et des analyses secondaires publiées, cet article introduit des idées spéculatives sur la façon dont nous pouvons comprendre la base de données du PISA et son utilisation dans des analyses secondaires. Cet article soutient que l'analyse secondaire n'est pas un exercice purement mathématique ou technique, mais sociotechnique, et que, compte tenu de son influence et de la portée, a l'intention d'ouvrir les boîtes noires de la banque de données PISA et des pratiques des analyses secondaires, en les fournissant pour une analyse et une critique, plus large, sociologique et philosophique.
