RESUMO Este é o primeiro exercício de replicação de pesquisas em ciência política publicado no Brasil. O objetivo foi replicar todos os artigos quantitativos publicados em cinco grandes revistas brasileiras entre 2012 e 2016. Também foram testadas as diferenças potenciais nas taxas de replicação entre campos de pesquisa estabelecidos, mais tradicionais e onde o uso de dados quantitativos é mais frequente, e emergentes. Solicitamos os dados para 197 artigos quantitativos. Desses 197, somente 28% dos autores concordaram em compartilhar os dados e os códigos. Foi possível tentar replicar apenas 14%, com 5% de sucesso. A conclusão sugere a adoção de procedimentos de transparência e replicabilidade já introduzidos em outras comunidades científicas.
ABSTRACT We provide the first replication study of political science research published in Brazil by attempting to replicate every quantitative article published in five major Brazilian journals between 2012 and 2016. We also tested whether replication rates varied between established fields, more traditional and where the use of quantitative data is more common, and emerging fields. Our results show that transparency and reproduction are still in a development stage in Brazilian Political Science. Of the 650 articles reviewed, we asked for data to 197 quantitative articles. From those, only 28% agreed to share datasets and computed codes. We were able to attempt a replication for only 14%, and successfully reproduce the results of less than 5%. We conclude by suggesting the adoption of transparency and replicability procedures that are standard in other scientific communities.
RESUMEN Este es el primer ejercicio de replicación de la investigación en ciencia política publicado en Brasil. El objetivo fue replicar todos los artículos cuantitativos publicados en cinco importantes revistas brasileñas entre 2012 y 2016. También se probaron las posibles diferencias en las tasas de replicación entre los campos de investigación establecidos, más tradicionales y donde el uso de datos cuantitativos es más frecuente, y los emergentes. Solicitamos datos para 197 artículos cuantitativos. De estos 197, solo el 28% de los autores acordó compartir datos y códigos. Fue posible intentar replicar solo el 14%, con un 5% de éxito. La conclusión sugiere la adopción de procedimientos de transparencia y replicabilidad ya introducidos en otras comunidades científicas.
RÉSUMÉ Il s’agit du premier exercice de réplication de la recherche en science politique publiée au Brésil. L’objectif était de reproduire tous les articles quantitatifs publiés dans cinq grandes revues brésiliennes entre 2012 et 2016. Les différences potentielles de taux de réplication entre les domaines de recherche établis et plus traditionnels et où l’utilisation de données quantitatives est plus fréquente et les domaines émergents ont également été testés. Nous avons demandé des données pour 197 articles quantitatifs. Sur ces 197, seuls 28% des auteurs ont accepté de partager des données et des codes. Il était possible d’essayer de reproduire seulement 14%, avec 5% de succès. La conclusion suggère l’adoption de procédures de transparence et de reproductibilité déjà introduites dans d’autres communautés scientifiques.