Resumo Qual o efeito das políticas de distanciamento social na disseminação do novo coronavírus? As políticas de distanciamento social ganharam destaque como as mais capazes de conter contágio e salvar vidas. Nosso objetivo neste artigo é identificar o efeito causal das políticas de distanciamento social no número de casos confirmados da COVID-19 e na velocidade de contágio. Alinhamos nosso argumento principal com o consenso científico existente: políticas de distanciamento social afetam negativamente o número de casos de contaminação. Para testar esta hipótese, construímos um banco de dados com informações diárias sobre 78 países afetados no mundo. Calculamos várias medidas relevantes a partir de informações publicamente disponíveis sobre o número de casos de infectados e mortes, a fim de estimar efeitos causais para efeitos em curto prazo e cumulativos de políticas de distanciamento social. Usamos uma abordagem de time-series cross-sectional matching a fim de parear históricos observáveis dos países. Efeitos causais (ATTs e ATEs) podem ser extraídos através de um estimador dif-in-dif. Resultados mostram que as políticas de distanciamento social reduzem o número agregado de pessoas contaminadas em 4.832 em média (ou 17,5/100 mil), mas apenas quando medidas rigorosas são adotadas. Esse efeito parece se manifestar a partir da terceira semana.

Abstract What is the effect of social distancing policies on the spread of the new coronavirus? Social distancing policies rose to prominence as most capable of containing contagion and saving lives. Our purpose in this paper is to identify the causal effect of social distancing policies on the number of confirmed cases of COVID-19 and on contagion velocity. We align our main argument with the existing scientific consensus: social distancing policies negatively affect the number of cases. To test this hypothesis, we construct a dataset with daily information on 78 affected countries in the world. We compute several relevant measures from publicly available information on the number of cases and deaths to estimate causal effects for short-term and cumulative effects of social distancing policies. We use a time-series cross-sectional matching approach to match countries’ observable histories. Causal effects (ATTs and ATEs) can be extracted via a dif-in-dif estimator. Results show that social distancing policies reduce the aggregated number of cases by 4,832 on average (or 17.5/100 thousand), but only when strict measures are adopted. This effect seems to manifest from the third week onwards.

Resumen ¿Cuál es el efecto de las políticas de distanciamiento social en la diseminación del nuevo coronavirus? Las políticas de distanciamiento social salieron a la fama como las más capaces de contener el contagio y salvar vidas. Nuestro objetivo en este artículo es identificar el efecto causal de las políticas de distanciamiento social en el número de casos confirmados de COVID-19 y en la velocidad de contagio. Alineamos nuestro argumento principal con el consenso científico existente: las políticas de distanciamiento social afectan negativamente el número de casos de contaminación. Para probar esta hipótesis, construimos un banco de datos con información diaria sobre 78 países afectados. Calculamos varias medidas relevantes a partir de la información disponible públicamente sobre el número de casos de infectados y muertes para estimar los efectos causales a corto plazo y acumulativos de las políticas de distanciamiento social. Utilizamos un enfoque de time-series cross-sectional matching para emparejar los historiales observables de los países. Los efectos causales (ATT y ATE) se pueden extraer a través de un estimador dif-in-dif. Los resultados muestran que las políticas de distanciamiento social reducen el número agregado de personas contaminadas en 4.832 en media (o 17,5/100 mil), pero solo cuando se adoptan medidas estrictas. Este efecto parece manifestarse desde la tercera semana.

Despite a widespread agreement on the importance of transparency in science, a growing body of evidence suggests that both the natural and the social sciences are facing a reproducibility crisis. In this paper, we present seven reasons why journals and authors should implement — transparent guidelines. We argue that sharing replication materials, which include full disclosure of the methods used to collect and analyze data, the public availability of raw and manipulated data, in addition to computational scripts, may generate the following positive outcomes: 01. production of trustworthy empirical results, by preventing intentional frauds and avoiding honest mistakes; 02. making the writing and publishing of papers more efficient; 03. enhancing the reviewers’ ability to provide better evaluations; 04. enabling the continuity of academic work; 05. developing scientific reputation; 06. helping to learn data analysis; and 07. increasing the impact of scholarly work. In addition, we review the most recent computational tools to work reproducibly. With this paper, we hope to foster transparency within the political science scholarly community.

Como técnicas quantitativas e qualitativas podem ser mobilizadas para avaliar o impacto de políticas públicas? Este trabalho tem por objetivo apresentar os fundamentos da avaliação de impacto e discutir as principais técnicas utilizadas para quantificar ou para qualificar o impacto das políticas. Para tanto, apresentamos o experimento controlado e técnicas quase-experimentais como ferramentas de identificação do efeito causal das políticas e técnicas de observação, entrevista em profundidade e grupos focais como formas de compreender o seu impacto sobre a qualidade de vida dos beneficiários. As diferentes técnicas são apresentadas com exemplos práticos de políticas públicas. Os resultados indicam que as abordagens quantitativa e qualitativa respondem à questões diferentes na avaliação. Contudo, ambas são fundamentais para a formulação de políticas baseada em evidências.

How can quantitative and qualitative techniques be mobilized to assess the impact of public policies? This paper aims to present the basics of impact evaluation and discuss the main techniques used to quantify or qualify the impact of policies. Therefore, we present the controlled experiment and quasi-experimental techniques as tools to identify the causal effect of policies, and observation, in-depth interviews, and focus groups as ways to observe the impact on the beneficiaries’ quality of life. Different techniques are presented with practical examples of public policies. The results indicate that quantitative and qualitative approaches answer to different questions in the evaluation. However, both are fundamental to evidence-based policy making.

De quelle façon les techniques quantitatives et qualitatives peuvent être employées pour évaluer l’impact des politiques publiques ? Cet article a pour objectif de présenter les bases de l’évaluation d’impact et de discuter les principales techniques utilisées pour quantifier ou pour qualifier l’impact de ces politiques. Ainsi, nous présentons l’expérience contrôlée et les techniques quasi-expérimentales tels que les outils d’identification de l’effet causal des politiques et des techniques d’observation, des entretiens approfondis et des groupes de discussion comme des moyens pour comprendre leur impact sur la qualité de vie des bénéficiaires. Les différentes techniques sont présentées avec des exemples pratiques de politiques publiques. Les résultats indiquent que les approches quantitatives et qualitatives répondent aux différentes questions de l’évaluation. Toutes deux sont, cependant, essentielles à la formulation de politiques fondées sur des données probantes.