Abstract This work presents an analysis of the methodological quality of systematic reviews of Portuguese-speaking literature, in the area of Communication and Information by using principles and techniques of this methodology common to content analysis, notably those relating to replicability and reliability. For this, we used 4 indexing bases, namely Web of Science, Scopus, DOAJ and SciELO, under a specific temporal delimitation (2010-2021). By developing a codebook and carrying out reliability tests, we selected and analyzed 49 works regarding the following characteristics: (a) databases; (b) search strings; (c) temporal delimitation (number of years); (d) number of analyzed works; (e) inclusion and/or exclusion criteria; (f) replicability; (g) reliability. The main results indicate a reduced concern of the analyzed works in incorporating or reporting procedures responsive to reliability (n=3). On the other hand, most studies (n=40) proved to be, in general terms, replicable. The main innovation and contribution of this research consisted in proposing and testing a procedure to increase the reliability of systematic reviews by consulting the authors of the papers. We highlight, in addition to the innovative character of such a procedure, its epistemic improvements. Finally, we discuss directions for future research by indicating possible gains that the methodological strategies conceived and tested in this work offer to guide the methodological rigor of systematic literature reviews.

Resumo Este trabalho apresenta uma análise da qualidade metodológica das revisões sistemáticas de literatura lusófonas, na área da Comunicação e Informação, utilizando princípios e técnicas desta metodologia comuns à análise de conteúdo, notadamente as relativas à replicabilidade e à confiabilidade. Para isso, 4 bases de indexação foram utilizadas: Web of Science, Scopus, DOAJ e SciELO, sob delimitação temporal específica (2010-2021). Mediante o desenvolvimento de um livro de códigos e realização de testes de confiabilidade, 49 trabalhos foram selecionados e analisados em relação a informações sobre (a) bases utilizadas; (b) termos de busca; (c) delimitação temporal (quantidade de anos); (d) número de trabalhos analisados; (e) critérios de inclusão e/ou exclusão; (f) replicabilidade; (g) confiabilidade. Os principais resultados indicam uma reduzida preocupação dos trabalhos analisados em incorporar ou reportar procedimentos responsivos à confiabilidade (n=3). Por outro lado, a maior parte dos estudos (n=40) mostrou-se, em linhas gerais, replicável. A principal inovação e contribuição desta pesquisa consistiu em propor e testar um procedimento de incremento da confiabilidade das revisões sistemáticas mediante consulta aos autores dos trabalhos revisados. Destaca-se, para além do caráter inovador de tal procedimento, os ganhos epistêmicos por ele trazidos. Discute-se, ao final, as implicações dos resultados para pesquisas futuras, indicando os possíveis ganhos que as estratégias metodológicas concebidas e testadas neste trabalho oferecem para balizar o rigor metodológico das revisões sistemáticas de literatura.

Resumo A análise de conteúdo (AC) é uma das principais técnicas de análise de dados qualitativos nas ciências da vida e nas humanidades e tem sido aperfeiçoada há décadas visando elevar o seu rigor científico. Buscando-se verificar a situação da produção acadêmica nacional, apresentamos uma revisão cientométrica de 3.484 artigos que utilizam AC, publicados entre 2002-19 na SciELO Brasil. Fez-se uma análise de redes de cocitação e de acoplamento bibliográfico através do VOSviewer e uma avaliação das referências mais frequentes. O colégio de ciências da vida aparece em primeiro lugar na utilização da técnica, seguido pelo colégio de humanidades. Os resultados demonstraram predominância do manual de Bardin em ambos, confirmando achados anteriores, mas em uma escala de artigos, amplitude temporal e diversidade disciplinar inéditas. A concentração observada evidencia descompasso entre o avanço da literatura especializada e seu uso pela comunidade científica brasileira.

Abstract Content analysis (CA) is one of the main qualitative data analysis techniques in life sciences and humanities and for decades has been improved aiming to increase its scientific rigor. To verify the Brazilian scientific literature, we present a scientometric review of 3,484 articles that use CA, published between 2002-19 in SciELO Brazil. We conducted a cocitation network analysis and bibliographic coupling through the VOSviewer, and also an evaluation of the most frequent references. The college of life sciences appears in first place in the use of the technique, followed by the college of humanities. The results showed a predominance of Bardin’s manual in all academic fields and years observed, corroborating previous findings on an unprecedented scale. The concentration observed is evidence of a pronounced mismatch between the improvement of the specialized literature and its use by the Brazilian scientific community.

RESUMO A literatura sobre compartilhamento de notícias online apresenta uma gama de métodos e resultados com linhas contraditórias de explicação para o fenômeno. Para destrinchar o problema, comparamos três países com níveis contrastantes de estabilidade política (Brasil, Canadá e EUA). Uma análise de conteúdo de notícias (n = 1.658) postadas nas principais páginas noticiosas do Facebook de cada país em 2016 mostra que as páginas canadenses apresentaram muito menos compartilhamento sobre conflitos políticos nacionais do que nos EUA e Brasil. Discutimos como isso mostra a relevância do contexto político para explicar as rotinas produtivas e a compartilhabilidade.

ABSTRACT Current literature on online news sharing presents a range of methods and results, alongside contradictory explanations for the phenomenon. To disentangle this, we compared three countries with contrasting levels of political stability (Brazil, Canada and the US). A content analysis of articles (n = 1.658) posted in 2016, on the main news pages in Facebook for each country, shows that the Canadian news pages presented far less news sharing on national politics conflicts than Brazil and the US did. We discuss how this shows the relevance of political context in explaining both news routines and shareworthiness.

RESUMEN La literatura actual sobre el intercambio de noticias en línea presenta una variedad de métodos y resultados junto con líneas de explicación contradictorias para el fenómeno. Para desenredar esto, comparamos tres países con niveles contrastantes de estabilidad política (Brasil, Canadá y EE. UU.). Un análisis de contenido de los artículos (n = 1.658) publicados en las principales páginas de noticias en Facebook de cada país en 2016 muestra que las páginas de noticias canadienses presentaron mucho menos intercambio de noticias sobre conflictos políticos nacionales. Lo contrario ocurrió en Brasil y Estados Unidos. Discutimos cómo esto muestra la relevancia del contexto político para explicar tanto las rutinas informativas como las compartidas.

The article presents a scientometric analysis of 3.484 articles published between 2002 and 2019 in the SciELO database that refer to content analysis (CA) in terms of the number of publications, journals, and cited references. The results showed that the Life Sciences college presents the highest volume of articles and the most heterogeneous bibliography. This result challenges the previous studies that highlighted Human Sciences disciplines as the preferred fields for using the technique. There was used the cocitation analysis network through the VOSviewer, and it was detected a high predominance of the Laurence Bardin’s manual in all the colleges observed. This result confirms findings from previous studies, but on an unprecedented scale and disciplinary diversity. We argue that this concentration tends to reveal a flagrant gap between the advancement of specialized literature on the methodology and its respective use by the Brazilian scientific community, which may be thoughtless and outdated.

O artigo apresenta uma análise cientométrica de 3.484 artigos publicados entre 2002 e 2019 na base SciELO que fazem referência à análise de conteúdo (AC) em termos de número de publicação, periódicos e referências acionadas. Os resultados demonstraram que o colégio de Ciências da Vida apresenta não apenas o maior volume de trabalhos, mas também de heterogeneidade de referências. Esse resultado desafia estudos anteriores que destacavam as disciplinas das Ciências Humanas como lugar preferencial de utilização do método. Para isso, foi utilizada a análise de cocitação através do VOSviewer e detectada uma grande predominância do manual de Laurence Bardin em todos os colégios observados. Esse resultado confirma achados de estudos anteriores, mas em uma escala e diversidade disciplinar inéditas. Argumentamos que essa concentração tende a revelar um flagrante descompasso entre o avanço da literatura especializada sobre a metodologia e seu respectivo uso pela comunidade científica brasileira, que pode estar sendo irrefletido e desatualizado.

RESUMO Introdução A análise de conteúdo (AC) tem sido normativamente definida a partir de três princípios fundamentais: validade, replicabilidade e confiabilidade. Neste trabalho, identificamos que os estudos empíricos, no Brasil e no exterior, têm negligenciado esses princípios, em especial o último (confiabilidade). Métodos Diante disso, oferecemos uma contribuição tanto operacional quanto crítica à AC. Em relação à contribuição operacional, o trabalho apresenta uma listagem detalhada de procedimentos sobre como se realizar um teste de confiabilidade em diferentes circunstâncias de pesquisa (com um ou mais pesquisadores). Resultados Já a contribuição crítica é uma reflexão epistemológica acerca das vantagens e limites dos usos mais comuns desse tipo de teste, usos esses que, no limite, podem comprometer a própria confiabilidade científica dos resultados publicados. Discussão De modo a evitar esse risco, propomos que pesquisas com AC podem reivindicar a presunção de confiabilidade quando (a) oferecem plenas condições de replicabilidade e (b) quando oferecem um teste de confiabilidade realizado por um ou mais codificadores, teste esse que seja aceitável como significativamente não-aleatório. Por fim, concluímos que, nos periódicos de alto impacto, predomina a importância de (b) em detrimento de (a), o que demonstra que, mesmo na elite da produção científica, ainda prevalece uma compreensão pouco exigente sobre a confiabilidade na AC.

ABSTRACT Introduction Content analysis has been normatively organized by the following principles: validity, replicability, and reliability. This paper points out that empirical studies in Brazil and abroad have been ignoring such principles, especially the latter (reliability). From this vantage point, we offer a theoretical and practical contribution to content analysis. Methods Regarding the practical contribution, this papers details check-lists of procedures for conducting intercoder reliability tests for different research conditions (i.e. for one or more coders). Results Concerning the theoretical contribution, it departs from an epistemological critical assessment of the advantages and limitations embedded in the most common uses of this kind of test. On the limit, such uses might put the scientific reliability of the published results at risk. Discussion In order to avoid such risk, we argue that empirical studies might claim the presumption of reliability when (a) they offer plain conditions for their replicability; and (b) when they offer a reliability test that might be regarded as significantly non-random. We conclude our paper by pointing out that, in the high ranked journals, prevails the importance of (b) under (a), which implies that even in the elite of scientific production prevails a low demanding comprehension of reliability.