Abstract The objective of this work was to evaluate the statistical quality of refereed articles (n = 34) with experimental designs and to list a series of recommendations to increase their quality. The articles were obtained from the Red Iberoamericana de Innovación y Conocimiento Científico (Redib) with the selection criteria: a) having carried out an experimental design in educational research and b) having used a parametric analysis. Under a quantitative, exploratory, descriptive, and inferential statistics methodology, the quality of the articles was evaluated under four criteria: statistical power, susceptibility to replication, access to databases to verify the results and statistics suggested by the American Psychological Association (APA). In the results, it was found that most of the articles did not give enough information to support their conclusions and the reporting of the statistics had statistically significant differences and showed a large effect size. Therefore, they were evaluated with poor quality. In conclusion, and to improve quality, it is recommended to use guides for statistical analysis, replication of studies and to give access to databases so that other authors can observe what was done.
Resumen El objetivo de este trabajo fue evaluar la calidad estadística de artículos arbitrados (n = 34) con diseños experimentales y enlistar una serie de recomendaciones para incrementar su calidad. Los artículos fueron obtenidos de la Red Iberoamericana de Innovación y Conocimiento Científico (Redib) con los criterios de selección: a) haber llevado a cabo algún diseño experimental en investigación educativa y b) haber usado un análisis paramétrico. Bajo una metodología cuantitativa, exploratoria, estadística descriptiva e inferencial, se evaluó la calidad de los artículos bajo cuatro criterios: poder estadístico, susceptibilidad de réplica, acceso a bases de datos para constatar los resultados y estadísticas sugeridas por el Asociación Americana de Psicología (APA). En los resultados se encontró que la mayoría de los artículos no dieron suficiente información para apoyar sus conclusiones y el reporte de las estadísticas tuvo diferencias estadísticamente significativas y mostró un tamaño de efecto grande. Por lo tanto, se dictaminó una mala calidad. En conclusión, y para mejorar la calidad, se recomienda usar guías para los análisis estadísticos, la réplica de estudios y dar acceso a las bases de datos para que los demás autores puedan observar lo que se hizo.
Resumo O objetivo deste trabalho foi avaliar a qualidade estatística de artigos referenciados (n = 34) com desenhos experimentais e listar uma série de recomendações para aumentar sua qualidade. Os artigos foram obtidos junto à Rede Ibero-Americana de Inovação e Conhecimento Científico (Redib) com os critérios de seleção: a) ter realizado um desenho experimental em pesquisa educacional eb) ter utilizado uma análise paramétrica. Sob metodologia de estatística quantitativa, exploratória, descritiva e inferencial, a qualidade dos artigos foi avaliada sob quatro critérios: poder estatístico, suscetibilidade à replicação, acesso a bancos de dados para verificação dos resultados e estatísticas sugeridas pela American Psychological Association (APA). Nos resultados, constatou-se que a maioria dos artigos não forneceu informações suficientes para embasar suas conclusões e o relato das estatísticas apresentou diferenças estatisticamente significativas e apresentou grande tamanho de efeito. Portanto, a má qualidade foi considerada. Em conclusão, e para melhorar a qualidade, recomenda-se a utilização de guias para análise estatística, replicação de estudos e acesso a bases de dados para que outros autores possam observar o que foi feito.