ABSTRACT The study seeks to identify the dualities between the use of artificial intelligence (AI) in education and the risks of algorithmic biases. This qualitative research is a systematic literature review with bibliometric support. Data collection took place across the Scopus, Web of Science, and ScienceDirect databases, ultimately selecting 16 articles for analysis and interpretation. The hypothesis posits that algorithmic biases in education may compromise the equity and effectiveness of educational processes. Biases were observed from the coding of algorithms to automated processing, potentially impacting student performance and widening inequalities. Suggested mitigation measures include care in the training and implementation phases of algorithms, the development of algorithmic repair practices, platform supervision, and the need for fair and reliable technologies. In addressing the hypothesis, the study concludes that the effectiveness of AI in education depends on continuous, inclusive training of algorithms and user awareness of algorithmic bias risks, enabling systems to improve in ways that prevent the reproduction of social injustices. An ethical and collaborative approach is recommended to ensure AI contributes to a fairer education system. Interaction between students and AI can foster critical reflection on received feedback, as students need to identify whether results are reliable, up-to-date, and unbiased, considering the time required for algorithms to incorporate new training data.
RESUMO O estudo busca identificar as dualidades entre o uso da inteligência artificial (IA) na educação e os riscos de vieses algorítmicos. A pesquisa se insere como qualitativa e uma revisão sistemática de literatura com apoio bibliométrico. A coleta de dados ocorreu nas bases Scopus, Web of Science e ScienceDirect, e ao final foram selecionados 16 artigos para análise e interpretação. A hipótese levantada é de que os vieses algorítmicos na educação podem comprometer a equidade e a eficácia dos processos educativos. Os vieses foram apontados desde a codificação dos algoritmos até o processamento automatizado, o que pode impactar o desempenho dos alunos e ampliar as desigualdades. Medidas sugeridas para mitigação incluem os cuidados nas fases de treinamento e implementação dos algoritmos, desenvolvimento de práticas de reparação algorítmica, supervisão das plataformas e a necessidade de tecnologias justas e confiáveis. Como resposta à hipótese, conclui-se que a eficácia da IA na educação depende de um treinamento contínuo e inclusivo dos algoritmos e da conscientização de seus usuários sobre os riscos dos vieses algorítmicos, de forma que os sistemas possam ser aperfeiçoados para evitar a reprodução de injustiças sociais. Recomenda-se uma abordagem ética e colaborativa para garantir que a IA contribua para uma educação mais justa. A interação entre os alunos e a IA pode suscitar uma reflexão crítica sobre os feedbacks recebidos, pois eles precisam saber identificar se os resultados são confiáveis, atualizados e não tendenciosos, uma vez que a IA pode demorar a incorporar novos dados de treinamento nos algoritmos.
RESUMEN El estudio busca identificar las dualidades entre el uso de la inteligencia artificial (IA) en la educación y los riesgos de sesgos algorítmicos. Esta investigación es cualitativa y se llevó a cabo una revisión sistemática de la literatura con apoyo bibliométrico. La recolección de datos se realizó en las bases de datos Scopus, Web of Science y ScienceDirect, y finalmente se seleccionaron 16 artículos para su análisis e interpretación. La hipótesis planteada es que los sesgos algorítmicos en la educación pueden comprometer la equidad y la eficacia de los procesos educativos. Se destacaron sesgos desde la codificación de los algoritmos hasta el procesamiento automatizado, lo cual puede afectar el rendimiento estudiantil y ampliar las desigualdades. Las medidas de mitigación sugeridas incluyen cuidados en las fases de capacitación e implementación de los algoritmos, el desarrollo de prácticas de reparación algorítmica, la supervisión de plataformas y la necesidad de tecnologías justas y confiables. En respuesta a la hipótesis, se concluye que la efectividad de la IA en la educación depende de un entrenamiento continuo e inclusivo de los algoritmos y de la concienciación de sus usuarios sobre los riesgos de sesgos algorítmicos, de modo que los sistemas puedan mejorarse para evitar la reproducción de injusticias sociales. Se recomienda un enfoque ético y colaborativo para asegurar que la IA contribuya a una educación más justa. La interacción entre los estudiantes y la IA puede impulsar una reflexión crítica sobre el feedback recibido, ya que necesitan saber identificar si los resultados son fiables, actualizados y libres de sesgos, dado que la incorporación de nuevos datos de formación en los algoritmos puede llevar tiempo.