Abstract Diverse risk assessment algorithms used in policing, justice administration and criminal proceedings have contributed to promptness in decision making. Controversies have emerged regarding their enforcement, due to certain subjective weighted variables that may lead to a possible breach of human rights. This article describes the main risk assessment algorithms, emphasizing the COMPAS algorithm and determining its impact on human rights. The method used is deductive-inductive, on the basis of a documentary analysis that describes the operation of algorithms, and an inductive process used to determine if human rights are guaranteed while it is used. Results indicate that, in fact, risks exist at the time of using intelligent predictive systems, derived from a lack of transparency in the design of the algorithm and bias. The above would not allow the identification of the process used to classify the risk level and the unbiased application of the evaluation, jeopardising rights like due process, freedom and non-discrimination, among others.

Resumen En la actividad policial, administración de justicia y procesos penales, se han empezado a utilizar diversos algoritmos predictivos de riesgo, los cuales aportan celeridad en la toma de decisiones. Han surgido controversias acerca de su aplicación, debido a ciertas variables subjetivas ponderadas, lo que implicaría una posible vulneración para los derechos humanos. En el presente artículo se describen los principales algoritmos predictivos de riesgo, haciendo énfasis en el algoritmo COMPAS y se determinan los impactos a los derechos humanos derivados de su uso. El método utilizado es deductivo-inductivo, partiendo de un análisis documental para describir el funcionamiento de los algoritmos y un proceso inductivo para determinar si se garantizan los derechos humanos con su utilización. Los resultados indican que en efecto sí hay riesgos cuando se utilizan estos sistemas inteligentes predictivos, los cuales son derivados de la falta de transparencia de la arquitectura del algoritmo y de la presencia de sesgos. Lo anterior impediría identificar el proceso por el cual se llega a la calificación de nivel de riesgo, de un lado, y de otro, una aplicación objetiva de la evaluación; lo que pondría en riesgo derechos como el debido proceso, la libertad personal y no discriminación, entre otros.