0% encontró este documento útil (0 votos)
5 vistas18 páginas

Ética y Justicia en IA Judicial

proyecto
Derechos de autor
© All Rights Reserved
Nos tomamos en serio los derechos de los contenidos. Si sospechas que se trata de tu contenido, reclámalo aquí.
Formatos disponibles
Descarga como DOCX, PDF, TXT o lee en línea desde Scribd
0% encontró este documento útil (0 votos)
5 vistas18 páginas

Ética y Justicia en IA Judicial

proyecto
Derechos de autor
© All Rights Reserved
Nos tomamos en serio los derechos de los contenidos. Si sospechas que se trata de tu contenido, reclámalo aquí.
Formatos disponibles
Descarga como DOCX, PDF, TXT o lee en línea desde Scribd

UNIVERSIDAD TECNOLÓGICA PRIVADA

DE SANTA CRUZ
FACULTAD DE TECNOLOGÍA

CONSTITUCIÓN Y
CIUDADANÍA

LA ÉTICA Y LA
JUSTICIA

LIC. JUAN CARLOS BALCAZAR SUAREZ

SANTA CRUZ – 2025


UNIVERSIDAD TECNOLÓGICA PRIVADA DE SANTA
CRUZ SOCIEDAD ANÓNIMA COD: MN-PRE-
140-2
CONSTITUCIÓN Y CIUDADANÍA
VER: 1
VIGENTE: 27-09-

1. Introducción

En las últimas dos décadas, el avance acelerado de la inteligencia artificial (IA) ha comenzado a transformar

múltiples ámbitos de la vida social, desde la economía hasta la medicina. Sin embargo, uno de los campos

donde su uso genera mayor controversia es el sistema de justicia y seguridad pública. Herramientas

algorítmicas se están utilizando para evaluar riesgos de reincidencia, sugerir sentencias o determinar a quién

vigilar y dónde desplegar recursos policiales. Si bien estas tecnologías prometen eficiencia y objetividad,

también han suscitado un profundo debate ético y jurídico, pues sus decisiones pueden afectar libertades

individuales, reproducir desigualdades estructurales y limitar el debido proceso.

El dilema ético que abordaré en este proyecto es precisamente el uso de sistemas de inteligencia artificial

para apoyar decisiones judiciales y policiales. Este dilema plantea tensiones entre principios éticos

fundamentales: la igualdad ante la ley, la imparcialidad, la transparencia, la protección de los derechos

individuales y la búsqueda del bien común (seguridad pública y prevención del delito).

2. Planteamiento del Dilema

El núcleo del dilema puede resumirse así:

¿Es ético y justo utilizar algoritmos para predecir el comportamiento humano y tomar decisiones que

afectan la libertad, la seguridad y los derechos fundamentales de las personas, aun cuando estos sistemas

pueden contener sesgos y ser opacos en su funcionamiento?

Las tecnologías que encarnan este dilema incluyen:

 Algoritmos de evaluación de riesgo (p. ej. COMPAS) que asignan puntuaciones de “probabilidad de

reincidencia” para ayudar a jueces a decidir sobre fianzas, sentencias y libertad condicional.

3
UNIVERSIDAD TECNOLÓGICA PRIVADA DE SANTA
CRUZ SOCIEDAD ANÓNIMA COD: MN-PRE-
140-2
CONSTITUCIÓN Y CIUDADANÍA
VER: 1
VIGENTE: 27-09-

 Sistemas de “predictive policing” que analizan datos históricos para recomendar dónde concentrar

patrullajes policiales o qué personas podrían ser sospechosas.

 Sistemas de reconocimiento facial, que identifican individuos en tiempo real en espacios públicos o

en investigaciones criminales.

Cada uno de estos sistemas puede aumentar la eficiencia de las instituciones de justicia, pero también puede

producir discriminación, perpetuar desigualdades y generar decisiones opacas, difíciles de cuestionar por las

partes afectadas.

3. Contexto Histórico y Social

3.1. Orígenes

La idea de predecir el riesgo de reincidencia no es nueva. Desde mediados del siglo XX, criminólogos han

desarrollado instrumentos estandarizados de evaluación de riesgo basados en entrevistas y cuestionarios. Sin

embargo, a partir de la década de 2000, con la digitalización masiva de datos y el auge del “big data”,

surgieron herramientas algorítmicas automatizadas como COMPAS (Correctional Offender Management

Profiling for Alternative Sanctions), utilizadas en cientos de jurisdicciones de EE. UU.

3.2. Expansión del Uso

En paralelo, compañías tecnológicas y cuerpos policiales comenzaron a desarrollar programas de predictive

policing, como PredPol, que procesan datos históricos de arrestos para predecir “zonas calientes” de crimen.

Asimismo, el reconocimiento facial se popularizó gracias a los avances en visión por computadora y al

abaratamiento de cámaras de vigilancia, lo que facilitó su implementación masiva en espacios públicos,

aeropuertos, sistemas de transporte y centros comerciales, aumentando la vigilancia constante sobre la

ciudadanía.

4
UNIVERSIDAD TECNOLÓGICA PRIVADA DE SANTA
CRUZ SOCIEDAD ANÓNIMA COD: MN-PRE-
140-2
CONSTITUCIÓN Y CIUDADANÍA
VER: 1
VIGENTE: 27-09-

3.3. Debate Público

El escándalo que detonó el debate ocurrió en 2016, cuando ProPublica publicó un estudio que mostraba que

COMPAS clasificaba erróneamente a personas afroamericanas como “alto riesgo” con más frecuencia que a

personas blancas, incluso cuando los segundos reincidían más. Este hallazgo puso en duda la supuesta

neutralidad de los algoritmos.

A su vez, investigaciones sobre predictive policing señalaron que el uso de datos históricos tiende a reforzar

sesgos, pues dirige más vigilancia hacia comunidades ya sobrepoliciadas, creando un ciclo de

retroalimentación negativa. En consecuencia, se produce una distribución desigual de la seguridad, se

incrementa la estigmatización de ciertos grupos sociales y se dificulta el abordaje de las verdaderas causas

del delito, perpetuando desigualdades en lugar de corregirlas.

4. Actores y Perspectivas

Actor Interés / Perspectiva

Personas Exigen igualdad de trato, decisiones transparentes y posibilidad de apelar. Tienen

imputadas miedo de ser “etiquetadas” injustamente por un algoritmo.

Víctimas y Desean mayor seguridad y prevención de delitos, apoyan tecnologías que reduzcan

sociedad reincidencia y mejoren eficiencia.

Jueces y fiscales Ven en estos sistemas herramientas de apoyo, pero también riesgo de delegar

decisiones humanas en algoritmos poco auditables.

Policía Busca optimizar recursos, reducir tiempos de respuesta y focalizar esfuerzos.

5
UNIVERSIDAD TECNOLÓGICA PRIVADA DE SANTA
CRUZ SOCIEDAD ANÓNIMA COD: MN-PRE-
140-2
CONSTITUCIÓN Y CIUDADANÍA
VER: 1
VIGENTE: 27-09-

Empresas tecnológicas Interés comercial y reputacional en demostrar que sus sistemas son

precisos y útiles.

Organismos de derechos Advierten sobre riesgos de discriminación, violación de la privacidad

humanos y ONGs y falta de transparencia.

Legisladores y tribunales Deben regular el uso de estas tecnologías y establecer estándares de

auditoría y rendición de cuentas.

5. Marco Teórico

El análisis de los dilemas éticos asociados al uso de inteligencia artificial (IA) en sistemas judiciales y de

seguridad requiere apoyarse en distintas corrientes filosóficas y marcos conceptuales. Estos permiten

comprender no solo las consecuencias prácticas del uso de algoritmos, sino también los principios

fundamentales que deberían guiar su aplicación.

- Utilitarismo

El utilitarismo, desarrollado por Jeremy Bentham y posteriormente por John Stuart Mill en el siglo XIX,

sostiene que una acción es moralmente correcta si genera la mayor felicidad posible para el mayor número

de personas. Bajo esta perspectiva, la implementación de sistemas de IA en la justicia podría justificarse si

contribuye a mejorar la eficiencia del sistema, reducir la reincidencia delictiva y aumentar la seguridad

pública. Sin embargo, el utilitarismo también exige considerar los daños colaterales: si los algoritmos

reproducen sesgos raciales o socioeconómicos que afectan injustamente a ciertos grupos, el “balance de

felicidad” se rompe y la medida se vuelve éticamente cuestionable.

6
UNIVERSIDAD TECNOLÓGICA PRIVADA DE SANTA
CRUZ SOCIEDAD ANÓNIMA COD: MN-PRE-
140-2
CONSTITUCIÓN Y CIUDADANÍA
VER: 1
VIGENTE: 27-09-

- Deontología

Immanuel Kant, en el siglo XVIII, planteó que la moralidad no depende de las consecuencias, sino de la

conformidad de las acciones con principios universales. Según su imperativo categórico, cada persona debe

ser tratada como un fin en sí mismo y nunca como un medio. Esto implica que el uso de algoritmos para

evaluar el riesgo criminal de un individuo no debería reducirlo a un simple número estadístico. La

deontología recuerda que, aun si un algoritmo parece eficaz, su aplicación sería inmoral si vulnera la

dignidad y autonomía de las personas, por ejemplo, negándoles la posibilidad de apelar una decisión basada

en datos.

- Teoría de la justicia de Rawls

John Rawls, en Teoría de la justicia (1971), propone el “velo de la ignorancia” como método para diseñar

principios justos: las normas deben ser concebidas sin saber qué posición ocupará cada persona en la

sociedad. Aplicado al dilema de la IA en justicia, esto significa que las reglas que regulen los algoritmos

deben proteger especialmente a los más vulnerables, pues cualquiera podría ocupar ese lugar. Así, un

sistema que perpetúe discriminaciones estructurales sería inaceptable desde una perspectiva rawlsiana, ya

que no cumpliría con el principio de equidad.

- Justicia procedimental

La justicia procedimental, abordada por autores como Tom Tyler, subraya la importancia de que los

procesos sean percibidos como justos, independientemente de los resultados. En el caso de los algoritmos, la

transparencia y la explicabilidad se vuelven esenciales: si los ciudadanos no pueden entender cómo se

toman las decisiones o perciben opacidad, se debilita la confianza en las instituciones judiciales. Por lo

tanto, no basta con que un sistema sea estadísticamente preciso; también debe ser comprensible, abierto al

escrutinio y revisable.

7
UNIVERSIDAD TECNOLÓGICA PRIVADA DE SANTA
CRUZ SOCIEDAD ANÓNIMA COD: MN-PRE-
140-2
CONSTITUCIÓN Y CIUDADANÍA
VER: 1
VIGENTE: 27-09-

- Enfoques contemporáneos sobre ética de la IA

Más allá de la filosofía clásica, la ética contemporánea de la IA (con autores como Luciano Floridi o

Virginia Dignum) introduce conceptos como la responsabilidad algorítmica y la ética del diseño. Estos

plantean que la tecnología nunca es neutral, sino que refleja las decisiones de quienes la programan y

entrenan. Por tanto, la responsabilidad ética no recae únicamente en el algoritmo, sino en toda la cadena de

actores: empresas desarrolladoras, instituciones que los adquieren, jueces que los utilizan y legisladores que

los permiten o restringen.

6. Estudios de caso

1. COMPAS (evaluación de riesgo de reincidencia en EE. UU.)

2. Predictive Policing en Reino Unido (y otros ejemplos similares)

3. Reconocimiento facial (errores y sesgos con imágenes reales, aplicación policial)

6.1 COMPAS: Evaluación de riesgos de reincidencia

COMPAS (Correctional Offender Management Profiling for Alternative Sanctions) es un algoritmo

comercial usado en varios estados de EE. UU. para predecir probabilidad de reincidencia criminal. Se utiliza

para decisiones como libertad condicional, fianzas, sentencias.

Métrica Población / Grupo Valor observado

Precisión general Todos los casos analizados por ~ 65 %

ProPublica / estudios posteriores (“moderadamente

precisa”)

8
UNIVERSIDAD TECNOLÓGICA PRIVADA DE SANTA
CRUZ SOCIEDAD ANÓNIMA COD: MN-PRE-
140-2
CONSTITUCIÓN Y CIUDADANÍA
VER: 1
VIGENTE: 27-09-

Precisión para personas negras vs blancas Negra ≈ 64.9 %; Blanca ≈ 65.7

Tasa de falsos positivos (FP) para ~ 40.4 %

personas negras

Tasa de falsos positivos para blancas ~ 25.4 %

Tasa de falsos negativos (FN) para negras ~ 30.9 %

Tasa de falsos negativos para blancas ~ 47.9 %

Interpretación de estos datos:

 Aunque la precisión global parece “aceptable” (entre 60-70 %), las tasas de error son

significativamente distintas entre grupos raciales.

 Las personas negras tienen una mayor probabilidad de ser clasificadas como de alto riesgo cuando

no lo son (falsos positivos altos). Eso puede implicar detenciones, penas o restricciones mayores

injustamente.

 Las personas blancas tienen tasas más altas de falsos negativos, lo que significa que podrían recibir

menos medidas de supervisión, aunque sí exista riesgo.

Consecuencias reales:

 Personas equivocadas “etiquetadas” de riesgo alto — mayores restricciones legales, cobros de

vigilancia, posibles decisiones más severas por parte de jueces.

 Distrust (desconfianza) de comunidades marginadas hacia el sistema judicial.

9
UNIVERSIDAD TECNOLÓGICA PRIVADA DE SANTA
CRUZ SOCIEDAD ANÓNIMA COD: MN-PRE-
140-2
CONSTITUCIÓN Y CIUDADANÍA
VER: 1
VIGENTE: 27-09-

 Posible perpetuación de desigualdades raciales estructurales, pues los datos históricos (arrestos,

denuncias) ya reflejan sesgos policiales previos.

6.2 Predictive Policing en Reino Unido

Algoritmos que usan datos pasados de crimen, arrestos, denuncias u “inteligencia policial” para predecir

dónde ocurrirán delitos o quiénes podrían estar implicados.

Hechos recientes:

 En febrero de 2025, Amnistía Internacional publicó el informe “Automated Racism”, donde

concluyeron que el uso de predictive policing en Reino Unido está reproduciendo discriminación

racial.

 Se observó que algunas fuerzas policiales aplican stop-and-search (detenciones para registrar

personas) con mayor frecuencia en comunidades negras o minoritarias, incluso cuando los datos de

delitos denunciados son similares.

 En Basildon y Lambeth, por ejemplo, Black people fueron 3.6 veces más propensos a ser objeto de

stop-and-search que personas blancas, post-introducción de estas herramientas.

Problemas destacados:

 Datos históricos de detenciones/denuncias suelen recolectar sesgos (la policía patrulla más ciertas

zonas, arrestan más ciertas poblaciones). Si estos son la base del algoritmo, este reproduce y

amplifica esos sesgos.

 Falta de evidencia concluyente de que estas herramientas reduzcan el crimen significativamente en

proporción al costo ético y social. Amnistía dice que “la evidencia de la efectividad es débil o

inexistente” en muchos casos, mientras que los daños (discriminación, invasión de derechos) ya son

10
UNIVERSIDAD TECNOLÓGICA PRIVADA DE SANTA
CRUZ SOCIEDAD ANÓNIMA COD: MN-PRE-
140-2
CONSTITUCIÓN Y CIUDADANÍA
VER: 1
VIGENTE: 27-09-

visibles.

6.3 Reconocimiento Facial — Errores, sesgos, implicaciones

Qué se ha encontrado en estudios recientes:

 Un estudio reciente sobre reconocimiento facial con imágenes degradadas (calidad baja, desenfoque,

mala iluminación, poses no frontales) encontró que:

- Las tasas de falsos negativos aumentan mucho cuando la imagen está degradada.

- Las personas más afectadas son mujeres negras, seguidas de personas negras en general.

 Estudios del NIST y otros muestran que los algoritmos más precisos tienen menores diferencias

demográficas, pero muchos productos en el mercado tienen disparidades. Por ejemplo: mujeres,

personas de piel oscura, ancianos tienen mayores tasas de error comparado con hombres blancos

bajo condiciones ideales y peores aún bajo condiciones del “mundo real”.

 En condiciones reales (vigilancia en vídeo, cámaras de seguridad, objetos que ocultan parte del

rostro, iluminación pobre), la precisión desciende notoriamente. Un algoritmo muy bueno en fotos

de pasaporte puede tener error mucho más alto en imágenes borrosas o con movimiento.

Casos concretos y consecuencias:

 Hay reportes de arrestos erróneos basados sólo en coincidencias de reconocimiento facial, sin

corroboración. Uno de esos casos es el de Christopher Gatlin, detenido más de un año tras una

coincidencia errónea en una imagen de vigilancia.

 Estas equivocaciones tienden a recaer desproporcionadamente sobre personas con rasgos menos

11
UNIVERSIDAD TECNOLÓGICA PRIVADA DE SANTA
CRUZ SOCIEDAD ANÓNIMA COD: MN-PRE-
140-2
CONSTITUCIÓN Y CIUDADANÍA
VER: 1
VIGENTE: 27-09-

representados en los datos de entrenamiento (por ejemplo, personas negras, mujeres) lo que produce

efectos de estigmatización, miedo, percepción de injusticia institucional.

7. Tabla comparativa de consecuencias, ventajas y riesgos

Tecnología Ventajas Riesgos Grupos Afectados

COMPAS Ayuda a jueces a decidir Falsos positivos/negativos, Personas negras y

(evaluación de sobre libertad perpetuación de sesgos comunidades

riesgo) condicional; optimiza raciales, falta de vulnerables, con riesgo

recursos penitenciarios. transparencia. de encarcelamiento

injusto.

Predictive Prevención proactiva de Estigmatiza barrios, viola Comunidades pobres y

Policing delitos; optimiza privacidad, puede reforzar minorías étnicas, jóvenes

patrullaje. discriminación policial. en zonas vigiladas.

Reconocimiento Identifica sospechosos Alta tasa de errores en Personas de piel oscura,

Facial rápido; apoya personas de piel oscura, mujeres y quienes estén

investigaciones. vigilancia masiva, riesgo de en zonas con mala

abuso. iluminación.

8. Análisis crítico de diferentes acciones posibles

Escenario Beneficios Riesgos / Daños

Adopción sin Rapidez y eficiencia; menor carga Desigualdades acentuadas, detenciones

regulación para jueces y policías; uso pleno injustas, erosión de confianza pública, difícil

de datos. apelación de decisiones.

12
UNIVERSIDAD TECNOLÓGICA PRIVADA DE SANTA
CRUZ SOCIEDAD ANÓNIMA COD: MN-PRE-
140-2
CONSTITUCIÓN Y CIUDADANÍA
VER: 1
VIGENTE: 27-09-

Adopción con Reduce errores y sesgos; aumenta Alto costo de implementación; complejidad

regulaciones legitimidad y confianza en el técnica y resistencia institucional.

robustas sistema.

Prohibición en Previene discriminación y daños Se pierde innovación tecnológica; procesos

ciertos contextos irreversibles; protege derechos. más lentos y costosos; rezago frente a otros

países.

9. Propuestas de Solución

Propuesta A: Adopción regulada y gobernanza algorítmica

Esta propuesta plantea implementar un marco regulatorio nacional para el uso de sistemas de inteligencia

artificial (IA) en justicia y seguridad. El objetivo es permitir un uso controlado de estas tecnologías sin

poner en riesgo los derechos fundamentales de las personas.

Elementos centrales de la propuesta:

1. Prohibir el uso de algoritmos como única base para decisiones privativas de libertad.

2. Establecer auditorías independientes y periódicas que midan sesgos, precisión y explicabilidad.

3. Requerir documentación transparente sobre los datos de entrenamiento y los criterios de diseño de

los sistemas.

4. Crear mecanismos de apelación y recursos efectivos para quienes resulten afectados.

5. Desarrollar proyectos piloto controlados, con evaluación de impacto, antes de escalar a nivel

nacional.

Actores responsables:

13
UNIVERSIDAD TECNOLÓGICA PRIVADA DE SANTA
CRUZ SOCIEDAD ANÓNIMA COD: MN-PRE-
140-2
CONSTITUCIÓN Y CIUDADANÍA
VER: 1
VIGENTE: 27-09-

 Legisladores: aprobar leyes marco que regulen la IA en justicia.

 Poder Judicial y Ministerio de Justicia: elaborar protocolos de uso y capacitar operadores.

 Órgano regulador independiente: auditar y certificar sistemas.

 Empresas proveedoras: entregar documentación y permitir auditorías.

 Sociedad civil y ONG: participar en comités de vigilancia y revisión.

Justificación ética:

 Deontología (Kant): reconoce a las personas como fines en sí mismas, garantizando su dignidad al

establecer recursos de apelación.

 Rawls (justicia como equidad): asegura que los menos favorecidos no carguen con los principales

costos del sesgo algorítmico.

 Utilitarismo: busca maximizar la seguridad pública manteniendo controles para minimizar daños

colectivos.

Fortalezas:

 Equilibrio entre innovación y derechos humanos.

 Posibilidad de corrección continua de sesgos y errores.

 Mayor legitimidad social y política del uso de IA.

Debilidades:

 Requiere altos costos económicos y técnicos.

 Riesgo de implementación lenta o incompleta.

14
UNIVERSIDAD TECNOLÓGICA PRIVADA DE SANTA
CRUZ SOCIEDAD ANÓNIMA COD: MN-PRE-
140-2
CONSTITUCIÓN Y CIUDADANÍA
VER: 1
VIGENTE: 27-09-

 Necesidad de capacidades de auditoría especializadas.

Propuesta B: Restricción en contextos sensibles y fortalecimiento de medidas sociales

La segunda propuesta defiende una postura precautoria, limitando estrictamente el uso de algoritmos en los

contextos más sensibles y priorizando la inversión en políticas sociales.

Elementos centrales de la propuesta:

1. Prohibir el uso de algoritmos para decisiones que impliquen privación de libertad (sentencias,

fianzas, libertad condicional).

2. Limitar el reconocimiento facial en espacios públicos, salvo autorización judicial expresa.

3. Redirigir fondos hacia programas de prevención social (educación, empleo juvenil, seguridad

comunitaria).

4. Invertir en mejorar la calidad y transparencia de los datos policiales, reduciendo el riesgo de sesgos

estructurales.

Actores responsables:

 Legisladores: aprobar leyes de prohibición parcial y restricción.

 Poder Judicial: otorgar autorizaciones excepcionales bajo control estricto.

 Ministerios de Seguridad y Desarrollo Social: redirigir presupuestos hacia prevención comunitaria.

 Defensorías y ONG: monitorear el cumplimiento de la prohibición.

Justificación ética:

15
UNIVERSIDAD TECNOLÓGICA PRIVADA DE SANTA
CRUZ SOCIEDAD ANÓNIMA COD: MN-PRE-
140-2
CONSTITUCIÓN Y CIUDADANÍA
VER: 1
VIGENTE: 27-09-

 Principio de precaución: evita daños irreversibles hasta contar con evidencia científica suficiente

sobre seguridad y equidad.

 Rawls: protege especialmente a los más vulnerables, que suelen ser los más afectados por sesgos

algorítmicos.

 No maleficencia: prioriza evitar daños antes que obtener beneficios inciertos.

Fortalezas:

 Máxima protección de derechos fundamentales.

 Reduce el riesgo de discriminación sistemática.

 Refuerza la confianza ciudadana en la justicia.

Debilidades:

 Puede limitar beneficios potenciales de la IA (eficiencia, rapidez).

 Exige alta inversión en programas sociales alternativos.

 Riesgo de resistencia política o de actores tecnológicos interesados en mantener el despliegue.

10. Conclusión

El análisis del dilema ético sobre el uso de inteligencia artificial (IA) en el sistema judicial y policial revela

una tensión central entre eficiencia tecnológica y protección de derechos fundamentales. Si bien

herramientas como COMPAS, el predictive policing y el reconocimiento facial ofrecen beneficios

indudables —como la agilización de procesos judiciales, la optimización de recursos y el apoyo en

investigaciones—, también presentan riesgos graves que no pueden ser ignorados. Entre ellos destacan la

perpetuación de sesgos históricos, la discriminación sistemática de comunidades vulnerables, la pérdida de

16
UNIVERSIDAD TECNOLÓGICA PRIVADA DE SANTA
CRUZ SOCIEDAD ANÓNIMA COD: MN-PRE-
140-2
CONSTITUCIÓN Y CIUDADANÍA
VER: 1
VIGENTE: 27-09-

privacidad, y la erosión de la confianza pública en la justicia.

Desde la perspectiva de la ética deontológica, estas tecnologías deben respetar la dignidad de cada individuo

y garantizar que nadie sea tratado como un simple dato estadístico. En este sentido, la transparencia de los

algoritmos y el derecho de apelación son condiciones mínimas para que su uso sea moralmente aceptable.

La teoría de la justicia de Rawls refuerza esta visión al plantear que cualquier desigualdad en el sistema

debe beneficiar a los más desfavorecidos, algo que difícilmente ocurre cuando los algoritmos afectan de

forma desproporcionada a minorías raciales y sectores empobrecidos.

Por otro lado, desde un enfoque utilitarista, sería posible defender estas herramientas siempre que el

bienestar colectivo generado (reducción del crimen, mayor seguridad) supere los daños causados a las

personas afectadas injustamente. Sin embargo, el análisis crítico mostró que, sin regulaciones adecuadas, el

daño social puede ser mayor que los beneficios, ya que se generan errores sistemáticos que afectan vidas

humanas y reproducen desigualdades existentes.

La evaluación de las soluciones propuestas permite concluir que la adopción con regulaciones robustas es la

alternativa más equilibrada. Esta opción no descarta el potencial innovador de la IA, pero exige que su

implementación esté acompañada de auditorías independientes, explicabilidad de los algoritmos, derechos

de apelación para los afectados y una supervisión humana constante. Así se logra un balance entre el

aprovechamiento de la tecnología y el respeto a principios éticos y de justicia.

Finalmente, este análisis evidencia que la incorporación de IA en el sistema judicial no es un simple avance

técnico, sino un cambio de paradigma que afecta la manera en que entendemos la justicia misma. Adoptar

estas herramientas de forma responsable es un reto colectivo que involucra a gobiernos, jueces,

programadores, organizaciones de derechos humanos y a la sociedad civil. Solo con un diálogo abierto,

17
UNIVERSIDAD TECNOLÓGICA PRIVADA DE SANTA
CRUZ SOCIEDAD ANÓNIMA COD: MN-PRE-
140-2
CONSTITUCIÓN Y CIUDADANÍA
VER: 1
VIGENTE: 27-09-

regulación clara y una vigilancia constante será posible garantizar que la tecnología no se convierta en un

instrumento de opresión, sino en una herramienta al servicio de la equidad.

11. Bibliografía

Angwin, J., Larson, J., Mattu, S., & Kirchner, L. (2016). “Machine Bias.” ProPublica. Disponible en:

[Link]

Berk, R., Heidari, H., Jabbari, S., Kearns, M., & Roth, A. (2018). "Fairness in Criminal Justice Risk

Assessments: The State of the Art." Sociological Methods & Research, 50(1), 3–44.

Buolamwini, J., & Gebru, T. (2018). "Gender Shades: Intersectional Accuracy Disparities in Commercial

Gender Classification." Proceedings of Machine Learning Research, 81, 1–15.

European Commission (2019). Ethics Guidelines for Trustworthy AI. Disponible en: [Link]

[Link]

Jonas, H. (1995). El principio de responsabilidad: Ensayo de una ética para la civilización tecnológica.

Barcelona: Herder.

Kant, I. (1785). Fundamentación de la metafísica de las costumbres. Trad. José Rovira Armengol. Madrid:

Alianza Editorial.

Mill, J. S. (1863). El utilitarismo. Madrid: Alianza Editorial.

Rawls, J. (1971). Teoría de la justicia. México: Fondo de Cultura Económica.

18

También podría gustarte