1.2. Responsabilidad y seguridad de los sistemas autónomos.
La IA en el Derecho incluye diversas herramientas: por ejemplo, puede automatizar
tareas repetitivas (revisión de documentos, gestión de expedientes, redacción de
informes) y ofrecer asistencia virtual o chatbots legales que brindan orientación básica a
abogados y ciudadanos. También se emplea en análisis forense de pruebas (imágenes,
vídeos, datos forenses) para identificar patrones relevantes en investigaciones, o para
optimizar la gestión de casos (planificación de audiencias, asignación de jueces,
previsión de carga de trabajo). Estos usos pueden traducirse en mayor eficiencia, pero
introducen nuevos riesgos (errores, “alucinaciones” de los modelos, sesgos en los datos,
deriva autónoma del sistema, brechas de privacidad).
Responsabilidad jurídica: ¿quién responde si falla el sistema?
En general, la responsabilidad recae en personas o entidades humanas (fabricantes,
desarrolladores, proveedores u operadores del sistema) y no en la máquina en sí. Los
marcos jurídicos tradicionales se están adaptando: por ejemplo, la Directiva europea de
responsabilidad del producto consideró insuficiente la compensación para software, ya
que no consideraba el código intangible como “producto”. Madiega, T. (2023).
Para mitigar estas amenazas, las guías internacionales recomiendan: realizar
evaluaciones de impacto ético y legal (incluyendo derechos humanos) antes de su puesta
en marcha; someter los modelos a pruebas exhaustivas en entornos de prueba
controlados; y mantener monitoreo continuo del desempeño tras el despliegue. Los
sistemas deben diseñarse para ser auditables y trazables: conservar registros íntegros y
reproducibles de sus entradas, salidas y decisiones, de modo que se pueda reconstruir su
funcionamiento. Adicionalmente, se requiere explicabilidad técnica: los algoritmos
deben proporcionar información comprensible sobre cómo llegan a sus conclusiones,
facilitando la detección de errores o sesgos. Finalmente, se impone una supervisión
humana efectiva en todo momento: la UNESCO enfatiza que la transparencia y
explicabilidad están ligadas a la rendición de cuentas, por lo que las personas deben ser
plenamente informadas cuando se utilice IA en decisiones que afectan sus derechos.
(UNESCO, 2021)
Contexto Normativo en el Perú
La Ley N.º 31814 (julio 2023) declara de interés nacional el uso de la IA para el
desarrollo social y económico. Esta norma establece principios rectores que incluyen la
seguridad basada en riesgos, la gobernanza plural de la IA, el desarrollo ético y el
respeto a la privacidad y protección de datos personales. La Presidencia del Consejo de
Ministros (a través de la Secretaría de Gobierno Digital) tiene a su cargo supervisar la
IA nacional y está elaborando un reglamento (en consulta pública) que impondrá
obligaciones según niveles de riesgo. Además, se discuten proyectos (por ejemplo,
normas que penalizan usos de IA para difamación) con enfoque similar. En la práctica,
esto significa que cualquier sistema de IA utilizado por abogados, despachos o
tribunales debe cumplir con las leyes nacionales de protección de datos y transparencia;
por ejemplo, garantizando la seguridad informática de los datos procesados y
proporcionando mecanismos claros de rendición de cuentas de los algoritmos, tal como
exige la normativa local
REFERENCIAS
Ley N.º 31814. (2023). Ley que promueve el uso de la inteligencia artificial en favor
del desarrollo económico y social del país. Congreso de la República del Perú.
[Link]
31814
Madiega, T. (2023). EPRS | European Parliamentary Research Service. Members'
Research Service, PE 739.342. European Parliament.
UNESCO. (2021). Recommendation on the Ethics of Artificial Intelligence. Adoptada
en la 41.ª Conferencia General. UNESCO. [Link]
intelligence/ethics.