Sistemas IA de alto riesgo

La Ley de Inteligencia Artificial señala a los sistemas IA de alto riesgo como herramientas a las que hay que vigilar por su gran impacto en derechos y libertades. En este artículo abordamos qué son los sistemas de IA de alto riesgo, cómo se regulan en España, y qué medidas de seguridad deben implementarse para mitigar los riesgos asociados.

¿Qué son los sistemas de IA de alto riesgo?

El término sistemas de Inteligencia Artificial de alto riesgo hace referencia a aquellas aplicaciones de inteligencia artificial que tienen un impacto significativo en los derechos fundamentales de las personas. Según la Ley de Inteligencia Artificial de la UE, un sistema de IA se considera de alto riesgo si su uso puede suponer un peligro serio para la seguridad, los derechos o la libertad de los individuos. Esta clasificación se hace con base en varios factores, incluyendo el sector en el que se aplica y el impacto potencial que tendría un fallo en el sistema.

¿Por qué algunos sistemas de IA son considerados de alto riesgo?

El concepto de “alto riesgo” se define por varios factores que incluyen:

• Impacto en los derechos humanos: Si el sistema de IA puede afectar de manera significativa los derechos fundamentales, como la privacidad, la libertad de expresión o el derecho a la no discriminación, se considera un sistema de alto riesgo.
• Aplicaciones críticas: Esto incluye sectores como la atención sanitaria, la automoción (vehículos autónomos), la justicia penal, la contratación laboral y la educación. En estos sectores, el uso incorrecto de la IA podría tener consecuencias graves.
• Posibilidad de fallo: Si la IA falla o actúa de manera inapropiada, sus consecuencias pueden ser mucho más graves que en otros casos. Por ejemplo, un sistema de IA que controle un sistema de seguridad o que se utilice para diagnósticos médicos incorrectos puede poner en peligro vidas humanas.

¿Cuáles son los sistemas de IA de alto riesgo según la Ley de IA de la UE?

La Ley de Inteligencia Artificial de la UE categoriza los sistemas de IA en función de su nivel de riesgo. Aquellos considerados de alto riesgo deben cumplir con una serie de requisitos normativos estrictos. Entre los ejemplos de sistemas de IA de alto riesgo que la ley identifica, se incluyen:

Sistemas de IA de alto riesgo en el sector de la salud

La IA en la salud, que se utiliza para diagnósticos, tratamiento de enfermedades o administración de medicamentos, es uno de los sectores más sensibles. Cualquier fallo en estos sistemas puede poner en riesgo la vida de las personas. Es por ello que los sistemas de IA utilizados en la sanidad, como los diagnósticos asistidos por IA o los sistemas que gestionan el historial médico, están sujetos a regulaciones más estrictas.

Sistemas de IA de alto riesgo en la movilidad y transporte

Los vehículos autónomos son un ejemplo de sistemas de inteligencia artificial de alto riesgo. Estos sistemas son fundamentales para garantizar la seguridad vial y, si no se gestionan correctamente, pueden ocasionar accidentes graves. La regulación de IA en este sector es fundamental para garantizar que los sistemas funcionen con la máxima fiabilidad.

Sistemas de IA de alto riesgo en la contratación laboral

La IA se utiliza cada vez más en los procesos de selección y contratación, lo que implica un riesgo de discriminación si los algoritmos no están correctamente diseñados. La ley establece que los sistemas que toman decisiones sobre la contratación, promoción o despido de empleados deben cumplir con normativas rigurosas para evitar la discriminación o la injusticia laboral.

Sistemas de IA de alto riesgo en el ámbito judicial

En el sistema judicial, la IA puede ser utilizada para predecir sentencias, gestionar procesos o incluso asistir a jueces y fiscales. Si bien esto puede mejorar la eficiencia del sistema, también plantea riesgos de parcialidad o errores judiciales que pueden tener consecuencias graves. Por lo tanto, estos sistemas se consideran de alto riesgo y deben ser supervisados de manera estricta.

Sistemas de IA de alto riesgo en la vigilancia pública

La utilización de IA para la vigilancia, como el reconocimiento facial en espacios públicos, puede poner en riesgo la privacidad de los ciudadanos. Estos sistemas están bajo una estricta regulación en la UE debido a su potencial para violar derechos fundamentales.

Medidas de seguridad necesarias para los sistemas de IA de alto riesgo

Los sistemas IA regulados por la Ley de IA deben cumplir con una serie de requisitos de seguridad y transparencia para garantizar su funcionamiento ético y seguro. Estas son algunas de las principales medidas que deben implementarse:

Evaluación de riesgos previa

Antes de implementar un sistema de IA de alto riesgo, las empresas deben llevar a cabo una evaluación exhaustiva de los riesgos asociados. Esta evaluación debe identificar los posibles peligros y la magnitud del daño que un fallo en el sistema podría ocasionar. Esta evaluación es esencial para desarrollar estrategias de mitigación de riesgos adecuadas.

Supervisión humana

Una de las principales características de la regulación de los sistemas de alto riesgo es la necesidad de supervisión humana. Aunque los sistemas de IA pueden operar de forma autónoma, siempre debe haber un ser humano que supervise su funcionamiento, especialmente en sectores como la salud, la justicia o el transporte. Esto garantiza que, en caso de que el sistema falle o actúe inapropiadamente, se pueda intervenir rápidamente.

Transparencia y explicabilidad

Es fundamental que los sistemas de IA de alto riesgo sean transparentes y que sus decisiones puedan explicarse de forma comprensible para los usuarios. Esto significa que las empresas que implementen estos sistemas deben proporcionar información sobre cómo funcionan los algoritmos y cómo se toman las decisiones. La normativa IA crítica exige que las empresas ofrezcan una justificación clara de las decisiones automatizadas tomadas por IA.

Gestión de datos y privacidad

La protección de los datos personales es una de las preocupaciones más importantes en la regulación de la IA. Los sistemas de IA de alto riesgo, especialmente los que se utilizan en la salud o en la contratación, deben cumplir con las normativas de protección de datos como el Reglamento General de Protección de Datos (RGPD) de la UE. Esto incluye la gestión adecuada de los datos personales, el consentimiento informado y la minimización de los datos utilizados.

Auditoría y trazabilidad

La auditoría periódica y la trazabilidad de los sistemas de IA son esenciales para garantizar que estos sistemas sigan cumpliendo con las normativas de manera continua. Las empresas deben asegurarse de que se realicen auditorías externas para verificar la eficacia de los sistemas de IA y para detectar posibles sesgos o fallos.

Consúltanos sobre cómo podemos proteger los datos personales en los sistemas de IA de alto riesgo.

Te ayudamos a cumplir la Ley de Protección de Datos

Escríbenos o contacta con nuestras oficinas

He leído y acepto la política de privacidad.

Riesgos asociados con los sistemas de IA de alto riesgo

A pesar de las medidas de seguridad, los riesgos de la IA siguen siendo una preocupación significativa. Los sistemas de IA de alto riesgo pueden acarrear diversos problemas, entre ellos:

• Discriminación algorítmica: Si los datos utilizados para entrenar los sistemas de IA contienen sesgos, estos pueden ser replicados y amplificados por el sistema, lo que puede generar decisiones discriminatorias en áreas como la contratación, especialmente al emplear herramientas de IA para recursos humanos.
• Pérdida de autonomía humana: En ciertos contextos, como en la justicia o la sanidad, la excesiva automatización puede poner en riesgo la autonomía de los profesionales humanos, que podrían depender demasiado de las recomendaciones del sistema.
• Fallas tecnológicas: Los sistemas de IA de alto riesgo pueden fallar por diversas razones, como errores en el software, problemas de integración o mal funcionamiento del hardware, lo que puede causar daños graves, especialmente en sectores críticos.

Ejemplos de sistemas IA de alto riesgo

Vemos algunos ejemplos concretos de sistemas gestionados por IA que pueden suponer un riesgo elevado:

• Sistemas de diagnóstico asistido por IA (por ejemplo, detección de cáncer en imágenes médicas).
• Robots quirúrgicos autónomos que asisten en operaciones complejas.
• IA para la gestión de emergencias en hospitales (por ejemplo, asignación de camas y recursos críticos).
• Sistemas de evaluación de crédito que determinan si una persona puede recibir un préstamo.
• Algoritmos de inversión automatizados que gestionan carteras financieras de clientes.
• IA para la detección de fraudes bancarios, analizando patrones sospechosos en transacciones.
• Vehículos autónomos que operan sin intervención humana (coches, drones de entrega).
• Sistemas de control de tráfico inteligente para prevenir accidentes y mejorar el flujo vehicular.
• IA en la gestión de redes eléctricas para distribuir energía de forma eficiente.
• Sistemas de selección y reclutamiento que filtran candidatos de forma automatizada.
• IA que evalúa el rendimiento laboral y recomienda ascensos o despidos.
• Sistemas de reconocimiento facial usados por fuerzas de seguridad.
• IA para el análisis predictivo del crimen, que evalúa patrones delictivos en ciudades.
• Drones de vigilancia autónomos en aeropuertos o fronteras.
• Sistemas de evaluación automática de exámenes y tareas.
• Plataformas de aprendizaje personalizadas que adaptan los contenidos según el desempeño del estudiante.
• Sistemas de toma de decisiones en la justicia (por ejemplo, evaluación de riesgos de reincidencia en presos).
• IA en la gestión de ayudas sociales, determinando quién califica para recibir beneficios.

Supervisión de los sistemas de IA de alto riesgo

La supervisión es un aspecto clave para garantizar el cumplimiento de la Ley en los sistemas de IA regulados. Las autoridades competentes deben establecer mecanismos de control y sanción para garantizar que las empresas cumplan con la normativa, implementando auditorías regulares y revisando los sistemas de IA utilizados en sectores críticos.

La supervisión en tiempo real de los sistemas de IA de alto riesgo es fundamental para identificar cualquier problema de forma temprana y garantizar que las medidas de seguridad estén siendo aplicadas adecuadamente. Las autoridades deben poder intervenir rápidamente si un sistema no cumple con los requisitos de seguridad o ética establecidos.

En definitiva, los sistemas de IA de alto riesgo son una parte integral del avance tecnológico, pero también presentan riesgos significativos. La Ley de Inteligencia Artificial de la UE establece un marco regulador para garantizar que estos sistemas se utilicen de manera ética, segura y respetuosa con los derechos humanos. Las empresas que implementen IA en sectores de alto riesgo deben cumplir con normativas estrictas, incluyendo la evaluación de riesgos, la supervisión humana y la transparencia. Al garantizar la seguridad y la responsabilidad en el uso de estos sistemas, se puede mitigar el impacto negativo y fomentar una adopción más segura de la IA en nuestra sociedad.