El sesgo algorítmico es uno de los principales problemas de los sistemas de inteligencia artificial (IA); se trata de un fenómeno complejo que puede producirse debido a diferentes factores y que resulta difícil de corregir o eliminar. Entre sus consecuencias más graves está la discriminación. En las siguientes líneas explicamos qué es el sesgo algorítmico en la IA, cómo se produce y qué medidas se pueden tomar para su detección y prevención.
Contenido del artículo
¿Qué es el sesgo algorítmico?
En el machine learning o deep learning, el sesgo algorítmico es la tendencia de un algoritmo a generar resultados que favorecen injustamente a ciertos grupos o desfavorecen a otros. Es un error sistemático y que se repite en un sistema de IA que produce resultados injustos.
El sesgo algorítmico representa uno de los problemas y desventajas de la IA más actuales y preocupantes, puesto que se produce como consecuencia de los propios sesgos presentes en la sociedad y las personas que diseñan y programan los modelos de IA. Es preocupante porque puede manifestarse en sistemas de decisiones automatizadas que tienen impacto sobre la vida y derechos de las personas, como en los procesos de selección o en la concesión de créditos o seguros, por ejemplo.
Es importante entender que los algoritmos, por mucho que nos parezcan «objetivos», reflejan las características y limitaciones de los datos con los que son entrenados. De manera que, si en esos datos de entrenamiento hay falta de diversidad o presentan errores, es fácil que se produzca un sesgo en la inteligencia artificial, que se traduce en decisiones sesgadas, discriminatorias y, en muchas ocasiones, injustas.
El sesgo algorítmico ocurre cuando un algoritmo produce resultados desiguales o injustos debido a la influencia de datos o diseños sesgados.
¿Cómo se produce el sesgo algorítmico en la IA?
El sesgo algorítmico en la IA puede producirse de diferentes formas, muchas de ellas relacionadas con los datos usados para entrenar el modelo y con las decisiones tomadas en la fase de diseño y desarrollo del modelo.
Entre las causas más frecuentes detrás del sesgo en IA tenemos:
- Datos sesgados o incompletos: Los algoritmos se entrenan con datos históricos, si esos datos no son lo suficientemente diversos, están incompletos o presentan patrones discriminatorios, se traducirá en la aparición del sesgo en los resultados. Por ejemplo, si un modelo de IA es entrenado con imágenes de doctores y muy pocas imágenes de doctoras, cuándo se le pida al modelo que genere una imagen de un doctor (en inglés, por ejemplo, que no denota género), producirá la imagen de un médico prácticamente siempre. Los datos sesgados en el entrenamiento provocan que el sistema perpetúe el sesgo.
- Subrepresentación de grupos: Si un grupo demográfico está subrepresentado en los datos, el algoritmo puede no «aprender» adecuadamente cómo procesar casos relacionados con ese grupo, dando como resultado decisiones erróneas o discriminatorias. Por ejemplo, los sistemas de reconocimiento facial entrenados mayoritariamente con personas caucásicas, tienen problemas para reconocer rostros de piel más oscura, de mujeres y personas con gafas.
- Errores en el diseño del algoritmo: Los sesgos pueden introducirse desde el inicio si los desarrolladores no diseñan un algoritmo para ser imparcial o si eligen indicadores que favorecen a ciertos grupos. El problema aquí es que la «imparcialidad» no es igual en todos los contextos y que en ocasiones esos sesgos en el diseño son inconscientes, porque están enraizados en la sociedad y cultura de los diseñadores.
- Feedback y refuerzos negativos: Algunos sistemas de IA aprenden a partir de la retroalimentación de sus propios resultados y decisiones, lo que puede reforzar el sesgo y los comportamientos discriminatorios, si estos no se corrigen.
Ejemplos de sesgo algorítmico
Existen muchos ejemplos de sesgo algorítmico documentados en el mundo real. A continuación, repasamos algunos de esos ejemplos:
- En el reconocimiento facial: Se ha documentado en varios estudios cómo los sistemas de reconocimiento facial producen mayores tasas de error al identificar a personas de raza no caucásica, debido a que los datos de entrenamiento que se usaron en los modelos eran principalmente de personas blancas. Esto ha generado preocupaciones sobre la fiabilidad y la equidad al usar el reconocimiento facial para predecir comportamientos delictivos o peligrosos en espacios públicos.
- En procesos de selección: El caso de Amazon y el algoritmo que usaron durante un tiempo para filtrar candidatos a un puesto técnico, es uno de los más citados respecto a cómo el sesgo algorítmico puede impactar en la vida de las personas y la sociedad. Este sistema automatizado de Amazon fue entrenado con diez años de currículums para ese puesto. El problema es que la mayoría de los candidatos en ese histórico eran hombres, por lo que el sistema puntuaba de forma negativa a las candidatas mujeres, echándolas del proceso. Cuando en Amazon se dieron cuenta del sesgo, trataron de corregirlo, eliminando el factor de género, los CV no incluían si el candidato era hombre o mujer. Sin embargo, no fue suficiente, porque el sistema seguía infiriendo el género en base a otros datos implícitos (tipo de palabras usadas, por ejemplo), lo que seguía perpetuando el problema.
- En la solicitud de créditos y préstamos: También se ha comprobado cómo algunos de los algoritmos usados para evaluar los riesgos crediticios han discriminado a personas de color o de bajos ingresos, perpetuando así desigualdades preexistentes.
¿Cuáles son las consecuencias de los sesgos algorítmicos?
Las consecuencias de los sesgos algorítmicos son varias y muchas veces graves, puesto que tienen un impacto directo sobre los derechos y libertades fundamentales de las personas, pero también en la sociedad en su conjunto, ya que puede erosionar los principios de equidad y justicia.
Algunas de las consecuencias destacadas de los sesgos en la IA son:
- El sesgo algorítmico puede conducir a discriminaciones, perpetuando desigualdades e injusticias sociales e incluso agravándolas.
- Las personas afectadas por el sesgo algorítmico pueden sufrir diferentes tipos de perjuicios sociales y económicos, como la denegación de préstamos, la eliminación de procesos de selección en las primeras etapas, evaluaciones y predicciones erróneas sobre futuros comportamientos.
- Los errores a los que conduce el sesgo algorítmico también pueden llevar a las personas a desconfiar de los sistemas de IA, al entender que no son imparciales y no confiar en aquellas organizaciones que los emplean en la toma de decisiones.
- Los sesgos en la IA también pueden derivar en problemas legales y éticos, especialmente teniendo en cuenta la nueva regulación europea, ya que el Reglamento de IA (RIA) exige la adopción de medidas para mitigar el sesgo en los modelos y sistemas de IA.
¿Se puede detectar el sesgo algorítmico?
Detectar el sesgo algorítmico en los modelos de IA es posible, si bien requiere un enfoque exhaustivo y meticuloso, y teniendo presente que es posible que no se detecte realmente dónde está el sesgo o sesgos (como ocurrió en un principio con el citado ejemplo de Amazon).
En cualquier caso, existen algunas medidas y prácticas que se pueden adoptar para ayudar a identificar el sesgo en los modelos de IA:
- Auditorías de algoritmos: Se deben realizar revisiones regulares del rendimiento de los algoritmos en diferentes grupos demográficos para verificar si las decisiones o conclusiones son equitativas en todos los casos.
- Evaluación de datos de entrenamiento: Es necesario revisar los datos utilizados para entrenar los algoritmos para asegurar que no contienen sesgos inherentes o desequilibrios significativos.
- Pruebas A/B: Se puede evaluar el algoritmo con diferentes conjuntos de datos o parámetros para observar cómo varían los resultados en función de diferentes variables demográficas.
- Herramientas de detección de sesgos: Ya existen herramientas diseñadas específicamente para detectar la presencia de sesgos en los algoritmos de machine learning.
La detección temprana del sesgo permite realizar ajustes antes de que los sistemas entren en funcionamiento, ayudando así a mitigar posibles daños o perjuicios.
¿Cómo evitar el sesgo algorítmico?
Como parte de la ética en la inteligencia artificial, prevenir el sesgo algorítmico debe ser una tarea prioritaria para cualquier organización que desarrolle o utilice modelos de IA.
Es cierto que eliminar por completo el sesgo en la IA es complejo y prácticamente imposible, puesto que los humanos, que somos quienes diseñamos y desarrollamos los sistemas de IA, tenemos sesgos inherentes, muchos de ellos inconscientes. Pero adoptando las siguientes buenas prácticas, se puede mitigar su presencia e impacto:
- Diversificar los datos de entrenamiento. De esta forma se evita que el algoritmo aprenda patrones sesgados, ya que se usan datos representativos de toda la población sobre la que el modelo de IA tendrá efecto.
- Implementar controles y revisiones. Al auditar los modelos de IA de forma periódica, se pueden detectar y corregir posibles sesgos presentes en ellos y hacerlo incluso antes de que sus consecuencias causen perjuicios a las personas. Además, estas evaluaciones regulares permiten mantener la calidad y precisión del modelo.
- Mejorar la explicabilidad. Esto contribuye a aumentar la transparencia de los modelos de IA y puede facilitar la identificación y corrección de los sesgos. Además, la explicabilidad forma parte de los derechos de la inteligencia artificial, especialmente en lo que a decisiones automatizadas se refiere, ya que las personas tienen derecho a saber cómo un sistema ha llegado a una decisión concreta.
- Cumplimiento normativo. Seguir las directrices respecto a los usos permitidos de la IA según el RIA y la privacidad en la inteligencia artificial contribuye a mitigar los sesgos, puesto que el cumplimiento de estas normativas requiere ser proactivos.
- Fomentar la diversidad en los equipos de desarrollo. Contar con un equipo diverso de desarrolladores y revisores puede ayudar a identificar sesgos no intencionados durante la fase de diseño y pruebas, minimizando la aparición de decisiones o predicciones sesgadas.
El sesgo algorítmico es un problema que requiere adoptar medidas proactivas y conscientes para afrontarlo y, si no eliminarlo, sí mitigar su presencia e impacto en los modelos de IA y en sus predicciones.
