El social scoring, o puntuación social, es una práctica que ha generado intensos debates éticos y sociales en los últimos años. Utilizado para evaluar y clasificar a las personas en función de su comportamiento, actividades y datos personales, el uso de este sistema por parte de empresas privadas o gobiernos tiene consecuencias controvertidas. En respuesta, la UE ha decidido adoptar medidas para prohibir su uso dentro de su territorio.
En las siguientes líneas explicamos qué es el social scoring, los riesgos que implica y por qué la UE prohíbe su uso.
Contenido del artículo
- ¿Qué es el social scoring?
- Ejemplos de social scoring
- Casos destacados de social scoring
- Riesgos éticos y sociales del social scoring
- Prohibición del social scoring en la UE
- ¿Cómo afecta la prohibición del social scoring a empresas y ciudadanos europeos?
- Te ayudamos a cumplir la Ley de Protección de Datos
El social scoring es un sistema de evaluación que utiliza datos personales y comportamentales para asignar una puntuación a los individuos, con el fin de valorar su confiabilidad o «moralidad» en diversas áreas, como el crédito, el comportamiento social o incluso la política. Esta práctica, empleada por empresas o gobiernos, puede influir en decisiones importantes sobre la vida de las personas, como el acceso a servicios, empleos o beneficios, basándose en su historial de comportamiento y características personales.
Dependiendo de quién lo use y con qué finalidad, entre los datos que usa el social scoring se incluyen actividades en línea, transacciones financieras, historial de pagos, compras online, interacciones sociales e incluso actividades políticas. En muchas ocasiones, se trata de información confidencial que los usuarios ni siquiera son plenamente conscientes de estar compartiendo con terceros (¿lees la política de privacidad y la política de cookies?, el social scoring funciona, en gran medida, gracias a las cookies y la recogida de datos personales de todo tipo).
El social scoring puede tener dos aplicaciones principales:
- Gubernamental: Los gobiernos pueden usar la puntuación social para supervisar y controlar el comportamiento de los ciudadanos. En el mejor de los casos, para fomentar comportamientos responsables y cívicos (reciclar, usar el transporte público). En el peor escenario, se puede usar para controlar a la población y autolimitar sus libertades.
- Comercial: Las empresas lo usan como parte de su estrategia para personalizar servicios, evaluar riesgos o segmentar usuarios en función de su comportamiento. Normalmente, lo denominan business intelligence o customer journey.
Con el desarrollo y evolución de la inteligencia artificial (IA) y su capacidad para analizar el big data y hacer predicciones, el alcance del social scoring es mucho mayor.
Aunque pueda parecer inofensivo en ciertas aplicaciones, como la segmentación para la personalización de un servicio, lo cierto es que el social scoring plantea serias preocupaciones cuando su alcance se extiende al monitoreo y control de las acciones cotidianas de las personas.
Los defensores de esta práctica argumentan que puede fomentar comportamientos responsables, pero sus críticos avisan que pone en riesgo derechos fundamentales como la privacidad, la igualdad y la libertad personal.
Aunque es ahora cuando más empezamos a oír hablar del social scoring, es una práctica que lleva empleándose un tiempo; algunos ejemplos serían:
- Sistemas de puntuación crediticia: Bancos y empresas financieras utilizan algoritmos para evaluar la solvencia de los clientes, basándose en su historial de pagos, ingresos y deudas.
- Plataformas digitales: Aplicaciones de transporte como Uber permiten a conductores y pasajeros calificarse mutuamente. Si bien estas calificaciones pueden mejorar la experiencia del usuario, también pueden excluir a personas basándose en percepciones subjetivas.
- Programas de fidelización: Algunas empresas otorgan beneficios adicionales a clientes con altas puntuaciones de interacción o consumo, discriminando a aquellos con menor actividad o puntuaciones más bajas.
Si quieres ver un ejemplo de cómo podría funcionar el social scoring en un futuro no muy lejano, puedes ver el primer capítulo de la tercera temporada de la serie Black Mirror, «Caída en picado», donde las acciones y hábitos de la protagonista son puntuados en las redes sociales, lo que determina su estatus social.
Cómo decimos, ya existen casos de uso del social scoring, tanto por parte de empresas como por parte de gobiernos. Veamos algunos:
- Sistema de crédito social en China: El caso más conocido de social scoring es el sistema de crédito social de China, implementado por el gobierno. Este sistema evalúa la confiabilidad de los ciudadanos y las empresas basándose en su comportamiento financiero, social y político. Quienes obtienen puntuaciones altas reciben privilegios como mejores tasas de interés o acceso preferencial a servicios públicos, mientras que las puntuaciones bajas pueden resultar en restricciones de viaje, acceso limitado a empleo o sanciones sociales.
- Aplicaciones comerciales: Empresas como Facebook o Amazon recopilan y analizan grandes cantidades de datos de los usuarios para personalizar servicios o segmentar audiencias. Si bien estas prácticas tienen un enfoque comercial, pueden generar dinámicas de exclusión similares a las del social scoring gubernamental.
- Pruebas de social scoring fallidas: En algunas ciudades de Estados Unidos, como Portland, se han probado sistemas de puntuación basados en el comportamiento de los ciudadanos para mejorar la seguridad o asignar servicios públicos. Sin embargo, estas iniciativas enfrentaron críticas por discriminación y falta de transparencia, lo que llevó a su abandono.
Estos casos reflejan tanto el potencial como los riesgos del social scoring, que han alimentado el debate ético mundial sobre su legitimidad.
El social scoring plantea varios riesgos sobre los que ya se ha empezado a alertar por parte de los defensores de los derechos humanos y la privacidad:
- Violación de la privacidad: Requiere recopilar y analizar datos personales de forma masiva, lo que podría violar leyes de protección de datos como el RGPD. Y las personas podrían perder, todavía más, el control sobre cómo y para qué se utilizan sus datos.
- Discriminación y sesgos: Los sistemas de puntuación social pueden perpetuar sesgos implícitos en los datos utilizados para entrenar los modelos de IA. Esto podría tener como consecuencia que grupos vulnerables, como minorías étnicas o personas con menos recursos, puedan ser injustamente penalizados por el sistema.
- Impacto en la autonomía personal: Las personas podrían modificar su comportamiento para evitar sanciones, viendo afectada su libertad personal. La vigilancia constante conduce a una sociedad autocensurada.
- Concentración de poder: Los gobiernos o empresas que controlan los sistemas de social scoring podrían abusar de ellos para manipular o reprimir a los ciudadanos.
- Riesgo de exclusión social: Las personas con puntuaciones bajas podrían ser marginadas en áreas como el empleo, la educación o el acceso a servicios públicos. Esta exclusión social reforzará todavía más las desigualdades preexistentes.
- Falta de transparencia en los algoritmos: Los sistemas de social scoring suelen operar como «cajas negras», lo que significa que las personas tienen difícil entender cómo se toman las decisiones o se llega a determinadas conclusiones. Esta opacidad dificulta impugnar decisiones erróneas o injustas.
- Normalización de la vigilancia masiva: La aceptación social del social scoring podría fomentar una cultura de vigilancia constante, lo que socavaría la privacidad como un derecho fundamental. Incluso fuera de su aplicación directa, el social scoring podría incentivar políticas que promuevan un mayor control social.
- Efectos psicológicos negativos: La presión para mantener una puntuación alta, puede generar ansiedad, estrés o depresión en las personas. Además, las relaciones sociales y laborales podrían estar marcadas por un cálculo constante sobre cómo las acciones afectan a la puntuación.
Estos riesgos subrayan la necesidad de regulaciones estrictas para evitar que el social scoring dañe los derechos individuales y colectivos en cualquier sociedad, lo que nos lleva al siguiente punto y la prohibición de su uso en la UE.
La Unión Europea ha adoptado una postura clara contra el social scoring y lo considera incompatible con los valores fundamentales de democracia, igualdad y respeto a los derechos humanos. A través del Reglamento de Inteligencia Artificial (AI Act), la UE busca prohibir expresamente su uso en contextos gubernamentales y limitar su aplicación en el sector privado.
Los sistemas de puntuación social se consideran una práctica de riesgo inaceptable y su prohibición está recogida en el artículo 5.c del AI Act:
«La introducción en el mercado, la puesta en servicio o la utilización de sistemas de IA para evaluar o clasificar a personas físicas o a colectivos de personas durante un período determinado de tiempo atendiendo a su comportamiento social o a características personales o de su personalidad conocidas, inferidas o predichas, de forma que la puntuación ciudadana resultante provoque una o varias de las situaciones siguientes:
- Un trato perjudicial o desfavorable hacia determinadas personas físicas o colectivos de personas en contextos sociales que no guarden relación con los contextos donde se generaron o recabaron los datos originalmente.
- Un trato perjudicial o desfavorable hacia determinadas personas físicas o colectivos de personas que sea injustificado o desproporcionado con respecto a su comportamiento social o la gravedad de este».
La redacción de este artículo deja la puerta abierta a que cuando no se produzcan esos efectos negativos, el social scoring pueda usarse en algunos sistemas de IA de alto riesgo o de riesgo limitado, pero sus responsables deberán demostrar claramente esa falta de impacto negativo (por ejemplo, a través de una evaluación de impacto sobre derechos fundamentales).
En cualquier caso, entre las razones de la UE para prohibir el uso del social scoring destacamos las siguientes:
- Protección de derechos fundamentales: El social scoring va en contra de derechos fundamentales como la privacidad y la no discriminación.
- Falta de transparencia: La dificultad para entender el funcionamiento de los sistemas de IA que emplea el social scoring, hace difícil que las personas puedan saber cómo se toman las decisiones que les afectan.
- Evitar la vigilancia masiva: Junto a las cámaras biométricas, el social scoring puede utilizarse para monitorear a los ciudadanos de manera generalizada y continua. La UE entiende esto como una vulneración de la privacidad y un riesgo de control constante.
Con esta prohibición, la UE quiere liderar un enfoque ético en el uso de las tecnologías de IA, estableciendo un estándar para la protección de los derechos humanos en la era digital.
La prohibición del social scoring tendrá impacto en las empresas y ciudadanos europeos.
Para las empresas, esta prohibición significa que:
- Tendrán que ser más transparentes: Las organizaciones deberán explicar claramente cómo recopilan y utilizan los datos de los usuarios.
- Se limitará la personalización invasiva: No podrán utilizar sistemas de puntuación social para segmentar o discriminar a los clientes.
- Fomentará la innovación ética: Las empresas tecnológicas deberán desarrollar sistemas más inclusivos y centrados en el usuario.
Mientras que para los ciudadanos, la prohibición del social scoring supondrá los siguientes beneficios:
- Mayor protección de la privacidad: Sus datos no podrán ser utilizados para crear perfiles de comportamiento sin su consentimiento.
- Reducción de la discriminación: Los sistemas de IA serán diseñados para minimizar sesgos y promover la equidad.
- Fomento de la confianza: Saber que existen regulaciones que priorizan sus derechos aumentará la confianza de las personas en las tecnologías digitales.
El social scoring representa una encrucijada entre la innovación tecnológica y los derechos humanos. Si bien ofrece beneficios potenciales, como la mejora en la prestación de servicios, sus riesgos éticos y sociales son demasiado altos. La prohibición de esta práctica por parte de la UE refuerza su compromiso con una tecnología responsable y centrada en las personas.
