Cuestión 1. Clasificación de riesgo según el AI Act

Marco normativo. El Reglamento (UE) 2024/1689 del Parlamento Europeo y del Consejo, de 13 de junio de 2024 (AI Act), en vigor desde el 1 de agosto de 2024 y de aplicación escalonada (las obligaciones de los sistemas de alto riesgo del Anexo III se aplican plenamente desde el 2 de agosto de 2026), clasifica los sistemas de IA por una pirámide de riesgo de cuatro niveles:

Encaje del sistema de TalentVall. El Anexo III, punto 4.a) del AI Act enumera expresamente como sistemas de alto riesgo los destinados a «la contratación o selección de personas físicas, en particular para publicar anuncios de empleo dirigidos, analizar y filtrar las solicitudes de empleo y evaluar a los candidatos». El sistema de cribado automático de candidaturas es, por tanto, un sistema de IA de ALTO RIESGO. Refuerza esta clasificación que: (i) decide el acceso al empleo, derecho fundamental; (ii) opera sin intervención humana; (iii) puede generar discriminación. No es un riesgo «inaceptable» (no es de los prohibidos del art. 5) ni «limitado».

Obligaciones derivadas (Cap. III, Secciones 2 y 3, arts. 8-17). TalentVall, como proveedor que desarrolla el sistema internamente, y además como responsable del despliegue (deployer) al usarlo, debe cumplir:

1. Sistema de gestión de riesgos (art. 9): proceso continuo e iterativo durante todo el ciclo de vida para identificar y mitigar riesgos a la salud, seguridad y derechos fundamentales (incluida la discriminación de género detectada).
2. Gobernanza y calidad de los datos (art. 10): los conjuntos de entrenamiento, validación y prueba deben ser pertinentes, representativos, libres de errores y completos; obliga a examinar posibles sesgos y a corregirlos. El histórico desbalanceado por género incumple directamente este artículo.
3. Documentación técnica (art. 11 y Anexo IV): descripción detallada del sistema, arquitectura, datos, métricas y limitaciones, antes de su puesta en servicio.
4. Registro de eventos / trazabilidad (art. 12): logging automático para garantizar la trazabilidad del funcionamiento.
5. Transparencia e información al usuario (art. 13): instrucciones de uso claras que permitan al deployer interpretar la salida del sistema.
6. Supervisión humana (art. 14): diseñado para permitir vigilancia humana efectiva; posibilidad de no usar la salida, de revertirla y de detener el sistema. El filtrado totalmente automático incumple este requisito.
7. Exactitud, robustez y ciberseguridad (art. 15): niveles adecuados y consistentes; resistencia a errores y a manipulaciones.
8. Obligaciones adicionales: sistema de gestión de la calidad (art. 17), evaluación de la conformidad y marcado CE, registro en la base de datos de la UE (art. 71) y, como deployer, la evaluación de impacto sobre los derechos fundamentales (FRIA, art. 27).

Cuestión 2. Cumplimiento del RGPD

El tratamiento se rige por el Reglamento (UE) 2016/679 (RGPD) y la LOPDGDD 3/2018, siendo TalentVall el responsable del tratamiento.

Base jurídica (art. 6). En el contexto laboral las bases idóneas son:

• Art. 6.1.b) — medidas precontractuales a petición del interesado (la persona se postula): cubre el tratamiento necesario para gestionar su candidatura.
• El consentimiento (art. 6.1.a) no es una base sólida en el contexto laboral por el desequilibrio de poder, salvo para tratamientos accesorios. Si se tratan categorías especiales (salud, origen, etc.) habría que acudir al art. 9 (excepción aplicable y, en su caso, prohibición de inferirlas).

Principios (art. 5).

• Minimización de datos (art. 5.1.c): solo deben tratarse los datos adecuados, pertinentes y limitados a lo necesario. El modelo no debe usar variables irrelevantes ni proxies de características protegidas (código postal, nombre, foto, fecha de nacimiento, género), que además alimentan el sesgo. Recomendación: anonimizar/eliminar campos sensibles del pipeline.
• Licitud, lealtad y transparencia, limitación de la finalidad, exactitud, limitación del plazo de conservación (plazos de conservación de CV razonables, normalmente 1-2 años) e integridad y confidencialidad.
• Responsabilidad proactiva (art. 5.2): accountability documentada.

Información a las personas candidatas (arts. 13-14). Debe informarse, en el momento de la recogida, de: identidad del responsable, finalidades y base jurídica, existencia de decisiones automatizadas (incl. perfilado), la lógica aplicada y las consecuencias previstas, plazos de conservación y derechos (acceso, rectificación, supresión, oposición, etc.).

Decisiones individuales automatizadas (art. 22). El sistema descarta automáticamente candidaturas: es exactamente una decisión basada únicamente en el tratamiento automatizado que produce efectos jurídicos o significativos (perder el acceso a un empleo). Por defecto está prohibida salvo que: (a) sea necesaria para un contrato, (b) lo autorice el Derecho de la UE/Estado, o (c) medie consentimiento explícito. En todo caso deben aplicarse salvaguardas (art. 22.3): derecho a intervención humana, a expresar su punto de vista y a impugnar la decisión. El diseño actual (sin humano) es ilícito tal cual.

¿Es necesaria una EIPD/DPIA? Sí, obligatoria. El art. 35.3.a) RGPD la exige para la evaluación sistemática y exhaustiva de aspectos personales basada en tratamiento automatizado (perfilado) con efectos jurídicos significativos; además la lista de la AEPD incluye los tratamientos con IA y scoring a gran escala. La DPIA debe describir el tratamiento, evaluar necesidad/proporcionalidad, valorar los riesgos para los derechos (discriminación) y las medidas de mitigación; si el riesgo residual es alto, consulta previa a la AEPD (art. 36).

Cuestión 3. Detección y mitigación de sesgos

Propagación del sesgo (data → modelo). El modelo aprende a maximizar la coincidencia con el patrón histórico de contrataciones. Si en diez años se contrató mayoritariamente a hombres en perfiles técnicos, el objetivo aprendido es «candidaturas parecidas a las contratadas», replicando la correlación género↔contratación. Aunque se elimine la variable «género», el modelo la reconstruye mediante proxies (aficiones, redacción, asociaciones, centro de estudios), produciendo discriminación indirecta. Es el efecto «garbage in, garbage out»/bias in, bias out.

Medición de equidad. Definiendo grupo protegido (mujer) y no protegido (hombre), se calculan métricas de fairness:

• Paridad demográfica / impacto desproporcionado: comparar la tasa de selección P(seleccionado | grupo). La regla del 4/5 (80%) de la jurisprudencia EEOC: si la tasa del grupo desfavorecido es < 80% de la del favorecido, hay adverse impact.

Disparate Impact (DI) = P(Ŷ=1 | A=mujer) / P(Ŷ=1 | A=hombre)
  DI < 0.8  →  evidencia de sesgo desfavorable hacia las mujeres

• Igualdad de oportunidades (equal opportunity): igualar la tasa de verdaderos positivos (TPR) entre grupos: TPR_mujer ≈ TPR_hombre.
• Igualdad de probabilidades (equalized odds): igualar TPR y FPR.
• Paridad predictiva: igualar el VPP entre grupos.

Conviene auditar también la matriz de confusión por grupo y curvas ROC segmentadas.

Medidas de mitigación a lo largo del ciclo de vida.

1. Fase de datos (pre-processing): re-weighting/re-sampling para equilibrar la representación de mujeres en perfiles técnicos; eliminación de variables sensibles y de proxies; aumento del conjunto con datos representativos; auditoría documentada de la calidad de datos (art. 10 AI Act).
2. Fase de entrenamiento (in-processing): algoritmos con restricciones de equidad (fairness constraints), adversarial debiasing (una red adversaria penaliza que se pueda predecir el atributo protegido), regularización por equidad. Herramientas: AI Fairness 360 (IBM), Fairlearn (Microsoft).
3. Fase de resultados (post-processing): calibración de umbrales por grupo para igualar TPR/tasas de selección; reject option classification.

Medidas organizativas: equipo de auditoría multidisciplinar y diverso; humano en el bucle que revise descartes; documentación y monitorización continua (model drift) tras el despliegue; pruebas A/B de equidad y reentrenamiento periódico.

Cuestión 4. Transparencia, explicabilidad y rendición de cuentas

Por qué es exigible (ético y legal).

• Legal: el art. 13 del RGPD obliga a informar de «la lógica aplicada»; el art. 22 exige poder impugnar la decisión, lo que es imposible si nadie sabe por qué se descartó a alguien; el AI Act (arts. 13-14) impone transparencia e interpretabilidad para sistemas de alto riesgo. La accountability del art. 5.2 RGPD obliga a poder demostrar el cumplimiento.
• Ético: dignidad, no discriminación y derecho a una explicación; sin explicabilidad no hay confianza ni posibilidad de detectar el sesgo.

Técnicas de explicabilidad (XAI).

• Interpretabilidad intrínseca: sustituir o complementar la caja negra con modelos transparentes (regresión logística, árboles, GAM) como referencia auditable.
• Explicaciones globales (post-hoc): importancia de variables (feature importance, permutation importance), Partial Dependence Plots, SHAP global para ver qué variables pesan en el conjunto.
• Explicaciones locales: LIME y SHAP local para justificar una decisión individual («se descartó por X, Y»); contrafactuales («se habría seleccionado si…»), muy útiles para la persona afectada.

Rendición de cuentas (accountability). Trazabilidad y logging (art. 12 AI Act), versionado de modelos y datos, model cards y datasheets for datasets, registro de decisiones, designación de responsables, auditorías independientes periódicas y la DPIA/FRIA documentadas.

Supervisión humana significativa (art. 14 AI Act). No basta un humano que apruebe en bloque (rubber-stamping); debe ser un revisor competente que: comprenda las capacidades y límites del sistema, sea consciente del sesgo de automatización, pueda interpretar la salida con las explicaciones XAI, decidir no usarla, revertirla o anularla, y detener el sistema. En cribado, lo correcto es que la IA ordene/priorice (apoyo a la decisión) pero la decisión de descarte la tome una persona.

Cuestión 5. Informe de impacto y recomendaciones

Esquema del Informe de Impacto Ético-Legal — TalentVall Selección

1. Resumen ejecutivo: finalidad del sistema, clasificación (alto riesgo, Anexo III) y conclusión.
2. Descripción del sistema: arquitectura (redes neuronales), datos de entrenamiento (histórico 10 años), funcionamiento del cribado.
3. Marco normativo aplicable: AI Act (alto riesgo, arts. 9-15, 27), RGPD (arts. 5, 6, 13-14, 22, 35) y LOPDGDD; Directiva de igualdad de trato en el empleo (2000/78/CE) y normativa española de igualdad (LO 3/2007).
4. Análisis de riesgos por principio de IA confiable (Directrices del Grupo de Expertos de la UE):
   • Transparencia: caja negra → riesgo alto (incumple arts. 13 RGPD / 13 AI Act).
   • Equidad / no discriminación: sesgo de género → riesgo crítico (discriminación indirecta, DI<0,8).
   • Supervisión humana: ausente → incumple art. 22 RGPD y art. 14 AI Act.
   • Robustez y seguridad técnica: sin métricas de exactitud por grupo.
   • Privacidad y gobernanza de datos: falta minimización y DPIA.
   • Rendición de cuentas: sin trazabilidad documentada.
5. Evaluación de impacto: DPIA (art. 35) + FRIA (art. 27 AI Act).
6. Medidas correctoras: depuración de datos y debiasing; XAI (SHAP/LIME); humano en el bucle; información a candidaturas; trazabilidad; monitorización continua.
7. Conclusión y recomendación.

Recomendación razonada. El sistema NO puede desplegarse tal cual: incurriría en infracción del art. 22 RGPD (decisión automatizada sin salvaguardas), del art. 10 del AI Act (datos sesgados) y en discriminación indirecta por razón de sexo, con riesgo de sanción (hasta 35 M€ o 7% del volumen de negocio en el AI Act; hasta 20 M€ o 4% en el RGPD) y daño reputacional. Debe REDISEÑARSE antes de cualquier producción: (i) re-equilibrar y depurar los datos eliminando proxies; (ii) reentrenar con restricciones de equidad y validar con métricas por grupo; (iii) implantar explicabilidad (XAI); (iv) convertir el sistema en apoyo a la decisión, con un seleccionador humano que decida los descartes y permita impugnación; (v) completar DPIA y FRIA. Solo si tras el rediseño persistiera el sesgo de forma no mitigable, procedería descartarlo.

Eficiencia vs. riesgos. La ganancia de eficiencia operativa (procesar miles de CV en minutos) es real pero no compensa los riesgos legales, reputacionales y de discriminación de un sistema opaco y sesgado: la eficiencia debe subordinarse a la legalidad y a los derechos fundamentales. El modelo rediseñado conserva gran parte del ahorro (preclasificación) eliminando lo prohibido.

Impacto social, laboral y de sostenibilidad. Social/laboral: riesgo de perpetuar la brecha de género en perfiles técnicos y de exclusión sistemática; un rediseño justo puede, al contrario, reducir sesgos humanos si se audita. Sostenibilidad del cómputo: el entrenamiento y reentrenamiento de redes neuronales tiene huella energética y de carbono; conviene medirla, optimizar (modelos eficientes, transfer learning, reentrenamiento solo cuando sea necesario) y reportarla como parte de la IA confiable y responsable.