Discriminació algorítmica en la selecció de personal: biaixos de gènere en els sistemes automatitzats d’accés a l’ocupació

Discriminació estructural en versió digital: de l’estereotip al codi

Un dels aspectes negatius dels processos de selecció és que històricament aquests s’han vist marcats per criteris subjectius i per l’absència de la perspectiva de gènere. Els procediments s’han legitimat sota discursos d’eficiència o mèrit, sense analitzar les estructures de poder i els estereotips que determinen què es considera un bon perfil.

Amb l’arribada d’eines digitals i sistemes algorísmics, aquests criteris no han desaparegut, sinó que s’han incorporat a l’entorn tecnològic; per això, en lloc de corregir els biaixos, tendeixen a reproduir-los de manera automatitzada. L’anomenada «objectivitat algorítmica», presentada com un avanç, actua en realitat com una pantalla que oculta desigualtats estructurals; així, el que canvia no és la lògica discriminatòria, sinó la seva forma de presentació. Això és el que autors com Mayson (2019) van denominar discriminació algorísmica indirecta. Aquesta no es basa en un tracte desigual intencional, sinó en l’estructura mateixa del sistema i en les seves dades d’entrada. En mostrar-se com a processos automàtics, es perd la capacitat crítica per analitzar-los i es transfereix la responsabilitat a la tecnologia. En paraules de Pérez (2023), «les intel·ligències artificials replicaran i mantindran aquests biaixos de no establir mesures de restricció en l’ús d’intel·ligències artificials i algorismes de selecció retallant l’accés de les dones a la feina del futur» (pàg. 202).

En aquest sentit, les dades que alimenten els algorismes provenen de contextos travessats per desigualtats estructurals; d’aquesta forma, si no s’incorpora una mirada crítica al disseny i a l’avaluació, la IA perpetua models d’exclusió laboral. Com va apuntar Birhane (2021), molts d’aquests sistemes no fallen per errors tècnics, sinó per no tenir en compte les qui han estat històricament excloses. D’acord amb això, la discriminació algorísmica no és una fallada puntual; en canvi, sorgeix d’una combinació de factors: dades esbiaixades, equips poc diversos, opacitat en la presa de decisions, i absència d’auditories o protocols correctius. A més, els criteris que s’integren penalitzen trajectòries no lineals o interrupcions per cures, la qual cosa afecta directament moltes dones. Davant això, Noble (2018) va advertir que aquests sistemes no estan preparats per reconèixer formes de mèrit que s’allunyen del model normatiu masculí.

Per l’anterior, adoptar una perspectiva de gènere no sols implica identificar exclusions, sinó també qüestionar els mateixos fonaments del que s’entén per selecció i mèrit. Quines decisions es consideren objectives? Des de quins models laborals es construeixen? L’enfocament de gènere permet desnaturalitzar la lògica tècnica dominant i evidenciar que no sols es tracta de corregir errors, sinó que també és necessari revisar en profunditat els processos. Com va recordar Álvarez (2020), el seu ús només és transformador si s’acompanya d’una revisió ètica de les relacions laborals.

Ara bé, el dret al treball en igualtat de condicions entre dones i homes està reconegut en múltiples normes, però el marc jurídic actual no està preparat per als reptes de l’automatització. En aquesta mesura, la normativa va per darrere de la tecnologia i les mesures de control existents són febles. Per això és urgent revisar el paper de la IA en la selecció: no n’hi ha prou amb ajustos tècnics; és imprescindible establir un marc ètic i jurídic sòlid que garanteixi el dret al treball en condicions d’igualtat i eviti que aquestes tecnologies continuïn aprofundint les desigualtats que sofreixen les dones en el món laboral. En suma, lluitar contra la discriminació sistèmica que pateixen les dones en el món laboral requereix un conjunt d’actors i fonts que actuïn de manera coordinada (López, 2019).

Eines metodològiques per mitigar la discriminació algorísmica

Cal una reflexió profunda per plantejar quines eines i estratègies concretes poden ajudar a detectar, prevenir i corregir aquestes formes de discriminació. No n’hi ha prou amb identificar el problema: cal intervenir des del diagnòstic, des de la norma, des de la pràctica i des del disseny dels processos selectius. A continuació, s’exposen algunes propostes metodològiques eficaces i eficients per evitar la discriminació que pateixen les dones en l’accés a l’ocupació mitjançant eines d’IA.

L’auditoria algorísmica es presenta com un mecanisme essencial per assegurar la transparència, l’equitat i el compliment de principis ètics i normatius en l’ús d’algorismes. Perquè les auditories resultin efectives, cal que estiguin subjectes a una regulació rigorosa i que siguin de caràcter obligatori. Aquest tipus d’auditories comparteix el seu enfocament amb les sociolaborals clàssiques, les quals es basen en metodologies per avaluar objectivament els processos, identificar biaixos i vulnerabilitats, i proposar millores contínues que assegurin l’equitat i l’eficàcia en la seva aplicació (Baleriola, 2024). D’aquesta manera, l’auditoria algorísmica no sols hauria d’examinar els resultats dels sistemes automatitzats, sinó també les dades utilitzades en el seu entrenament i disseny, i els paràmetres de decisió que es posen en pràctica.

En aquest ordre d’idees, resulta imprescindible garantir la no discriminació en els procediments de selecció de personal. Per tant, l’auditoria algorísmica podria ajudar a detectar patrons discriminatoris que han passat desapercebuts a causa de l’opacitat de les eines d’IA. A més, com ja s’ha vist en la present recerca, cal parar especial esment a la qualitat de les dades amb les quals s’alimenta i s’entrena l’algorisme. Si les dades estan esbiaixades, el sistema reproduirà i amplificarà la desigualtat (Barocas, Hardt i Narayanan, 2023).

Apostar fermament per la transparència i el dret a la informació és el que subjau en la reforma a l’article 64.4 de l’Estatut dels Treballadors. Mitjançant el Reial decret llei 9/2021, s’estableix que les empreses han d’informar els comitès sobre els algorismes o sistemes d’IA que incideixin en l’accés o manteniment de l’ocupació. Així les coses, la norma dona el poder de la informació algorísmica a la negociació col·lectiva, i aquesta ha de ser capaç d’entendre, analitzar i assenyalar les possibles discriminacions existents en l’eina. Aquesta novetat normativa és rellevant, però sens dubte insuficient per abordar els riscos específics que planteja l’automatització dels processos de selecció.

Per tot això, es pot sostenir que el dret ha quedat desfasat respecte al ritme de la tecnologia. És per això que el nou Reglament (UE) 2024/1689 contempla que els sistemes d’IA destinats a prendre decisions sobre contractació laboral es classifiquin com d’alt risc. Això implica obligacions per a les empreses, com per exemple fer avaluacions d’impacte, assegurar traçabilitat de les dades, i establir supervisió humana i mecanismes de control i transparència. No obstant això, aquest reglament encara no té un efecte real en els processos de selecció de les empreses. Per això és necessari que la mateixa normativa laboral tracti de manera directa la discriminació algorítmica.

En aquest context en el qual la tecnologia està integrada en els processos selectius i la gestió dels recursos humans, la formació en llenguatge tecnològic, IA i discriminacions algorísmiques amb perspectiva de gènere és clau per exercir una governança algorítmica ètica. No es tracta només de capacitar a equips tècnics, sinó també a comissions negociadores, departaments de recursos humans, i els qui estan implicats en els processos de disseny, avaluació o validació d’aquestes eines. La formació ha d’incloure la perspectiva de gènere com a eix central; sense ella, es corre el risc d’abordar la IA com un tema purament tècnic, quan en realitat el que està en joc són els drets fonamentals. En suma, és necessari qüestionar des d’on es dissenyen aquestes eines i per a què s’usen, a fi de saber si s’està fent de manera ètica.

En contraposició a un ús incontrolat i discriminatori de les eines d’IA, es troben una conceptualització i una formulació d’aquestes eines al servei de la igualtat de gènere. Si es compta amb un disseny algorísmic que assenyali les discriminacions que pateixen les dones en el món empresarial i es dota a les empreses de les eines metodològiques esmentades, es tindria una oportunitat. En aquesta mesura, les eines algorísmiques poden usar-se com a suport en els diagnòstics dels plans d’igualtat i en processos d’avaluació o selecció de personal. Això exigeix un canvi d’enfocament: deixar de veure la tecnologia com una amenaça i pensar en com aquesta pot posar-se al servei de la igualtat i la justícia social.

La incorporació d’eines d’IA a la selecció de personal no ha estat, com a vegades es presenta, una solució neutral o tècnica per a un problema estructural; més aviat, ha funcionat com una nova manera de discriminar a les dones en l’accés a l’ocupació. Es tracta d’una via més opaca i difícil de qüestionar, que aconsegueix perpetuar les desigualtats històriques en l’accés a l’ocupació. Així, el que es prometia com un avenç quant a la neutralitat ha derivat, en molts casos, en una sofisticació dels mateixos biaixos de sempre.

Com han demostrat autores com Raji i Buolamwini (2019), la supervisió externa i independent d’aquestes eines és clau per identificar biaixos i forçar canvis en els sistemes automatitzats que impacten directament en la vida laboral de les dones. De la mateixa manera, Birhane (2021) ha advertit que molts d’aquests sistemes no fallen per accident, sinó perquè no s’han dissenyat pensant en les qui històricament han estat excloses.

Davant això, és urgent establir mecanismes de governança algorísmica, implementar auditories amb perspectiva de gènere, formar als equips responsables de la selecció, i garantir el dret a la transparència en totes les fases del procés. Així mateix, les empreses, els desenvolupadors d’IA, els departaments de recursos humans i les institucions públiques han de treballar per garantir que les eines que s’utilitzin no perpetuïn les desigualtats; es tracta de prendre la decisió sobre l’ús que s’ha de donar a les noves eines per gestionar el capital humà de les empreses. En síntesi, es busca exercir la governança ètica per evitar que es perpetuïn els biaixos de gènere en l’accés a l’ocupació.

Referències

ÁLVAREZ, Henar (2020). El impacto de la inteligencia artificial en el trabajo: desafíos y propuestas. Cizur Menor: Aranzadi.

BALERIOLA, Enrique (2024). Técnicas cuantitativas en auditoría sociolaboral. Barcelona: Fundació Universitat Oberta de Catalunya.

BAROCAS, Solon; HARDT, Moritz; NARAYANAN, Arvind (2023). Fairness and machine learning: limitations and opportunities. Massachusetts: The MIT Press.

BIRHANE, Abeba (2021). «Algorithmic injustice: a relational ethics approach». Patterns, vol. 2, núm. 2, pàg. 1-2. DOI: https://doi.org/10.1016/j.patter.2021.100205

BOE (2021). Real Decreto-ley 9/2021, de 11 de mayo, por el que se modifica el texto refundido de la Ley del Estatuto de los Trabajadores, aprobado por el Real Decreto Legislativo 2/2015, de 23 de octubre, para garantizar los derechos laborales de las personas dedicadas al reparto en el ámbito de plataformas digitales. Boletín Oficial del Estado, 12 de maig de 2021, núm. 113, p. 56733-56738.

BUOLAMWINI, Joy; RAJI, Inioluwa (2019). «Actionable auditing: investigating the impact of publicly naming biased performance results of commercial AI products». MIT media lab [en línia]. Disponible a: https://www.media.mit.edu/publications/actionable-auditing-investigating-the-impact-of-publicly-naming-biased-performance-results-of-commercial-ai-products

DIARIO OFICIAL DE LA UNIÓN EUROPEA (2024). Reglamento (UE) 2024/1689 del Parlamento Europeo y del Consejo, de 13 de junio de 2024, por el que se establecen normas armonizadas en materia de inteligencia artificial y por el que se modifican los reglamentos (CE) 300/2008, (UE) 167/2013, (UE) 168/2013, (UE) 2018/858, (UE) 2018/1139 y (UE) 2019/2144 y las directivas 2014/90/UE, (UE) 2016/797 y (UE) 2020/1828 (Reglamento de Inteligencia Artificial). Diario Oficial de la Unión Europea, 12 de juliol de 2024, núm. 1689, p. 1-144.

LÓPEZ, Julia (2019). «Systemic discrimination y políticas de igualdad efectiva de género». Revista del Ministerio de Empleo y Seguridad Social, vol. 1, núm. 1, pàg. 35-50 [en línia]. Disponible a: https://dialnet.unirioja.es/servlet/articulo?codigo=7249090

MAYSON, Sandra (2019). «Bias in, bias out». Yale Law Journal, vol. 128, núm. 1, pàg. 2218-2300 [en línia]. Disponible a: https://yalelawjournal.org/pdf/Mayson_p5g2tz2m.pdf

NOBLE, Safiya (2018). Algorithms of oppression: how search engines reinforce racism. Nova York: NYU Press. DOI: https://doi.org/10.18574/nyu/9781479833641.001.0001

PÉREZ, José (2023). «Inteligencia artificial y contratación laboral». Revista de Estudios Jurídico-Laborales y de Seguridad Social, vol. 1, núm. 7, pàg. 186-205. DOI: https://doi.org/10.24310/rejlss7202317557

Cita recomanada: BELTRÁN VALLÉS, Meritxell. Ressons de l’Ars Electronica 2025. Mosaic [en línia], desembre 2025, no. 206. ISSN: 1696-3https://doi.org/10.7238/m.n206.2515″ title=”Discriminació algorítmica en la selecció de personal: biaixos de gènere en els sistemes automatitzats d’accés a l’ocupació”>https://doi.org/10.7238/m.n206.2515