Coreografía: selección sin sesgo
La coreografía que evita que la IA reproduzca el sesgo histórico de la empresa en la selección de currículums: criterios explícitos escritos antes de correr la IA, nunca después, y una auditoría de calibración en el resultado antes de que cualquier candidato avance de fase.
Le pides a la IA "elige los tres mejores proveedores de esta lista, como siempre elegimos aquí", sin listar qué cuenta como mejor. Ella aprende con el patrón histórico de compra y repite la misma preferencia de siempre, incluidas las manías que nadie había notado, como siempre postergar al proveedor pequeño por parecer "menos confiable". El criterio nunca se escribió, solo se heredó, y ahora está automatizado.
Le pides a la IA "señala los clientes con mejor perfil de crédito para liberar un límite mayor", sin definir la regla. Ella aprende con quién recibió límite alto en el pasado y repite el patrón: barrio, tipo de empleo, rango etario específico pesan más de lo que deberían. El criterio de crédito nunca se escribió por extenso, solo se heredó de la cartera antigua, que ya tenía sesgo incorporado.
Le pides a la IA "prioriza los casos que merecen acuerdo en vez de ir a juicio", sin listar qué vuelve prioritario a un caso. Ella aprende con los acuerdos cerrados antes y reproduce la misma tendencia: casos de clientes grandes siempre subían en la fila, casos de persona física quedaban atrás. El criterio de priorización nunca se escribió, solo se copió del hábito del estudio.
Le pides a la IA "selecciona a los creadores correctos para esta campaña, con base en lo que funcionó antes", sin decir qué cuenta como correcto. Ella aprende con las campañas pasadas y repite el patrón: un perfil de creador específico siempre aparecía en el tope, mientras creadores de nicho regional nunca eran considerados, aunque tuvieran mejor engagement. El criterio de selección nunca se volvió lista, solo quedó en el gusto de quien aprobaba antes.
Abres la IA y le pides algo simple: "rankea estos 300 currículums de la vacante de desarrolladora senior, del mejor al peor fit". No diste ningún criterio, pensaste que era obvio. La IA entrega un ranking limpio, con nota y justificación para cada nombre. Parece profesional, parece objetivo. Solo que no inventó el criterio de la nada: aprendió con el patrón de lo que "funcionó" en las últimas contrataciones de la empresa, y esas contrataciones ya venían sesgadas hace años. El ranking favorece universidad tradicional, paso por tres empresas grandes de nombre conocido, un tipo específico de nombre en el tope de la lista. Nadie escribió esa regla en ningún lado, está escondida detrás de una nota de 0 a 10 que parece matemática pura. Dos semanas después, alguien del equipo de diversidad se da cuenta: cero currículums de universidad pública del interior pasaron de la primera fase. Intentas explicarle el criterio al comité y te das cuenta de que no existe ninguno para defender, solo un número que la IA generó sola.
Le pides a la IA "prioriza las features que más piden los usuarios", sin definir qué cuenta como pedido válido. Ella aprende con el historial de tickets y amplifica a quien ya reclamaba más fuerte: el segmento de clientes grandes, con más canal de voz, siempre en el tope, mientras el usuario común, que solo desiste en silencio, nunca aparece. El criterio de priorización nunca se escribió, solo se heredó de quien gritaba más.
Le pides a la IA "señala qué vendedores merecen la mejor cartera de cuentas para el próximo trimestre", sin listar el criterio de mérito. Ella aprende con quién ya tenía la cartera buena antes y refuerza el patrón: quien empezó con cuenta grande sigue recibiendo cuenta grande, y quien empezó con cuenta pequeña nunca sale de ahí, aunque rinda mejor con lo que tenía. El criterio nunca se escribió, solo repitió la distribución de siempre.
Le pides a la IA "señala qué repartidores merecen las rutas más rentables", sin definir el criterio de mérito. Ella aprende con el historial de distribución de rutas y reproduce el patrón: quien ya tenía ruta buena sigue teniéndola, quien empezó en una región difícil nunca sale de ahí, sin importar la evaluación real de desempeño. El criterio nunca se escribió, solo se heredó de la costumbre.
Le pides a la IA "señala qué áreas merecen auditoría prioritaria este año, con base en el historial", sin listar el criterio de riesgo real. Ella aprende con el patrón de auditorías pasadas y repite: la misma área siempre auditada sigue en el tope, mientras un área nueva, con riesgo real creciente, nunca aparece en la lista. El criterio de priorización nunca se escribió, solo se copió del ciclo anterior.
Le pides a la IA "señala qué desarrolladores merecen ascenso a tech lead, mirando el historial del equipo", sin listar el criterio. Ella aprende con quién fue ascendido antes y repite el patrón: quien trabajó en los proyectos "visibles" sube, quien mantuvo la base estable en silencio nunca aparece. El criterio de ascenso nunca se escribió, solo se heredó de quien tuvo más reflectores.
Le pides a la IA "señala qué usuarios entrevistar para validar el próximo prototipo, con base en quién participó antes", sin definir el criterio de representatividad. Ella aprende con el patrón de reclutamiento pasado y repite: siempre el mismo perfil de usuario comprometido y con tiempo libre, nunca el usuario con discapacidad o el que usa el producto en un contexto distinto. El criterio de muestra nunca se escribió, solo se heredó de lo que era más fácil de agendar.
Le pides a la IA "señala qué unidades de negocio merecen más inversión el próximo año, mirando el historial", sin definir los criterios de mérito. Ella aprende con el patrón de aporte anterior y repite: las unidades que ya recibían más siguen recibiendo más, aunque el retorno real fuera menor. El criterio de priorización de inversión nunca se escribió, solo se heredó de la distribución de siempre.
Ok, fíjate en algo incómodo del ejemplo de RRHH ahí arriba. Nadie decidió, por escrito, que la universidad tradicional valía más punto. Nadie decidió que un nombre específico debía subir en el ranking. Eso simplemente pasó, porque la IA necesitaba algún criterio para rankear y, en ausencia de un criterio tuyo, usó el único que tenía a mano: el patrón de lo que "funcionó" antes. Y si lo que funcionó antes ya venía torcido, el ranking bonito y numérico solo le dio ropa nueva al mismo sesgo de siempre.
La idea central de esta lección. La coreografía correcta nunca es "corre la IA y después audita el resultado si algo sale mal". Es al revés: primero escribes, por extenso, los criterios que realmente importan para la vacante y lo que nunca puede contar como criterio (nombre, género inferido, edad inferida, dirección, foto). Después la IA aplica esa regla en un volumen de currículums que tu ojo nunca cubriría solo. Y solo después de eso viene la auditoría de calibración: mirar si la distribución del corte coincide con el pool que entró, antes de que cualquier candidato avance de fase.
01El error clásico: dejar que la IA infiera el criterio
Entendamos por qué pasa esto, porque no es malicia de la herramienta, es física de cómo funciona. Cuando no escribes el criterio, la IA no se queda sin ningún criterio, infiere uno a partir del patrón que ya existe en los datos que tiene: las contrataciones pasadas, los currículums que "parecían" buenos, lo que el gerente aprobó antes. El problema es que, si ese patrón histórico ya cargaba sesgo, la IA no lo corrige, lo aprende y lo amplifica.
Fíjate en los proxies discriminatorios más comunes, porque se esconden en campos que parecen inofensivos. El nombre carga pista de género y de origen étnico, aunque nadie haya pedido eso como criterio. El código postal o dirección carga pista de raza y de clase social, ya que la vivienda todavía está profundamente segregada. La universidad y el año de graduación cargan pista de clase y de edad, porque cursar una universidad tradicional de tiempo completo es un privilegio que no todo buen profesional tuvo. Ninguno de estos tres campos es, por sí solo, un crimen. El problema es usarlos sin darte cuenta de que están pesando en la nota final.
El caso más citado del mundo real es el de Amazon, revelado por Reuters en 2018: la empresa construyó una herramienta de selección que aprendió de diez años de currículums recibidos, mayoritariamente de hombres, en una industria históricamente dominada por hombres. La herramienta aprendió a penalizar currículums que contenían la palabra "mujeres" (como en "capitana del equipo de ajedrez de mujeres") y a degradar a graduadas de universidades solo de mujeres. Nadie lo programó a propósito. Fue el patrón histórico, reflejado de vuelta con apariencia de matemática neutral. Amazon descartó la herramienta antes de usarla en producción, pero el caso se volvió el ejemplo canónico de lo que pasa cuando nadie definió el criterio explícito antes.
02Paso 1: criterios explícitos, escritos, antes de abrir la IA
Aquí está el escalón que resuelve el problema de raíz, y ocurre ANTES de cualquier prompt. Antes de correr cualquier selección, escribes, en un documento simple, dos listas.
La primera lista es lo que cuenta de verdad: las competencias mínimas reales de la vacante, no la lista de deseos del gerente inflada con "estaría bien si también supiera". Pregunta: ¿qué necesita saber hacer esta persona en el primer mes para entregar el trabajo? Eso es criterio. "Graduado en una universidad específica" no lo es.
La segunda lista es lo que nunca puede contar: nombre, género inferido, edad inferida (incluyendo el año de graduación, que es proxy directo de edad), dirección, foto, y cualquier rasgo que no tenga relación directa con la entrega del puesto. Esa lista se la entregas a la IA como restricción explícita: "ignora estos campos, aunque estén en el currículum".
03Paso 2: la IA aplica los criterios en un volumen que tu ojo no cubre
Con las dos listas en mano, ahora sí entra la fuerza de la IA. Trescientos currículums, aplicando la misma regla, sin cansarse en la línea doscientos ochenta, sin darle más atención al primer currículum del día que al último. Eso es trabajo mecánico de verdad, y es aquí donde la IA le gana a cualquier humano: aplicar un criterio fijo, de forma consistente, en un volumen que nadie tendría paciencia de repetir igual de la línea uno a la trescientos.
Fíjate en la diferencia de rol respecto al paso anterior. En el paso uno, decidiste qué importa. En el paso dos, la IA solo ejecuta la regla que diseñaste, currículum por currículum, y te devuelve el ranking con la justificación amarrada al criterio explícito, no a un "parece un buen perfil" suelto en el aire.
04Paso 3: la auditoría de calibración antes de avanzar a cualquier candidato
Aquí está el paso que la mayoría se salta, y es exactamente lo que evita el desastre del ejemplo del principio. Después de que la IA aplicó el criterio y generó el corte, miras la distribución del resultado por grupo demográfico disponible, siempre que la ley y la política interna permitan ese tipo de revisión agregada. La pregunta es simple: ¿esa distribución coincide con el pool que entró al embudo, o hay una caída desproporcionada en algún grupo?
Una heurística útil para saber si una desviación merece investigación es la llamada regla de los cuatro quintos, usada en análisis de selección en Estados Unidos como señal de alerta de impacto desigual: si la tasa de aprobación de un grupo cae por debajo del 80 por ciento de la tasa del grupo con mejor resultado, eso es señal para investigar el criterio, no una ley brasileña a seguir al pie de la letra, sino un termómetro prestado que funciona bien como alarma. Si, en el ejemplo del principio, cero currículums de universidad pública pasaron de la primera fase, ese número por sí solo ya es la alarma sonando.
Y aquí viene el punto más importante de esta sección: cuando la calibración acusa una desviación, investigas el criterio, no descartas al candidato ni ignoras la señal esperando que pase desapercibida. Tal vez el criterio "universidad X" estaba, sin querer, funcionando como proxy de clase. Tal vez "años de experiencia" estaba penalizando a quien cambió de carrera más tarde. La auditoría no te dice a quién contratar, te dice dónde el criterio puede estar torcido, y te corresponde a ti corregir el criterio y correrlo de nuevo, no simplemente aceptar el resultado porque "la IA calculó".
05La regla de oro de esta coreografía
Cierra el razonamiento en una frase que vale la pena grabarse en la cabeza: criterio explícito antes, nunca dejar que la IA "decida qué importa" sola, auditoría de calibración siempre antes de avanzar a alguien de fase. El orden no es sugerencia, es lo que separa una selección que escala tu criterio de una que escala tu sesgo histórico con ropa nueva de matemática. La IA te da alcance real, trescientos currículums leídos con la misma regla. Pero la regla es tuya, escrita antes, y la revisión de que se aplicó de forma justa también es tuya, siempre después. ¿Listo?
Hazlo ahora
Toma una vacante real que tengas abierta ahora, tu tarea real u otra reciente.
- Escribe la lista de lo que CUENTA de verdad: las competencias mínimas que esta persona necesita tener para entregar el trabajo en el primer mes. Corta de la lista cualquier "estaría bien si" que no sea esencial.
- Escribe la lista de lo que NUNCA puede contar: nombre, género inferido, edad inferida (incluido el año de graduación), dirección, foto, y cualquier otro rasgo sin relación directa con la entrega del puesto.
- Corre la selección con la IA usando SOLO esas dos listas como criterio, pidiéndole explícitamente que ignore los campos de la lista dos aunque aparezcan en el currículum.
- Después del corte, mira la distribución del resultado por los grupos que puedas identificar de forma agregada (origen de universidad, región, rango etario aproximado). ¿Alguna caída parece desproporcionada?
- Si algo salta a la vista, vuelve al criterio de la lista uno antes de tocar a cualquier candidato. El criterio es lo que se investiga primero, siempre.
Acabas de correr la coreografía que transforma "la IA rankeó" en "yo definí la regla, la IA la aplicó, y yo confirmé que fue justa".
Practica
1. ¿Cuál es la diferencia esencial entre definir criterios ANTES de correr la IA y solo auditar el resultado DESPUÉS, si algo parece extraño?
2. En un currículum, ¿cuál de estos campos suele funcionar como proxy discriminatorio, aunque nadie lo haya definido como criterio a propósito?
3. La auditoría de calibración mostró que un grupo tuvo una caída de aprobación muy por debajo de la regla de los cuatro quintos respecto al grupo con mejor resultado. ¿Qué hacer?
Para la pizarra
Sobre el error clásicosin un criterio tuyo, la IA usa el único que tiene a mano: el patrón de lo que funcionó antes.
Sobre el ordencriterios explícitos y escritos antes de abrir la IA. Son ellos los que existen para ser defendidos después.
Sobre el proxycampos inocentes cargan información de edad y de clase, y pesan en el ranking sin aparecer como criterio.
Gracias por el feedback. Esto ayuda a afinar la próxima lección.