La tecnología de reconocimiento facial que acierta en un 72% si eres de derechas o de izquierdas

La omnipresente tecnología de reconocimiento facial puede exponer la orientación política de las personas, ya que los rostros de liberales y conservadores difieren constantemente. Se aplicó un algoritmo de reconocimiento facial a imágenes naturalistas de 1.085.795 individuos para predecir su orientación política al comparar su similitud con los rostros de otros liberales y conservadores. La orientación política se clasificó correctamente en el 72% de los pares de rostros liberales-conservadores, notablemente mejor que la casualidad (50%), la precisión humana (55%) o una proporcionada por un cuestionario de personalidad de 100 ítems (66%). La precisión fue similar en todos los países (EE. UU., Canadá y el Reino Unido), entornos (Facebook y sitios web de citas) y al comparar rostros entre muestras. La precisión se mantuvo alta (69%) incluso al controlar por edad, género y origen étnico. Dado el uso generalizado del reconocimiento facial,

Existe una preocupación creciente de que el uso generalizado del reconocimiento facial conducirá a un declive dramático de la privacidad y las libertades civiles ¹ . Las ubicuas cámaras de circuito cerrado de televisión y las gigantescas bases de datos de imágenes faciales, que van desde perfiles de redes sociales públicas hasta registros de tarjetas de identificación nacionales, hacen que sea alarmantemente fácil identificar a las personas, así como rastrear su ubicación e interacciones sociales. Además, a diferencia de muchos otros sistemas biométricos, el reconocimiento facial se puede utilizar sin el consentimiento o conocimiento de los sujetos.

La vigilancia generalizada no es el único riesgo que genera el reconocimiento facial. Además de identificar a las personas , los algoritmos pueden identificar los atributos personales de las personas , ya que algunos de ellos están relacionados con la apariencia facial. Como los humanos, los algoritmos de reconocimiento facial pueden inferir con precisión el género, la edad, la etnia o el estado emocional ^2 , 3 . Desafortunadamente, la lista de atributos personales que se pueden inferir del rostro se extiende mucho más allá de esos pocos ejemplos obvios.

Un número creciente de estudios afirman demostrar que las personas pueden hacer juicios basados ​​en la cara de honestidad ⁴ , personalidad ⁵ , inteligencia ⁶ , orientación sexual ⁷ , orientación política ^{8 , 9 , 10 , 11 , 12} y tendencias violentas ¹³ . Hay una discusión en curso acerca de hasta qué punto los juicios basados ​​en el rostro son posibilitados por rasgos faciales estables (p. Ej., Morfología); rasgos faciales transitorios (por ejemplo, expresión facial, maquillaje, vello facial u orientación de la cabeza); o los rasgos demográficos de los objetivos que pueden inferirse fácilmente de su rostro (por ejemplo, edad, género y etnia) ¹⁴. Además, la precisión del juicio humano es relativamente baja. Por ejemplo, cuando se les pide que distingan entre dos caras, una conservadora y otra liberal, la gente tiene razón aproximadamente el 55% del tiempo (derivado de la d de Cohen reportada en Tskhay y Regla ¹⁵ ), solo ligeramente por encima del azar (50%). Sin embargo, dado que los humanos pueden faltar o malinterpretar algunas de las señales, su baja precisión no representa necesariamente el límite de lo que los algoritmos podrían lograr. Los algoritmos se destacan en el reconocimiento de patrones en enormes conjuntos de datos que ningún ser humano podría procesar jamás ¹⁶ , y nos superan cada vez más en tareas visuales que van desde el diagnóstico de cáncer de piel ¹⁷ hasta el reconocimiento facial ¹⁸a juicios basados ​​en la cara de atributos íntimos, como orientación sexual (76% frente a 56%) ^7 , 19 , personalidad (64% frente a 57%; derivado de la r s de Pearson ) ^{20 , 21 , 22} y, como se muestra aquí, orientación política . (Para facilitar la interpretación y las comparaciones entre los estudios, en este texto, la precisión se expresa como el área bajo la curva de características operativas del receptor (AUC), un equivalente del coeficiente de la prueba de rango con signo de Wilcoxon y el tamaño del efecto del lenguaje común).

Utilizamos una muestra de 1.085.795 participantes de tres países (EE. UU., Reino Unido y Canadá; consulte la Tabla 1 ) y su orientación política, edad y género autoinformados. Sus imágenes faciales (una por persona) se obtuvieron de sus perfiles en Facebook o de un sitio web de citas popular. Estas imágenes naturalistas autoseleccionadas combinan muchas señales potenciales de orientación política, que van desde la expresión facial y la autopresentación hasta la morfología facial. La diversidad étnica de nuestra muestra (incluyó a más de 347.000 participantes no blancos), la relativa universalidad del espectro conservador-liberal ²³ y el tipo genérico de imágenes faciales utilizadas aquí aumentan la probabilidad de que nuestros hallazgos se apliquen a otros países, culturas, y tipos de imágenes.

Como nuestro objetivo es estudiar las amenazas a la privacidad existentes, en lugar de desarrollar nuevas herramientas que invadan la privacidad, utilizamos un algoritmo de reconocimiento facial de código abierto en lugar de desarrollar un algoritmo específicamente dirigido a la orientación política. El procedimiento se presenta en la Fig.  1 : Para minimizar el papel del fondo y los rasgos no faciales, las imágenes se recortaron con precisión alrededor de la cara y se redimensionaron a 224 × 224 píxeles. Se utilizó VGGFace2 ²⁴ para convertir imágenes faciales en descriptores faciales, o vectores de 2,048 valores de longitud que subsumen sus características principales. Por lo general, la similitud entre los descriptores de rostro se usa para identificar aquellos lo suficientemente similares como para representar probablemente el rostro de la misma persona. Aquí, para identificar la orientación política de los individuos, sus descriptores faciales se comparan con los descriptores faciales promedio de liberales versus conservadores. Los descriptores se ingresaron en un modelo de regresión logística con validación cruzada dirigido a la orientación política autoinformada (conservador versus liberal). Se obtuvieron resultados prácticamente idénticos mediante métodos alternativos: un clasificador de redes neuronales profundas y una relación simple entre la similitud del coseno promedio con los liberales y conservadores. Consulte la sección Métodos complementarios para obtener más detalles.

Procedimiento utilizado para predecir la orientación política a partir de imágenes faciales. (Para proteger la privacidad de los participantes, usamos una foto de un modelo profesional. Se obtuvo su consentimiento informado para la publicación).

Imagen de tamaño completo

Los resultados se presentan en la Fig.  2 (barras azules). La precisión se expresa como AUC, o una fracción de las suposiciones correctas al distinguir entre todos los posibles pares de caras, una conservadora y otra liberal. En la muestra más grande, de 862,770 usuarios de sitios web de citas de EE. UU., La precisión de la clasificación con validación cruzada fue del 72%, que es mucho más alta que la probabilidad (50%) y se traduce en la d de Cohen = 0,83, o un gran tamaño de efecto. (Sawilowsky ²⁵sugirió la siguiente heurística para interpretar los tamaños del efecto: muy pequeño [d ≥ 0.01], pequeño [d ≥ 0.2], mediano [d ≥ 0.5], grande [d ≥ 0.8], muy grande [d ≥ 1.2] y enorme [d ≥ 2].) Se logró una precisión similar para los usuarios de sitios web de citas en Canadá (71%) y en el Reino Unido (70%). La previsibilidad no se limitó al entorno de citas en línea: la precisión del algoritmo alcanzó el 73% entre los usuarios de Facebook de EE. UU. Para poner la precisión del algoritmo en perspectiva, considere que la precisión humana en tareas similares es del 55%, solo ligeramente por encima del azar (DE = 4%; IC _95%  = [52%, 58%]) ¹⁵ .

Precisión del algoritmo de reconocimiento facial que predice la orientación política. Todos los intervalos de confianza del 95% están por debajo del 1% y, por lo tanto, se omiten. La precisión de los seres humanos y los algoritmos informada en otros estudios se incluye para el contexto.

Imagen de tamaño completo

Además, como se muestra en la Tabla 2 , el algoritmo podría predecir con éxito la orientación política entre países y muestras. La regresión entrenada en los usuarios de sitios web de citas de EE. UU., Por ejemplo, podría distinguir entre usuarios de sitios web de citas liberales y conservadores en Canadá (68%), el Reino Unido (67%) y en la muestra de Facebook (71%). En general, la precisión promedio fuera de la muestra fue del 68%, lo que indica que existe una superposición significativa en los vínculos entre las señales faciales y la orientación política entre las muestras y los países examinados aquí.

Tanto en la vida real como en nuestra muestra, la clasificación de la orientación política está habilitada hasta cierto punto por los rasgos demográficos que se muestran claramente en los rostros de los participantes. Por ejemplo, como se evidencia en la literatura ²⁶ y la Tabla 1 , en los EE. UU., Las personas blancas, las personas mayores y los hombres tienen más probabilidades de ser conservadores. ¿Cuál sería la precisión de un algoritmo al distinguir entre rostros de personas de la misma edad, género y etnia? Para responder a esta pregunta, se volvieron a calcular las precisiones de clasificación utilizando solo pares de caras de la misma edad, sexo y etnia.

Los resultados se presentan en la Fig.  2 (barras rojas). La precisión se redujo solo un 3,5% en promedio, alcanzando el 68%, 68%, 65% y 71% para los usuarios de sitios web de citas de EE. UU., Canadá y el Reino Unido, así como para los usuarios de Facebook de EE. UU., Respectivamente. Esto indica que los rostros contienen muchas más señales de orientación política que solo la edad, el género y la etnia.

Otro factor que afecta la precisión de la clasificación es la calidad de las estimaciones de orientación política. Si bien la representación dicotómica que se usa aquí (es decir, conservadora versus liberal) se usa ampliamente en la literatura, ofrece solo una estimación burda de las complejas diferencias interpersonales en la ideología. Además, las etiquetas políticas autoinformadas sufren el efecto del grupo de referencia: la tendencia de los encuestados a evaluar sus rasgos en el contexto del grupo de comparación más destacado. Por lo tanto, un autodenominado «liberal» del conservador Mississippi bien podría considerarse «conservador» si viviera en el liberal Massachusetts. Si las estimaciones de orientación política hubieran sido más precisas (es decir, hubieran tenido menos error), la precisión del algoritmo basado en rostros podría haber sido mayor. En consecuencia, además de considerar la precisión absoluta de clasificación, es útil compararlo con uno ofrecido por formas alternativas de predecir la orientación política. Aquí, usamos la personalidad, un constructo psicológico estrechamente asociado con la orientación política y que se usa a menudo para aproximarla²⁷ . Los puntajes de los usuarios de Facebook en un modelo bien establecido de 100 ítems de cinco factores de cuestionario de personalidad ²⁸ se ingresaron en una regresión logística con validación cruzada diez veces mayor para predecir la orientación política.

Los resultados presentados en la Figura  3 muestran que el mayor poder predictivo lo ofreció la apertura a la experiencia (65%), seguida de la conciencia (54%) y otros rasgos. De acuerdo con estudios previos ²⁷ , los liberales estaban más abiertos a la experiencia y algo menos conscientes. En conjunto, cinco factores de personalidad predijeron la orientación política con un 66% de precisión, significativamente menos de lo que logró el clasificador basado en rostros en la misma muestra (73%). En otras palabras, una sola imagen facial revela más sobre la orientación política de una persona que sus respuestas a un cuestionario de personalidad bastante largo, que incluye muchos elementos aparentemente relacionados con la orientación política (p. Ej., «Trato a todas las personas por igual» o «Creo que demasiado el dinero de los impuestos se destina a apoyar a los artistas ”).

Precisión que ofrecen los rasgos faciales transitorios y los rasgos de personalidad al predecir la orientación política en los usuarios de Facebook (se obtuvieron resultados similares en otras muestras; consulte la Tabla complementaria S1 ). Todos los intervalos de confianza del 95% están por debajo del 1% y, por lo tanto, se omiten.

Imagen de tamaño completo

La alta previsibilidad de la orientación política a partir de las imágenes faciales implica que existen diferencias significativas entre las imágenes faciales de los conservadores y los liberales. La alta precisión fuera de la muestra sugiere que algunos de ellos pueden estar muy extendidos (al menos dentro de las muestras utilizadas aquí). Aquí, exploramos las correlaciones entre la orientación política y una variedad de rasgos faciales interpretables que incluyen la postura de la cabeza (cabeceo, balanceo y guiñada; ver Fig.  3 ); expresión emocional (probabilidad de expresar tristeza, disgusto, enojo, sorpresa y miedo); anteojos (con gafas o gafas de sol); y vello facial. Esas características se extrajeron de imágenes faciales y se ingresaron (por separado y en conjuntos) en una regresión logística con validación cruzada de diez veces para predecir la orientación política.

Los resultados presentados en la Fig.  3 se basan en los usuarios de Facebook (se obtuvieron resultados similares en otras muestras, véase el cuadro complementario S1). El mayor poder de predicción lo proporcionó la orientación de la cabeza (58%), seguida de la expresión emocional (57%). Los liberales tendían a mirar a la cámara más directamente, eran más propensos a expresar sorpresa y menos propensos a expresar disgusto. El vello facial y las gafas predijeron la orientación política con una precisión mínima (51-52%). Incluso cuando se combinaron, los rasgos faciales interpretables proporcionaron una precisión de solo 59%, mucho menor que la lograda por el algoritmo de reconocimiento facial en la misma muestra (73%), lo que indica que este último empleó muchas más características que las extraídas aquí. Se podría obtener una imagen más detallada explorando los vínculos entre la orientación política y los rasgos faciales extraídos de imágenes tomadas en un entorno estandarizado mientras se controla el vello facial, el aseo, la expresión facial y la orientación de la cabeza.

La capacidad de un algoritmo para predecir nuestros atributos personales a partir de imágenes faciales podría mejorar las interacciones entre humanos y tecnología al permitir que las máquinas identifiquen nuestra edad o estado emocional y ajusten su comportamiento en consecuencia. Sin embargo, los mismos algoritmos pueden predecir con precisión atributos mucho más sensibles, como la orientación sexual ⁷ , la personalidad ²⁰ o, como mostramos aquí, la orientación política. Además, aunque muchas otras huellas digitales revelan la orientación política y otros rasgos íntimos ^{29 , 30 , 31 , 32 , 33 , 34}, la cara de uno es particularmente difícil de ocultar tanto en las interacciones interpersonales como en los registros digitales. Las imágenes faciales pueden ser tomadas fácilmente (y de manera encubierta) por un funcionario encargado de hacer cumplir la ley u obtenidas de archivos digitales o tradicionales, incluidas las redes sociales, plataformas de citas, sitios web para compartir fotos y bases de datos gubernamentales. A menudo son de fácil acceso; Las imágenes de perfil de Facebook y LinkedIn, por ejemplo, son públicas de forma predeterminada y cualquier persona puede acceder a ellas sin su consentimiento o conocimiento. Por lo tanto, las amenazas a la privacidad planteadas por la tecnología de reconocimiento facial no tienen precedentes, en muchos sentidos.

La previsibilidad de la orientación política a partir de imágenes faciales no implica necesariamente que liberales y conservadores tengan rostros innatamente diferentes. Si bien la expresión facial o la pose de la cabeza, el vello facial y los anteojos no se vincularon particularmente con la orientación política en este estudio, es posible que una gama más amplia de estimaciones de mayor calidad de esas y otras características transitorias puedan explicar plenamente la previsibilidad de la política. Sin embargo, desde el punto de vista de la protección de la privacidad, la distinción entre rasgos faciales innatos y transitorios importa relativamente poco. Cambiar constantemente las expresiones faciales o la orientación de la cabeza sería un desafío, incluso si uno supiera exactamente cuál de sus rasgos faciales transitorios revela su orientación política.

Algunos pueden dudar de que las precisiones informadas aquí sean lo suficientemente altas como para causar preocupación. Sin embargo, es poco probable que nuestras estimaciones constituyan un límite superior de lo que es posible. Es probable que se permita una mayor precisión utilizando varias imágenes por persona; usar imágenes de mayor resolución; formación de redes neuronales personalizadas destinadas específicamente a la orientación política; o incluyendo señales no faciales como peinado, ropa, sombreros o imagen de fondo. Además, es poco probable que el progreso en la visión por computadora y la inteligencia artificial disminuya pronto. Por último, incluso las predicciones modestamente precisas pueden tener un impacto tremendo cuando se aplican a grandes poblaciones en contextos de alto riesgo, como las elecciones. Por ejemplo, incluso una estimación burda de los rasgos psicológicos de una audiencia puede aumentar drásticamente la eficiencia de la persuasión masiva ³⁵. Esperamos que los académicos, legisladores, ingenieros y ciudadanos se den cuenta.

El estudio ha sido revisado y aprobado por el IRB de la Universidad de Stanford. Todos los métodos se llevaron a cabo de acuerdo con las directrices y normativas pertinentes. Los documentos de preinscripción se pueden encontrar en https://osf.io/y5wr9 . Las notas del autor están disponibles en: https://bit.ly/kosinski1 .

Ejemplo de sitio web de citas

La muestra del sitio web de citas fue proporcionada por un sitio web de citas popular en 2017. Contiene imágenes de perfil cargadas por 977,777 usuarios; su ubicación (país); y orientación política, género y edad autoinformados.

La orientación política se midió mediante un ítem de opción múltiple. Aquellos que seleccionaron “Muy conservador” (7%) o “Conservador” (20%) fueron etiquetados como conservadores; los que seleccionaron “Muy liberal” (7%) o “Liberal” (16%) fueron etiquetados como liberales. Aquellos que seleccionaron “Verde” (1%), “Libertario” (2%), “Otro” (5%), “Centrista” (17%), o no sabían (26%) no están incluidos en esta muestra. (Esas opciones de respuesta se informan en una forma ligeramente modificada para proteger la identidad de la fuente de datos).

Dado que la gente prefiere socios con una orientación política similar ³⁶ , debería haber pocos incentivos para tergiversar los puntos de vista en el contexto de un sitio web de citas. La validez de esta variable también está respaldada por la alta precisión y la alta validez externa del clasificador de orientación política.

Muestra de Facebook

La muestra de Facebook incluyó imágenes de perfil público, edad, género, orientación política y puntajes de personalidad ofrecidos voluntariamente por 108,018 usuarios de Facebook de EE. UU. Reclutados a través de un cuestionario de personalidad en línea entre 2007 y 2012. Los participantes fueron recompensados ​​con la retroalimentación sobre sus puntajes y dieron su consentimiento informado para su datos que se registrarán y utilizarán en la investigación.

La personalidad de los participantes se midió utilizando el modelo de cinco factores del Grupo Internacional de Ítems de Personalidad (IPIP) de 100 ítems del cuestionario de personalidad ²⁸ , con una escala de respuesta estilo Likert de cinco puntos que va desde «muy en desacuerdo» hasta «totalmente de acuerdo». La fiabilidad α de Cronbach de las escalas fue de 84, 0,92, 0,93, 0,88 y 0,93 para apertura, escrupulosidad, extraversión, amabilidad y neuroticismo, respectivamente. Se excluyeron de la puntuación dos ítems que medían la apertura porque se utilizaron para medir la orientación política de los participantes (ver más abajo).

La orientación política de los participantes se estableció utilizando el campo de perfil «opiniones políticas» y dos elementos del cuestionario de personalidad del IPIP: «Tiendo a votar por candidatos políticos liberales» y «Tiendo a votar por candidatos políticos conservadores». Para ser etiquetados como conservadores, los participantes debían autodescribirse como “republicanos” (10%), “conservadores” (12%) o “muy conservadores” (2%); y en desacuerdo (11%) o muy en desacuerdo (9%) con el anterior artículo del IPIP; y de acuerdo (10%) o muy de acuerdo (12%) con este último. Para ser etiquetados como liberales, los participantes debían auto-describirse como “demócratas” (15%), “liberales” (15%) o “muy liberales” (5%); y de acuerdo (16%) o muy de acuerdo (26%) con el primer ítem del IPIP; yen desacuerdo (20%) o muy en desacuerdo (17%) con este último. Los participantes que no cumplieron con esos criterios no fueron incluidos en esta muestra.

Imágenes faciales

Las imágenes faciales se procesaron utilizando Face ++ ³⁷ para detectar rostros. Las imágenes se recortaron alrededor del cuadro frontal proporcionado por Face ++ (marco rojo en la Fig.  1 ) y se redimensionaron a 224 × 224 píxeles. Las imágenes con varias caras, o una caja de caras de menos de 70 píxeles, no se incluyen en nuestra muestra.

Además, Face ++ se utilizó para identificar la edad, el género y la etnia de los participantes (blancos, negros, asiáticos e indios); orientación de la cabeza (cabeceo, balanceo y guiñada; consulte la figura  3 ); expresión emocional (probabilidad de expresar tristeza, disgusto, enojo, sorpresa y miedo); y la presencia de cualquier tipo de anteojos o gafas de sol. La precisión de estas estimaciones fue buena. Edad prevista y autoinformada correlacionada al nivel R = 0,65 ( p <0,001; el error cuadrático medio de la raíz equivale a tres años). El género predicho y autoinformado coincidió con el 96% de los participantes. La etnia estimada por Face ++ y un asistente de investigación ciego a las hipótesis coincidió con el 88% de 27.023 imágenes faciales, un subconjunto de la muestra de Facebook. Dos asistentes de investigación ciegos a las hipótesis etiquetaron un subconjunto de 300 imágenes de la muestra de Facebook con estimaciones de la expresión facial y la pose de la cabeza. La correlación entre sus clasificaciones promediadas y las estimaciones de Face ++ fue r = 0,72 en promedio (consulte la Tabla complementaria S2 ).

Algoritmo de clasificación

La clasificación empleó descriptores faciales normalizados L2 derivados de imágenes faciales utilizando el modelo VGGFace2 en la arquitectura ResNet-50, originalmente entrenado en una muestra independiente de más de 3.3 millones de imágenes faciales ²⁴ . Probamos tres enfoques para medir la similitud relativa de las caras con las caras de otros liberales y conservadores:

• Relación de similitud de coseno: Para cada cara, tomamos la relación entre su similitud de coseno promedio con caras liberales y entre su similitud de coseno promedio con caras conservadoras.
• Regresión logística: Los descriptores faciales se ingresaron en la regresión logística LASSO ^{38 con el} objetivo de distinguir entre liberales y conservadores. Usamos una validación cruzada de 30 veces para que las predicciones fueran hechas por clasificadores que no habían visto a un participante determinado antes. El parámetro α se estableció en 1; el parámetro δ se ajustó por separado dentro de cada conjunto de entrenamiento utilizando una validación cruzada diez veces mayor.
• Redes neuronales: los descriptores faciales se ingresaron en una red neuronal profunda con validación cruzada de 30 veces destinada a clasificar a liberales y conservadores. Probamos varias arquitecturas de red, pero la precisión no superó sustancialmente la ofrecida por dos enfoques anteriores mucho más simples.

Dado que los tres métodos arrojaron precisiones de clasificación similares, decidimos emplear la regresión logística LASSO. Es computacionalmente eficiente y bien conocido entre los científicos sociales.

Precisión de clasificación

La precisión de la clasificación se expresa como AUC. Las barras rojas en la Fig.  2 representan la precisión estimada en los pares de caras conservador-liberal de la misma edad (+ / – un año), género y etnia. Empleamos estimaciones de Face ++ de estos rasgos, ya que estaban disponibles para todas las caras. Se logró una precisión similar (71%) cuando se usaron etiquetas de etnia producidas por un asistente de investigación y la edad y el género autoinformados (las etiquetas de etnia estaban disponibles para un subconjunto de 27.023 imágenes en la muestra de Facebook).

Clasificador de vello facial

El clasificador de vello facial se construyó utilizando los descriptores faciales VGGFace2. Un asistente de investigación ciego a la hipótesis etiquetó 10,000 imágenes faciales de hombres para la presencia de vello facial (variable dicotómica) de la muestra de Facebook. Un segundo asistente de investigación ciego a las hipótesis etiquetó un subconjunto de 2000 de estas imágenes: el acuerdo entre evaluadores equivalía al 95%. El vello facial estuvo presente en el 59% de los rostros.

Estas etiquetas manuales se utilizaron para entrenar la regresión logística LASSO ³⁸ , empleando descriptores faciales para estimar la probabilidad de que una cara determinada contenga vello facial. El parámetro α se estableció en 1; el parámetro δ se ajustó utilizando una validación cruzada diez veces mayor. La precisión de clasificación diez veces validada cruzada en la muestra de entrenamiento fue igual a AUC = 96%.

Los conjuntos de datos (excluidas las imágenes reales) y el código utilizado para calcular los resultados están disponibles en https://osf.io/c58d3/ .

Fuente: Nature