Una IA vio una foto recortada de AOC. La autocompletaba usando un bikini.

Sra. Tecnología | Getty



Se sabe que los algoritmos de generación de lenguaje incorporan ideas racistas y sexistas. Están capacitados en el idioma de Internet, incluidos los rincones oscuros de Reddit y Twitter que pueden incluir discursos de odio y desinformación. Cualquier idea dañina que esté presente en esos foros se normaliza como parte de su aprendizaje.

Investigadores ahora han demostrado que lo mismo puede ser cierto para los algoritmos de generación de imágenes. Alimente a uno con una foto de un hombre recortada justo debajo de su cuello, y el 43% de las veces, lo completará automáticamente con un traje. Alimente al mismo con una foto recortada de una mujer, incluso una mujer famosa como la Representante de los EE. UU. Alexandria Ocasio-Cortez, y el 53% de las veces, la autocompletará con un top escotado o un bikini. Esto tiene implicaciones no solo para la generación de imágenes, sino también para todas las aplicaciones de visión artificial, incluidas algoritmos de evaluación de candidatos basados ​​en videos , reconocimiento facial y vigilancia.





Ryan Steed, estudiante de doctorado en la Universidad Carnegie Mellon, y Aylin Caliskan, profesora asistente en la Universidad George Washington, analizaron dos algoritmos: iGPT de OpenAI (una versión de GPT-2 que está entrenada en píxeles en lugar de palabras) y SimCLR de Google . Si bien cada algoritmo aborda el aprendizaje de imágenes de manera diferente, comparten una característica importante: ambos usan completamente aprendizaje sin supervisión , lo que significa que no necesitan humanos para etiquetar las imágenes.

Esta es una innovación relativamente nueva a partir de 2020. Los algoritmos de visión por computadora anteriores se usaban principalmente supervisado aprendizaje, que implica alimentarlos con imágenes etiquetadas manualmente: fotos de gatos con la etiqueta gato y fotos de bebés con la etiqueta bebé. Pero en 2019, la investigadora Kate Crawford y el artista Trevor Paglen descubrieron que estas etiquetas creadas por humanos en ImageNet, el conjunto de datos de imágenes más fundamental para entrenar modelos de visión por computadora, a veces contienen lenguaje perturbador , como puta para las mujeres y calumnias raciales para las minorías.

¿Cuándo salió el Voyager 1 del sistema solar?

El último artículo demuestra una fuente aún más profunda de toxicidad. Incluso sin estas etiquetas humanas, las propias imágenes codifican patrones no deseados. El problema es paralelo a lo que la comunidad de procesamiento de lenguaje natural (NLP, por sus siglas en inglés) ya ha descubierto. Los enormes conjuntos de datos compilados para alimentar estos algoritmos hambrientos de datos capturan todo en Internet. E Internet tiene una sobrerrepresentación de mujeres con poca ropa y otros estereotipos a menudo dañinos.



cuantas personas murieron tomándose selfies

Para realizar su estudio, Steed y Caliskan adaptaron hábilmente una técnica que Caliskan utilizó anteriormente para examinar el sesgo en los modelos de PNL no supervisados. Estos modelos aprenden a manipular y generar lenguaje utilizando incrustaciones de palabras, una representación matemática del lenguaje que agrupa las palabras que se usan comúnmente juntas y separa las palabras que comúnmente se encuentran separadas. en un artículo de 2017 publicado en Ciencias , Caliskan midió las distancias entre los diferentes pares de palabras que los psicólogos usaban para medir los sesgos humanos en la prueba de asociación implícita (IAT) . Descubrió que esas distancias recreaban casi a la perfección los resultados del IAT. Las parejas de palabras estereotipadas como hombre y carrera o mujer y familia estaban muy juntas, mientras que las parejas opuestas como hombre y familia o mujer y carrera estaban muy separadas.

iGPT también se basa en incrustaciones: agrupa o separa píxeles según la frecuencia con la que ocurren dentro de sus imágenes de entrenamiento. Esas incrustaciones de píxeles se pueden usar para comparar qué tan cerca o lejos están dos imágenes en el espacio matemático.

Los verdaderos peligros de la IA están más cerca de lo que pensamos

Olvídate de la IA superinteligente: los algoritmos ya están creando un daño real. La buena noticia: la lucha ha comenzado.

En su estudio, Steed y Caliskan encontraron una vez más que esas distancias reflejan los resultados de IAT. Las fotos de hombres y corbatas y trajes aparecen juntas, mientras que las fotos de mujeres aparecen más separadas. Los investigadores obtuvieron los mismos resultados con SimCLR, a pesar de que utilizó un método diferente para derivar incrustaciones de imágenes.



Estos resultados tienen implicaciones preocupantes para la generación de imágenes. Otros algoritmos de generación de imágenes, como redes adversarias generativas , ha guiado a una explosión de pornografía deepfake ese se dirige casi exclusivamente a mujeres . iGPT en particular agrega otra forma más para que las personas generen fotos sexualizadas de mujeres.

Pero los posibles efectos posteriores son mucho mayores. En el campo de la PNL, los modelos no supervisados ​​se han convertido en la columna vertebral de todo tipo de aplicaciones. Los investigadores comienzan con un modelo no supervisado existente como BERT o GPT-2 y usan conjuntos de datos personalizados para ajustarlo para un propósito específico. Este enfoque semisupervisado, una combinación de aprendizaje supervisado y no supervisado, se ha convertido en un estándar de facto.

Asimismo, el campo de la visión por computadora está comenzando a ver la misma tendencia. Steed y Caliskan se preocupan por lo que podrían significar estos sesgos incorporados cuando los algoritmos se usan para aplicaciones sensibles, como vigilancia o contratación, donde los modelos ya están analizando las grabaciones de video de los candidatos para decidir si son adecuados para el trabajo. Estas son aplicaciones muy peligrosas que toman decisiones consecuentes, dice Caliskan.

resolver la ecuación cuadrática

Deborah Raji, una becaria de Mozilla que es coautora un estudio influyente revelando los sesgos en el reconocimiento facial, dice que el estudio debería servir como una llamada de atención al campo de la visión artificial. Durante mucho tiempo, gran parte de la crítica sobre el sesgo se centró en la forma en que etiquetamos nuestras imágenes, dice ella. Ahora bien, este documento dice que la composición real del conjunto de datos está dando como resultado estos sesgos. Necesitamos responsabilidad sobre cómo seleccionamos estos conjuntos de datos y recopilamos esta información.

Steed y Caliskan instan a una mayor transparencia por parte de las empresas que están desarrollando estos modelos para abrirlos y permitir que la comunidad académica continúe con sus investigaciones. También alientan a sus colegas investigadores a realizar más pruebas antes de implementar un modelo de visión, como por ejemplo mediante el uso de los métodos que desarrollaron para este documento. Y finalmente, esperan que el campo desarrolle formas más responsables de compilar y documentar lo que se incluye en los conjuntos de datos de capacitación.

Caliskan dice que el objetivo es, en última instancia, obtener una mayor conciencia y control al aplicar la visión por computadora. Tenemos que tener mucho cuidado con la forma en que los usamos, dice, pero al mismo tiempo, ahora que tenemos estos métodos, podemos tratar de usarlos para el bien social.

esconder

Tecnologías Reales

Categoría

Sin Categorizar

Tecnología

Biotecnología

Política De Tecnología

Cambio Climático

Humanos Y Tecnología

Silicon Valley

Informática

Revista Mit News

Inteligencia Artificial

Espacio

Ciudades Inteligentes

Blockchain

Artículo De Fondo

Perfil De Exalumnos

Conexión De Exalumnos

Característica De Noticias Del Mit

1865

Mi Vista

77 Mass Ave

Conoce Al Autor

Perfiles De Generosidad

Visto En El Campus

Cartas De Exalumnos

Función De Noticias Del Mit

Cadena De Bloques

Perfil De Ex Alumnos

77 Avenida De Masas

Política Tecnológica

Perfiles En Generosidad

Noticias

Revista De Noticias Del Mit

Elecciones 2020

Con Índice

Bajo La Cúpula

Manguera

Historias Infinitas

Proyecto De Tecnología Pandémica

Del Presidente

Artículo De Portada

Galería De Fotos

Recomendado