新智元报导
来历：theverge等
修改：小芹、鹏飞
【新智元导读】依据ImageNet “人物”类别练习的AI东西“ImageNet Roulette”近来引起热议，上传人脸相片，AI立刻回来描绘这个人的标签。但这些标签充满了古怪、尖刻和种族主义，揭穿了数据集的缺点和隐藏的成见。
你有没有想过，当你运用人脸辨认检测自己的脸时，AI是怎样看你的？
一个最近呈现的网站“ImageNet Roulette”能够告知你，但事前正告：实际并不夸姣，AI对你的点评有时乃至很严酷。
“ImageNet Roulette”是一个由程序员Leif Ryge，纽约大学教授、AI Now研讨所一起创始人Kate Crawford，以及艺术家Trevor Paglen最近为一个名为“练习人类”(Training Humans)的艺术展创立的网站。只需上传一张人像相片，该东西会运转一些常见的机器学习软件，然后回来决议适用于你的标签。
许多人在运用这个东西时发现，AI回来的标签常常很古怪、尖刻，充满着种族主义和对女人的嫌恶。发布一段时间以来，这个AI已经在Twitter上引发许多声讨。
比方这位网友，分明仅仅抱着狗窝在沙发上，却被AI辨认成一个“啤酒爱好者”
这位女人只因一头红发和自拍的视点，就被以为是一名：女王、狐狸精、女妖、让男人沉浸的魔女。
而这位显着不是黑人的男性，被打上“Black Person, Negro”等标签……
它叫我“书呆子、白痴”！这个AI是想打架吗？
“ImageNet Roulette”是在ImageNet数据集的“人物”类别上练习的。ImageNet 是计算机视觉范畴最著名的数据集，由超越 1400 万个符号图画组成，分为20000多个类别，每个类别均匀有 1,000 张图画。ImageNet也是世界上被引证次数最多的目标辨认数据集，在研讨论文中被引证了超越 12000 次。
ImageNet 的“人物” 类别下包括 2833 个子类别。具有最多相关图片的子类别是 “gal（女孩）”（1664 个图画），其次是 “祖父”（1662），“爸爸”（1643），和 “首席执行官”（1614）。
ImageNet 还将人们分为多种类型，包括种族，国籍，作业，经济位置，行为，品质，乃至品德。
ImageNet Roulette 运用开源 Caffe 深度学习结构，当用户上传图片时，应用程序首要运转人脸检测器以定位人脸。假如发现了人脸，则将它们发送到 Caffe 模型进行分类。然后，应用程序回来原始图画，鸿沟框显现检测到的人脸，以及分类器为图画指定的标签。
“AI怎样给人分类”这件事，“被分类”的人很少能知道。ImageNet Roulette供给了这个进程的一瞥，并显现了AI或许呈现的问题。
三位研讨人员用他们自己的相片进行了测验：
Crawford和Paglen
艺术家Paglen的形象被归类为 “Klansman”（注：3K 党，美国最臭名远扬的极点种族主义集体之一，制作了许多血腥恐怖事件）；
纽约大学教授 Crawford 的大头照被归类为 “女人首领”。
开发人员 Leif Ryge 得到的标签是“心思语言学家”，但换其他相片后，标签变成了 “反常”、“流浪汉” 和 “无政府主义者”。
Paglen 说：“我以为这种给人分类的事儿，最好再慎重一些。”
更严酷的是，有人上传了一张他16岁时参与佛罗里达马林鱼队(一支棒球队)的相片，被AI无端端地分类为“强奸嫌疑犯”。
一名女孩被打了数个“书呆子”(swot, grind, nerd, wonk)的标签，乃至还有“白痴”(dweeb)标签：
她愤恨地表明：
我彻底被某种“机器学习”拖到了阴间。它叫我“白痴”。“书呆子”！“白痴”！这个算法是想打架吗?
揭穿ImageNet缺点，AI成见问题不容忽视
该项目也部分地突出了 ImageNet 以 “有问题” 和 “得罪” 的方法对人们进行分类的缺点，也便是人为的成见。（一些上传相片的男人好像被随机符号为 “强奸嫌疑人”，原因无法解释。）Paglen 表明，AI 的过错体系和机器学习成见的普遍存在是由于其遭到人类发明者的影响：
ImageNet 的根底结构依据 Wordnet 的语义结构，这是 20 世纪 80 时代普林斯顿大学开发的一个词汇分类数据库。令人恶感和古怪的标签悉数来自 WordNet，由于这个数据库中包括有性别歧视或种族主义的术语。因而，ImageNet Roulette 回来的成果也依据这些类别。
Paglen 指出在曩昔几个世纪将人们分类的漆黑前史。如南非种族隔离期间：一本名为 “生命之书” 的书依据黑人的种族布景对其进行了分类，并被用来确认人们能够在哪里日子、取得什么作业，孩子能够去哪里上学等等。
他还比较了机器学习的鼓起和人们的认知。19 世纪末 20 世纪初，拍摄是中立的。但跟着社会达尔文主义的鼓起，拍摄有助于发明新的伪科学范畴，这种观念促进了某些文明和民族，在进化上优于其他文明和民族的观念。
颅相学实际上缺少任何根底而且具有深入的种族主义颜色，理论是经过丈量不同种族个别之间的身体差异，将人们的表面与他们的行为联系起来。Paglen 说，有那么一群伪科学家经过丈量人们的面孔，以确认他们是否是罪犯。
Paglen 和 Crawford 期望揭穿今日人工智能体系的本相，破坏了人们普遍以为 AI 在某种程度上是中立的，是构建在数学之上的的观念。
值得幸亏的是，ImageNet Roulette提醒了常见机器学习方法的内部作业原理，而不是含糊它们。跟着人工智能的开展，不管好坏，咱们都需求更多相似的东西。
想知道AI怎样点评你吗？传送门：
https://imagenet-roulette.paglen.com/
