U of T news
  • 跟随你的消息

U of T Engineergents学生的研究,麻省理工学院采用偏见AI面部识别技术

最近的一项关于Deb Raji.和MIT Media Lab的研究人员的研究表明,需要更强大的AI产品评估做法,以减轻性别和种族偏见(liz do.)

一项研究 Deb Raji., a fourth-year student in the University of Toronto’s Faculty of Applied Science & 工程, and researchers at the Massachusetts Institute of 技术 is underscoring the racial and gender biases found in facial-recognition services.

Raji将于2018年夏天作为MIT媒体实验室的实习生,她审核了Microsoft,IBM和亚马逊等领先公司所作的商业面部识别技术。研究人员发现,所有这些都倾向于将肤浅的女性误认为男性更暗。

但特别是一项服务 - 亚马逊的重新识别 - 比其他人显示出更高的偏差。虽然它可以识别轻皮的男性的性别,近100%的准确性,虽然将妇女分类为29%的时间,以及男性的肤色较暗的31%。

重新识别最近由佛罗里达州的警方驾驶,佛罗里达州的警察,在监管场景中使用服务,如相机上的扫描面,并将它们与犯罪数据库中的方案相匹配。

“这项技术不表征黑色面孔的事实可能导致嫌疑人的错误识别,”拉吉说。 “亚马逊将到期一些公共压力,鉴于他们使用这项技术的高赌注场景。”

随着人工智能(AI)产品的快速进步和部署,这项新的研究强调了不仅需要进行性能测试系统的需要,而且还针对针对非代表性群体的潜在偏见。

虽然算法应该是中立的,但是Raji解释说,因为数据集 - 用于“训练”AI型号的信息 - 来自仍然仍然使用日常偏见的社会来源,这些偏差变得嵌入到算法中。

“让我们说我想要健康皮肤的样子的例子。如果您现在谷歌,您将看到主要是轻微的肤色的女性,“Raji说。 “你不会看到一个人的页面,你不会看到一个暗的女人,直到你真的向下滚动。如果您将其送入AI型号,则采用此世界观,并根据这些偏见来互补其决策。“

拉吉说,应该被召开这些偏见,正如一个人持有一个人所责任的那样。当您将偏差置于算法与人类进行偏见的决定时,这种危险会增加。有人会告诉你这是错的,无论是公众还是你的老板,“她说。

“与AI一起,我们倾向于避免这种责任。没有人会在监狱里举行算法。“

Raji对机器学习中偏见主体的热情来自她的时间在创始的Clarifai Ai上的工作经验,在那里定期讨论了AI和道德的主题,在研究型公司中讨论了。

“这是公司注意到的事情,非常明确地寻求解决,这是一个与我相盟的主题,因为我是一个可见的少数,”她说。

它还源于她自己的个人经验,具有种族偏见的技术。 “我会在一个哈克松建造一些东西,并想知道为什么它无法察觉,或者为什么自动龙头不能察觉我的手,”她说。

Raji在MIT的媒体实验室分享了与计算机科学家和数字活动家欢乐Buolamwini的经历。这导致了实习,并向拉吉成为领导作者 论一篇论文,她在AI伦理和社会上提出了人工智能大会进步的协会.

“我知道看起来我在三个月内写了一篇研究文件,”拉吉说。 “但这个问题一直在渗透我的内心更长。”

Raji目前正在工程科学的最后一项历史,并运行一个名为项目的学生主导的倡议,其中列出了学生在多伦多和密西西达的低收入社区教授计算机编程。她也是谷歌AI的指导。作为委任计划的一部分,她正在致力于侧重于持有公司负责任的实际解决方案。

“人们有时透露迫切之处,”好吧,AI就是如此之新,“raji说。 “但如果你正在建造一座桥梁,该行业是否会让你削减角落并制作这些借口?”