联系我们

伦理

研究人员开发了新的工具来对抗计算机视觉中的偏见

已发表

 on

人工智能(AI)领域最近出现的问题之一是 计算机视觉。现在,许多专家正在发现AI系统中的偏见,从而导致在各种不同的应用程序(例如法庭量刑程序)中产生不正确的结果。

随着普林斯顿大学的最新发展,正在努力解决这些问题。该机构的研究人员创建了一个新工具,能够标记用于训练AI系统的12博下载app中的潜在偏差。 

工作 于8月24日在虚拟的欧洲计算机视觉会议上发表。 

人工智能系统中的偏见

当前AI系统中存在偏差的主要原因之一是,它们经常接受来自在线资源的大量12博下载app训练。这些12博下载app可能是刻板印象,当它们趋向于发展计算机视觉时,其结果可能会无意中影响模型。计算机视觉使计算机能够识别人员,物体和动作。 

研究人员开发的该工具是开源的,并且能够自动显示视觉数据集中的潜在偏差。它可以通过在12博下载app集用于训练计算机视觉模型之前采取行动来工作,并且可以解决围绕代表性不足和陈规定型观念的问题,然后再解决这些问题。 

修改

新工具称为REVISE,它依靠统计方法来识别数据集中的潜在偏差。它着重于基于对象,基于性别和基于地理的三个领域。 

修改是全自动的,并且建立在以前的方法基础上,该方法包括过滤和平衡数据集12博下载app,以便用户可以进行更多控制。 

新工具依靠现有的12博下载app注释和测量来分析数据集中的内容。这些现有注释中的一些注释包括对象计数和12博下载app的原产国。 

在该工具工作的一个示例中,REVISE显示了人和花朵的12博下载app如何根据性别而不同。男性更有可能在仪式或会议上与鲜花一起出现,而女性则更有可能在绘画或舞台场景中与花一起出现。

Olga Russaskovsky是计算机科学的助理教授,也是Visual AI Lab的首席研究员。该论文与研究生Angelina Wang和计算机科学副教授Arvind Narayanan合着。

在工具识别出差异之后,“然后是一个问题,那就是这是一个完全无害的事实,还是正在发生的更深层次的事情,而这很难实现自动化,” Russaskovsky说。  

代表性不足或代表性不足的地区

在计算机视觉数据集中,世界各地的代表性不足,这可能导致AI系统出现偏差。研究结果之一是,来自美国和欧洲国家的12博下载app数量大大增加。 REVISE还透露,来自世界其他地区的12博下载app通常没有使用本地语言的12博下载app说明,这意味着许多12博下载app可能来自游客对一个国家的看法。 

“…这项地理分析表明,物体识别仍然存在很大的偏见和排他性,并且可能不平等地影响不同的地区和人民。” Russaskovsky继续说道。 

“计算机科学天堂中的数据集收集实践’直到最近才受到彻底审查,”王说。当涉及12博下载app收集时,它们是“从互联网上刮下来,人们不知道’•始终意识到它们的12博下载app正在使用(在数据集中)。我们应该从更多不同的人群中收集12博下载app,但是当我们这样做时,我们应该注意’重新获得尊重的12博下载app。”

Vicente Ordonez-Roman是弗吉尼亚大学的计算机科学助理教授。 

“工具和基准测试是重要的一步…它们使我们能够在开发流程中较早地捕获这些偏见,并重新考虑我们的问题设置和假设以及数据收集做法,”奥多涅斯·罗马说。“在计算机视觉中,存在关于刻板印象的表示和传播的特定挑战。普林斯顿视觉AI实验室的工作有助于阐明这些问题,并引起计算机视觉界的注意,并提供缓解这些问题的策略。”

研究人员开发的新工具是帮助纠正AI系统中存在的偏差的重要一步。现在是解决这些问题的时候了,因为随着系统的发展和变得越来越复杂,它将变得更加困难。 

 

亚历克斯·麦克法兰(Alex McFarland)是一位历史学家和新闻工作者,报道了人工智能的最新发展。