联系我们

人工神经网络

Google研究人员发现规格不足问题阻碍了许多AI12博下载app

mm

已发表

 on

最近,来自Google的一组研究人员发现了AI12博下载app失败的常见原因,指出规格不足是导致AI12博下载app失败的主要原因之一。 机器学习 12博下载app在现实世界中的性能通常与测试和开发期间的性能完全不同。

机器学习12博下载app在现实环境中处理任务时通常会失败,即使12博下载app在实验室中表现最佳。训练/开发与实际表现之间不匹配的原因有很多。 AI12博下载app在实际任务中失败的最常见原因之一是被称为数据转移的概念。数据移位是指用于开发机器学习12博下载app的数据类型与应用期间输入到12博下载app中的数据之间的根本区别。举个例子, 计算机视觉 经过高质量图像数据训练的12博下载app在由12博下载app的日常环境中发现的低质量相机捕获的数据馈送时将难以执行。

根据麻省理工学院技术评论,由40位来自Google的不同研究人员组成的团队发现了另一个原因,即机器学习12博下载app的性能可能会发生巨大变化。问题是“规格不足”,这是一个统计概念,用于描述观察到的现象有许多可能原因的问题,而并非所有原因都由12博下载app解决。据研究负责人亚历克斯·D’恋爱,这个问题在许多机器学习12博下载app中都可以看到,并说这种现象``无处不在''。

训练机器学习12博下载app的典型方法包括向12博下载app提供大量数据,它可以分析并从中提取相关模式。之后,向12博下载app提供它没有的示例’并要求他们根据已了解的功能预测这些示例的性质。一旦12博下载app达到一定程度的准确性,通常就认为培训已经完成。

根据Google研究小组的说法,需要做更多的工作以确保12博下载app能够真正推广到非训练数据。训练机器学习12博下载app的经典方法将产生可能都通过测试的各种12博下载app,但是这些12博下载app的微小差异似乎微不足道,但却没有意义。’t。12博下载app中的不同节点将分配有不同的随机值,或者可以以不同的方式选择或表示训练数据。这些变化很小,通常是任意的,并且如果它们对12博下载app在训练过程中的表现没有很大的影响,那么它们很容易被忽略。但是,当所有这些小变化的影响累积时,它们可能导致实际性能发生重大变化。

这种规格过低的问题是有问题的,因为这意味着即使培训过程能够生成好的12博下载app,它也可能会生成不良的12博下载app,并且只有在12博下载app退出生产并投入使用后才能发现差异。

为了评估规格不足的影响,研究小组研究了许多不同的12博下载app。每个12博下载app都使用相同的训练过程进行训练,然后对12博下载app进行一系列测试,以突出显示性能差异。在一个实例中,在ImageNet数据集上训练了50种不同版本的图像识别系统。除了在训练开始时随机分配的神经网络值外,这些12博下载app都相同。用于确定12博下载app差异的压力测试是使用ImageNet-C进行的,ImageNet-C是原始数据集的一种变体,包含通过对比度或亮度调整而改变的图像。这些12博下载app还在ObjectNet上进行了测试,ObjectNet是一系列图像,这些图像以不寻常的方位和上下文呈现日常对象。即使所有50个12博下载app在训练数据集上的表现大致相同,但是当12博下载app通过压力测试运行时,表现却波动很大。

该研究小组发现,当他们训练和压力测试两个不同的NLP系统以及测试其他各种计算机视觉12博下载app时,也会发生类似的结果。在每种情况下,尽管所有12博下载app的训练过程都相同,但12博下载app之间彼此之间却大相径庭。

根据D'Amour的说法,机器学习的研究人员和工程师在发布12博下载app之前需要做更多的压力测试。鉴于压力测试需要使用来自现实世界的数据来针对特定任务进行量身定制,因此很难做到,对于某些任务和环境而言,这些数据可能很难获得。解决规格不足问题的一种潜在解决方案是一次生成多个12博下载app,然后在一系列实际任务中测试该12博下载app,并选择能够始终显示最佳结果的12博下载app。以这种方式开发12博下载app需要花费大量时间和资源,但是这种权衡是值得的,尤其是对于医疗环境或其他安全性最重要的领域中使用的AI12博下载app而言。正如D'Amour所说 通过麻省理工学院技术评论:

“我们需要更好地准确说明我们对12博下载app的要求。因为最终最终会发生的情况是,我们只有在12博下载app失效后才发现这些要求。”