联系我们

面试

瓦希德 Behzadan, Director of Secured and Assured Intelligent Learning (SAIL) Lab – Interview Series

mm

已发表

 on

瓦希德 is an Assistant Professor of Computer Science and 数据科学 在纽黑文大学。他也是 安全可靠的智能学习(SAIL)实验室

他的研究兴趣包括智能系统的安全性和安全性,人工智能安全问题的心理模型,复杂自适应系统的安全性,博弈论,多智能体系统和网络安全性。

您在网络安全和确保AI安全方面具有广泛的背景。您能否分享您如何被这两个领域吸引的旅程?

我的研究轨迹受到我的两个主要兴趣的推动:发现事情如何破裂,以及学习人脑的机理。从我十几岁起,我就一直积极参与网络安全,因此围绕该领域的经典问题建立了我的早期研究议程。在我毕业的几年后,我偶然发现了一个难得的机会来改变我的研究领域。当时,我刚刚遇到过塞格迪(Szegedy)和古德费洛(Goodfellow)关于对抗性示例攻击的早期作品,并且发现了攻击的想法 机器学习 非常有趣。当我更深入地研究这个问题时,我开始了解AI安全和保障的更广泛领域,并发现它涵盖了我的许多核心利益,例如网络安全,认知科学,经济学和哲学。我也开始相信,这一领域的研究不仅引人入胜,而且对于确保AI革命的长期利益和安全至关重要。

 

您是安全可靠的智能学习(SAIL)实验室的负责人,该实验室致力于为智能机器的安全性奠定具体的基础。您能否详细介绍一下SAIL所做的工作?

在SAIL,我和我的学生致力于解决安全性,AI和复杂系统之间的交集。我们研究的主要重点是从理论和应用的角度研究智能系统的安全性。从理论上讲,我们目前正在研究多主体设置中的价值对齐问题,并正在开发数学工具来评估和优化AI代理在稳定性和鲁棒对齐方面的目标。在实践方面,我们的一些项目探索了诸如自动驾驶汽车和算法交易之类的尖端AI技术的安全漏洞,并旨在开发评估和提高此类技术抵抗对抗性攻击的能力的技术。

我们还致力于机器学习在网络安全中的应用,例如自动渗透测试,入侵尝试的早期检测以及从社交媒体等开放数据源的自动威胁情报收集和分析。

 

您最近领导了一项提议 将AI安全问题建模为精神病理性疾病。你能解释一下这是什么吗?

该项目致力于解决AI代理和系统迅速增长的复杂性:已经非常难以诊断,预测和控制AI行为的不安全行为。 强化学习 代理通过简单地查看其低级别配置来实现非平凡设置。在这项工作中,我们强调在调查此类问题时需要更高级别的抽象。受人类行为问题科学方法启发,我们提出心理病理学是一种有用的高级抽象方法,用于建模和分析AI和AGI中的紧急有害行为。作为概念的证明,我们在学习玩Snake经典游戏的RL代理商中研究了奖励黑客的AI安全问题。我们表明,如果我们添加一个“drug”植入环境后,代理会学习到次优的行为,这可以通过成瘾的神经科学模型来描述。这项工作还提出了基于精神病学治疗方法的控制方法。例如,我们建议使用人工产生的奖励信号作为药物治疗的类似物,以改变药物的有害行为。

 

您对自动驾驶汽车的AI安全性有任何担忧吗?

自动驾驶汽车正成为在网络物理系统中部署AI的杰出示例。考虑到当前机器学习技术对错误和对抗性攻击的基本敏感性,我对半自动驾驶汽车的安全性深感关切。而且,自动驾驶领域遭受严重缺乏安全标准和评估协议的困扰。但是,我仍然充满希望。与自然智能类似,人工智能也容易出错。但是,如果使此类错误的发生率和影响低于人类驾驶员,则自动驾驶汽车的目标仍然可以实现。我们目睹了业界,学术界以及政府为解决这些问题而做出的不断努力。

 

黑客路牌 用贴纸或其他方式可能会混淆 计算机视觉 自动驾驶汽车的模块。您认为这有多大问题?

这些标签和一般的示例性示例在机器学习模型的鲁棒性方面提出了根本性的挑战。引用George E. P. Box的话,“所有模型都错了,但是有些有用 ”。对抗性例子利用了这一点“wrong”模型的性质,这归因于其抽象性以及训练模型所依据的采样数据的局限性。对抗性机器学习领域的最新努力已取得了巨大的进步,以提高对抗性的学习能力 深度学习 此类攻击的模型。从安全的角度来看,总会有一种愚弄机器学习模型的方法。但是,保护机器学习模型的实际目标是将实施此类攻击的成本提高到经济上不可行的程度。

 

您的重点是深度学习和 深度强化学习。为什么这个这么重要?

强化学习(RL)是应用机器学习来控制问题的杰出方法,根据定义,问题涉及对问题环境的操纵。因此,我相信与其他机器学习方法(例如分类)相比,基于RL的系统在现实世界中造成重大损害的风险要高得多。深度学习与RL的集成进一步加剧了这个问题,这使得RL在高度复杂的环境中得以采用。另外,我认为RL框架与人类智能认知的基本机制密切相关,研究RL框架的安全性和漏洞可以更好地洞悉我们脑海中决策的局限性。

 

您是否相信我们即将实现人工智能(AGI)?

这是一个很难回答的问题。我相信我们目前拥有一些可以促进AGI出现的体系结构的构建块。但是,可能需要花费数年或数十年的时间来改进这些体系结构并提高培训和维护这些体系结构的成本效率。在未来的几年中,我们的代理商将以更快的速度变得越来越聪明。我不’认为AGI的出现将以[科学上有效的]标题的形式宣布,但这是逐渐取得进展的结果。另外,我认为我们仍然没有一种广泛接受的方法来测试和检测AGI的存在,这可能会延迟我们实现AGI的第一个实例的时间。

 

我们如何在能够思考的AGI系统中维持安全性,并且该系统最有可能比人类更智能?

我相信,智能行为的赠款统一理论是经济学,也是对代理人如何行动和互动以实现他们想要的东西的研究。人的决定和行动取决于他们的目标,他们的信息和可用资源。社会和合作努力从这种团体的个人成员的利益中产生。另一个例子是刑法,它通过对可能危害社会的行为付出高昂的代价来阻止某些决定。同样,我认为控制激励和资源可以使人与AGI实例之间达到一种平衡状态。当前,AI安全社区在价值一致性问题的保护下对此论文进行了研究。

 

您密切关注的领域之一是反恐。您是否担心恐怖分子接管AI或AGI系统?

关于滥用AI技术存在许多担忧。就恐怖行动而言,主要关注的是恐怖分子易于发展和进行自主攻击。越来越多的同事积极警告开发自动武器的风险(请参阅 //autonomousweapons.org/ )。具有AI功能的武器的主要问题之一是难以控制基础技术:AI处于开源研究的最前沿,任何可以访问互联网和消费级硬件的人都可以开发有害的AI系统。我怀疑自动武器的出现是不可避免的,并认为不久将需要新的技术解决方案来对付此类武器。这可能导致猫捉老鼠的循环,从而推动了AI武器的发展,从长期来看,这可能会带来严重的生存风险。

 

我们如何做才能使AI系统免受这些对抗代理的侵害?

第一步也是最重要的一步是教育:所有AI工程师和从业人员都需要了解AI技术的漏洞,并在设计和实施系统时考虑相关的风险。至于更多的技术建议,可以采用各种建议和解决方案概念。例如,在对抗性环境中训练机器学习代理可以提高其抵御规避和政策操纵攻击的能力和健壮性(例如,请参阅我的论文标题为“任何不会破坏深度强化学习的东西,都会使其变得更强大“)。另一种解决方案是在代理的架构中直接考虑对抗攻击的风险(例如,风险建模的贝叶斯方法)。但是,这方面存在很大差距,’迫切需要用于评估AI代理抵抗对抗性攻击的鲁棒性的通用指标和方法。当前的解决方案大多是临时性的,无法提供抵御所有类型攻击的一般能力。

 

关于这些主题,您还有什么要分享的吗?

2014年,Scully等人。在NeurIPS会议上发表了一篇具有启发性的论文: “机器学习:技术债务的高利息信用卡“。即使在过去几年中该领域取得了所有进步,该声明仍未失去其有效性。 AI和机器学习的当前状态令人赞叹不已,但我们仍需填补AI基础和工程方面的大量重大空白。我认为,这一事实是我们谈话中最重要的内容。我当然不是要阻止AI技术的商业采用,而只是希望使工程界能够在决策中考虑当前AI技术的风险和局限性。

我真的很喜欢学习有关不同类型的AI系统的安全性和挑战性。这确实是个人,公司和政府需要意识到的事情。希望了解更多信息的读者请访问 安全可靠的智能学习(SAIL)实验室.

安东尼·塔迪夫(Antoine Tardif)是 Futurist 他对AI和机器人技术的未来充满热情。他是 BlockVentures.com并已投资了50多个AI和区块链项目。他是的联合创始人 Securities.io 一个专注于数字证券的新闻网站,是unite.AI的创始合伙人。他也是 福布斯技术委员会。