联系我们

自然语言处理

初创公司创建AI工具来检测电子邮件骚扰

mm

更新

 on

自Me Too运动于2017年末开始盛行以来,越来越多的人关注性骚扰事件,包括工作场所骚扰以及通过电子邮件或即时消息进行的骚扰。

据《卫报》报道,AI研究人员和工程师一直在开发名为MeTooBots的工具,以通过文本通信检测骚扰。全球公司正在实施MeTooBots,以标记可能有害和骚扰的通信。其中一个例子是由Nex AI公司创建的机器人,目前有大约50个不同的公司正在使用该机器人。该漫游器利用一种算法来检查公司文档,聊天和电子邮件,并将其与欺凌或骚扰消息的培训数据进行比较。尽管Nex AI并未透露机器人在其分析的所有通信中寻找的特定术语,但是被认为可能具有骚扰性或有害性的消息可以发送给人力资源经理进行审查。

其他初创公司也创建了AI驱动的骚扰检测工具。人工智能初创公司Spot拥有一个聊天机器人,该聊天机器人能够使员工匿名举报性骚扰指控。该机器人将提出问题并提供建议,以收集更多详细信息并进一步调查该事件。 Spot希望帮助人力资源团队以敏感的方式处理骚扰问题,同时仍要确保匿名性。

据《卫报》报道,麻省理工学院和哈佛大学AI教授Brian Subirana教授解释说,尝试使用AI来检测骚扰有其局限性。骚扰可能非常微妙且难以发现,通常仅在检查数周数据时才表现出来,从而表现出来。到目前为止,机器人还无法超越某些触发词的检测范围,而是分析可能发挥作用的更广泛的人际关系或文化动态。尽管检测到骚扰非常复杂,但Subirana确实认为,僵尸程序可以在打击在线骚扰中发挥作用。 Subirana可能会看到这些机器人被用来训练人们看到骚扰后发现的骚扰,从而创建了可能存在问题的消息的数据库。 Subirana还指出,可能存在安慰剂效应,即使人们怀疑自己的信息可能受到审查,即使他们没有受到骚扰,也可能使人们不太可能骚扰同事。

尽管Subirana确实认为机器人可以在打击骚扰中发挥潜在作用,但Subirana还认为,数据的机密性和隐私是一个主要问题。 Subirana指出,如果滥用这种技术,可能会造成不信任和怀疑的气氛。妇女权益非政府组织Fawcett Society的首席执行官Sam Smethers也对如何滥用漫游器表示关注。 Smethers说:

“我们希望仔细研究该技术的开发方式,背后的支持者,以及所采用的方法是否受到旨在防止骚扰和促进平等的工作场所文化的启发,或者实际上是否只是另一种方式控制员工。”

机器人开发商,公司和监管机构之间必须制定出使用机器人程序检测骚扰并仍然保护匿名和隐私的方法。在仍然保护隐私的同时,利用机器人和AI的预测能力的一些可能方法包括保持通信匿名。例如,机器人可以生成报告,其中仅包括潜在有害语言的存在情况以及可能引起骚扰的语言出现频率的计数。然后,HR可以在意识研讨会之后了解是否有毒语言的使用正在减少,或者反过来可以确定是否应寻求增加骚扰的想法。

尽管在适当使用上存在分歧 机器学习 骚扰检测算法和机器人程序,双方似乎都同意,在发生骚扰的情况下进行干预的最终决定应该是人为干预,并且机器人程序只能警告人们注意匹配的模式,而不是明确地说某事是骚扰。