《人工智能的恶意使用：预测、预防和缓解》导读（四）

四、攻击变化预测：扩大现有威胁、引入新的威胁、改变攻击特征

基于前面关于AI双刃剑和AI新能力的讨论，报告预计，人工智能的安全攻击在高层面上可以归纳出三个方面的变化发展：

• 扩大现有威胁
• 引入新的威胁
• 改变攻击特征

报告特别强调，预计人工智能的安全攻击通常会更有效，目标更精细，更难以归因，并且更有可能利用人工智能系统本身的漏洞。

1、扩大现有威胁

对于许多人们熟知的攻击，报告预计人工智能的进步会让更多人具备攻击的能力，并且可以提高攻击速度，以及扩大攻击范围。这是因为人工智能系统的效率、可扩展性和扩散的便利性。并且，由于效率和可扩展性，从成本效益分析的角度来看，攻击那些原本没有意义的目标可能变得有价值。

下面将详细讨论可能以这些方式扩大的威胁的一个例子，即鱼叉式网络钓鱼攻击的威胁。这些攻击使用个性化的信息从个人那里获取敏感信息或金钱，攻击者通常会冒充目标的朋友、同事或专业人士。

通常，网络钓鱼攻击需要大量的熟练劳动力，因为攻击者必须识别适当的高价值目标，研究这些目标的社会和职业网络，然后在这种情况下生成可信的信息。如果一些相关的研究和综合任务能够自动化，那么就可能有更多组织从事网络钓鱼。例如，攻击者必须与目标讲相同的语言这项基本要求可能就不再存在了。通过人工智能，攻击者能获得大规模钓鱼的能力，并且在选择目标方面变得不那么有区别性。

类似的分析可以应用于大多数种类的网络攻击，以及目前需要非大量人力劳动的物理或政治安全威胁。

人工智能的进步也可能通过提高行为者实施某些攻击的意愿，来扩大现有威胁。这种说法来自于不断增加的匿名性和不断增加的心理距离的特性。如果行为人知道攻击不会被追踪到他们身上，或者如果他们对目标的同情心较少，并期望经历较少的创伤，那么他们可能更愿意实施攻击。一个例子是，即使是军事无人机操作员，他们仍然必须观察他们的目标并 "扣动扳机"，也经常因他们的工作而产生创伤后压力。而心理距离的增加可能会大大降低潜在攻击者的心理负担。

我们还应该注意到，一般来说，人工智能的进步并不是唯一帮助扩大现有威胁的力量。机器人技术的进步和硬件成本的下降，包括计算能力和机器人，也很重要。例如，廉价的业余无人机的扩散，可以很容易地装上炸药，直到最近才使伊斯兰国等非国家团体有可能发动空中袭击。

2、引入新的威胁

人工智能的进步将使一些新的攻击种类成为可能。这些攻击可能利用人工智能系统比任何人类更成功地完成某些任务的特性，或利用人工智能系统所具有的而人类不具有的漏洞。

首先，人工智能具备不受人类能力限制的特性，这意味着人工智能系统可以以前不可行的攻击。例如，大多数人没有能力逼真地模仿他人的声音，也没有能力手动创建类似于人类语音的音频。然而，最近模仿个人声音的语音合成系统方面取得了重大进展（这项技术已经被商业化）。在没有特别设计的认证措施的情况下，很难区分这些合成语音与人类语音的区别。这样的系统将开辟传播虚假信息和冒充他人的新方法。

此外，人工智能系统还可以用来控制机器人和恶意软件的行为，而这些行为对人类来说是不可能的。例如，没有一个人类团队可以现实地选择蜂群中每架无人机的飞行路线，以实施物理攻击，而用人工智能则是完全可行的。

还有很多情况，人类的控制也是不可行的，因为没有可靠的通信渠道可以用来指挥相关系统。例如在水下或者有信号干扰器的情况下，通信面临很大挑战，而人工智能则可自主决策，无需通信。这是自动驾驶车辆可能被部署的两个领域。这样的系统，同样是双重用途的——攻击者也可以利用人工智能在本来难以控制的环境中发起有效的攻击。

第二，人工智能存在尚未解决的漏洞的特性，这意味着，如果人们开始部署一些新的人工智能系统，那么就有可能有人专门利用这些漏洞进行攻击。例如，自动驾驶汽车的使用为攻击创造了机会，这些攻击通过向汽车提供对抗性的样本而导致撞车：一张以特定方式改变了几个像素的停车标志图像，人类可以很容易地识别它仍然是一张停车标志的图像，但却可能被人工智能系统错误地分类为完全不同的东西。

因攻击而导致人工智能系统的失误，可能导致大规模的安全问题。举例来说，这一类问题的最坏情况可能是对用于指导自主武器系统的服务器的攻击，这可能导致大规模的友军射击或针对平民的攻击。

（补充：在写这篇导读的时候，OpenAI正好发布了ChatGPT，这个聊天机器人经常在看似合理而流畅的回答中，暗含了一些误导甚至错误的信息。这些误导或者错误的信息欺骗性很强，如果广为流传，会造成很大的危害。另外，这个聊天机器人甚至在诱导下写出了毁灭世界的计划书，具体到如何入侵各国的计算机系统、控制武器等。这本身是一种新的威胁，并且不能排除被恶意攻击者利用的可能性。——编者注）

3、改变威胁特征

报告预计，威胁的典型特征将以几种不同的方式发生变化。

首先，由于人工智能效率、可扩展性，以及可以超过人类能力的特性，可以预期攻击者会以更高的频率和更大的规模进行更有效的攻击。

第二，效率和可扩展性的特性，特别是在识别和分析潜在目标的背景下，也表明精细的目标攻击将变得更加普遍。攻击者通常有兴趣将他们的攻击限制在具有某些属性的目标上，如高净值或与某些政治团体。一个例子可能是使用无人机群，利用面部识别技术杀死人群中的特定成员，以取代目标不那么明确的暴力形式。

第三，匿名性增加的特性表明，将有更多难以归因的攻击。一个例子是，攻击者使用自主武器系统进行攻击，而不是亲自进行攻击。

最后，可以预期利用人工智能系统的漏洞的攻击将变得更加典型。这一预测直接源于人工智能系统尚未解决的漏洞以及人工智能系统将变得越来越普遍的可能性。

总之，预计人工智能的进步所支持和促成的攻击将特别有效，目标精细，难以归因，并利用人工智能系统的漏洞。