《人工智能的恶意使用：预测、预防和缓解》导读（五）

五、攻击场景预测：数字空间、物理世界、政治环境

报告在分析了AI提供的新能力以及由此带来的安全攻击的变化后，进一步在以下三种场景下，列举了一些可能的具体攻击形式：

1. 数字安全
2. 物理安全
3. 政治安全

此外，报告还针对上述领域中安全形势带来的影响，以及相关机构和人员的反应等进行了讨论，本导读将略过此部分，读者有兴趣请自行查看原文第三章。

这里仅针对报告对攻击场景的预测做一些介绍。在这些场景中，原报告还生动地撰写了一些虚构的故事来增强读者的理解。这些虚构故事在本导读中也都略过了。

1. 数字安全

• 社会工程攻击的自动化。受害者的网上信息被用来自动生成他们可能会点击的定制的恶意网站/邮件/链接，这些网站/邮件/链接来自冒充其真实联系人的地址，并使用模仿这些联系人的写作风格。随着人工智能的进一步发展，有说服力的聊天机器人可能会通过与人进行更长时间的对话来获得人类的信任（最近发布的ChatGPT可能是一个潜在的例子——编者注），也许最终会在视频聊天中伪装成另一个人的样子。
• 漏洞发现的自动化。代码漏洞的历史模式被用来加速发现新的漏洞，以及创建利用这些漏洞的代码。
• 更复杂的黑客攻击自动化。人工智能被用来（自主地或与人类协同）改善目标的选择和优先次序，逃避检测，并创造性地应对目标行为的变化。自主软件能够利用系统中的漏洞已经有很长一段时间了，但更复杂的人工智能黑客工具可能会表现出更好的性能，与历史上可能出现的情况相比，最终（尽管可能在一段时间内不会出现），与人类相比，都是如此。
• 类似人类的DOS拒绝服务。模仿人类的行为(例如，通过人类速度的点击模式和网站导航），大量的自主代理人群压倒了一个在线服务，阻止了合法用户的访问，并可能使目标系统进入一个较不安全的状态。
• 网络犯罪中的服务任务自动化。网络犯罪分子利用人工智能技术将构成其攻击管道的各种任务自动化，如付款处理或与勒索软件受害者对话。
• 利用机器学习对网络攻击的目标进行优先排序。大型数据集被用来更有效地筛选目标受害者，例如通过估计个人财富和基于在线行为的支付意愿。
• 滥用人工智能的应用，特别是在信息安全方面。数据中毒攻击被用来偷偷地施害，或在消费者机器学习模型中创建后门。
• 提取专有人工智能系统能力的黑箱模型。通过系统地发送输入并观察其输出，推断出一个远程人工智能系统的参数。

2. 物理安全

• 恐怖分子对商业人工智能系统的再利用。商业系统被用于有害和非预期的方式，如使用无人机或自动驾驶汽车运送炸药和造成撞车。
• 赋予低技能的人以以前高技能的攻击能力。人工智能促成的高技能能力的自动化--如自动瞄准、远程狙击步枪--减少了执行某些类型的攻击所需的专业知识。
• 攻击规模的扩大。使用自主系统的人机合作增加了个人或小团体的破坏力：例如，一个人用许多武器化的自主无人机发起攻击。
• 蜂拥式攻击。自主机器人系统的分布式网络，以机器的速度进行合作，提供无处不在的监视，以监测大面积和群体，执行快速、协调的攻击。
• 攻击者在时间和空间上进一步分离。由于自主操作，包括在不可能与系统进行远程通信的环境中，物理攻击与发起攻击的行为者进一步分离。

3. 政治安全

• 国家利用自动化监控平台来压制异议。国家的监控权力通过图像和音频处理的自动化而得到扩展，允许为无数的目的，包括压制辩论，大规模地收集、处理和利用情报信息。
• 虚假的新闻报道与逼真的捏造的视频和音频。高度逼真的视频中，国家领导人似乎发表了他们实际上从未发表过的煽动性言论。
• 自动的、超级个性化的虚假信息活动。以摇摆区的个人为目标，提供个性化的信息，以影响他们的投票行为。
• 自动化地影响选举活动。利用人工智能对社交网络进行分析，以确定关键的影响者，然后用（恶意的）报价或虚假信息来接近他们。
• DOS拒绝信息攻击。利用机器人驱动的大规模信息生成攻击，用噪音（虚假或仅仅是分散注意力的信息）淹没信息渠道，使其更难获得真正的信息。
• 对信息可用性的操纵。媒体平台的内容策划算法被用来促使用户接近或远离某些内容，以操纵用户行为。