白宫上周发布了一份关于人工智能使用的声明，其中包括 ChatGPT 等大型语言模型。
该声明解决了人们对人工智能被用来传播错误信息、偏见和私人数据的担忧，并宣布副总统卡玛拉·哈里斯 (Kamala Harris) 与微软旗下 ChatGPT 制造商 OpenAI 的领导人以及 Alphabet 和 Anthropic 的高管举行会议。
但一些安全专家发现，对手在许多方面使用人工智能工具，在没有道德禁止的情况下进行操作，包括在网络钓鱼服务中生成深度伪造品。 他们担心防守者会落后。
对人工智能的使用、误用和潜在的过度依赖
安全运营公司 Arctic Wolf 首席产品官 Dan Schiappa 表示，人工智能“对我们来说将是一个巨大的挑战”。
“虽然我们需要确保合法组织不会以非法方式使用它，但令人不快的事实是，坏人将继续使用它，而我们不会采取任何措施来监管他们，”他说。
根据安全公司 Zscaler 在 ThreatLabz 的 2023 年网络钓鱼报告中的说法，与 2021 年相比，去年网络钓鱼攻击增加了 50%，人工智能工具是造成这种情况的部分原因。此外，聊天机器人人工智能工具还使攻击者能够通过改进目标并更容易地诱骗用户泄露其安全凭证来磨练此类活动。
人工智能为犯罪分子服务并不是什么新鲜事。 三年前，德勤风险保障高级经理 Karthik Ramachandran 在一篇博客中写道，黑客一直在利用人工智能制造新的网络威胁，针对金融服务行业的 Emotet 木马恶意软件就是一个例子。 他还在帖子中声称以色列实体利用它来伪造医疗结果。
根据 Meta 的一份报告，今年恶意软件活动已转向生成人工智能技术。 该报告指出，自 3 月份以来，Meta 分析师发现“……大约 10 个恶意软件家族冒充 ChatGPT 和类似工具来危害互联网上的帐户。”
据 Meta 称，威胁行为者正在使用人工智能在官方网络商店中创建恶意浏览器扩展，这些扩展声称提供与 ChatGPT 相关的工具，其中一些工具包括与恶意软件一起工作的 ChatGPT 功能。
Meta 表示：“这可能会避免商店和用户的怀疑。”该公司还表示，它检测到并阻止了 1,000 多个独特的恶意 URL 在 Meta 应用程序上共享，并将其报告给文件共享服务的行业同行。
常见漏洞
虽然 Schiappa 同意人工智能可以利用恶意代码来利用漏洞，但他认为 LLM 生成的输出质量仍然不稳定。
“围绕 ChatGPT 有很多炒作，但坦率地说，它生成的代码并不好，”他说。
然而，生成式人工智能模型可以显着加速流程，Schiappa 表示，并补充说，此类工具的“隐形”部分——模型中不涉及与用户的自然语言交互的部分——实际上从对抗的角度来看风险更大，从防御的角度来看更强大。
Meta 的报告称，行业防御努力迫使威胁行为者寻找新的方法来逃避检测，包括在尽可能多的平台上传播，以防止任何一项服务的强制执行。
“例如，我们发现恶意软件家族利用我们和 LinkedIn 等服务、Chrome、Edge、Brave 和 Firefox 等浏览器、链接缩短程序、Dropbox 和 Mega 等文件托管服务等。 当他们被抓住时，他们会混合更多的服务，包括较小的服务，以帮助他们掩盖链接的最终目的地，”报告称。
对于防御来说，人工智能是有效的，但有一定限度
着眼于人工智能的防御能力，Endor Labs 最近研究了能够识别源代码和元数据恶意包的人工智能模型。
Endor Labs 安全研究员 Henrik Plate 在 2023 年 4 月的一篇博文中描述了该公司如何看待人工智能的防御性能指标。 作为一种筛查工具，GPT-3.5 仅在 36% 的时间内正确识别出恶意软件，仅正确评估了 9 个包含恶意软件的不同软件包中的 34 个工件中的 19 个。
另外，来自帖子：
44% 的结果为误报。
通过使用无辜的函数名称，AI 能够欺骗 ChatGPT 将评估从恶意更改为良性。
ChatGPT 3.5 版和 4 版得出了不同的结论。
人工智能用于防御？ 并非没有人类
Plate 认为，结果表明使用 GPT-3.5 进行 LLM 辅助的恶意软件审查还不是手动审查的可行替代方案，LLM 对标识符和注释的依赖可能对开发人员有价值，但它们也很容易被对手滥用以逃避恶意行为的检测。
“但是，尽管基于 LLM 的评估不应该用来代替人工审核，但它们肯定可以用作人工审核的一种额外信号和输入。 特别是，它们对于自动审查由噪声检测器产生的大量恶意软件信号非常有用（否则，在审查能力有限的情况下，这些信号可能会被完全忽略），”普拉特写道。
他描述了使用 GPT-3.5 执行的 1,800 个二元分类，其中包括假阳性和假阴性，并指出分类可能会被简单的技巧所欺骗。
Plate 解释说，“创建和发布恶意软件包的边际成本接近于零”，因为攻击者可以在 PyPI、npm 和其他软件包存储库上自动发布恶意软件。
Endor Labs 还研究了欺骗 GPT 做出错误评估的方法，他们能够使用简单的技术将评估从恶意更改为良性，例如使用无辜的函数名称，包括指示良性功能的注释或通过包含字符串文字。
人工智能下国际象棋比驾驶特斯拉更好
CrowdStrike 首席技术官 Elia Zaitsev 表示，作为防御姿态的一部分，人工智能的一个主要致命弱点是，自相矛盾的是，它只“知道”已知的东西。
“人工智能的设计目的是观察过去发生的事情并推断现在正在发生的事情，”他说。 他提出了这个现实世界的类比：“多年来，人工智能一直在国际象棋和其他游戏中碾压人类。 但自动驾驶汽车在哪里？”
“这两个领域之间存在很大差异，”他说。
“游戏有一套受约束的规则。 是的，国际象棋游戏有无限的组合，但我只能以有限的方式移动棋子，所以人工智能在那些受限的问题空间中非常棒。 它所缺乏的是做前所未见的事情的能力。 因此，生成式人工智能是在说‘这是我以前见过的所有信息，这里是统计数据，它们彼此关联的可能性有多大。’”
扎伊采夫解释说，自主网络安全如果能够实现，就必须达到自动驾驶汽车尚未达到的水平。 根据定义，威胁行为者试图规避规则来发起新的攻击。
“当然是有规则的，但不知从哪里突然有一辆车在单行道上逆行了。 你如何解释这一点？”他问道。
对手加人工智能
扎伊采夫表示，对于攻击者来说，以多种方式使用人工智能不会造成什么损失，因为他们可以从人类创造力和人工智能无情的 24/7、机器速度执行的结合中受益。
“因此，在 CrowdStrike，我们专注于三个核心安全支柱：端点、威胁情报和托管威胁搜寻。 我们知道我们需要持续了解对手的间谍技术是如何演变的，”他补充道。
