商业电子邮件泄露去年取代勒索软件成为威胁组织的最主要的经济动机攻击媒介，并且可能会变得更难以追踪。 Abnormal Security 的新调查表明，攻击者正在使用生成式 AI 来创建网络钓鱼电子邮件，其中包括今年早些时候由名为 Firebrick Ostricth 的演员标记的那种供应商假冒攻击。
根据 Abnormal 的说法，通过使用 ChatGPT 和其他大型语言模型，攻击者能够制作社会工程邮件，而这些邮件不会出现格式问题、非典型语法、不正确的语法、标点符号、拼写和电子邮件地址等危险信号。
Abnormal 机器学习主管 Dan Shiebler 表示，该公司使用自己的人工智能模型来确定发送给客户的某些后来被识别为网络钓鱼攻击的电子邮件可能是人工智能生成的。 “虽然我们仍在进行全面分析，以了解人工智能生成的电子邮件攻击的程度，但 Abnormal 发现，带有人工智能指标的攻击数量占所有攻击的百分比明显增加，特别是在过去几周，”他 说。
使用 Facebook 虚假违规行为作为诱饵
Abnormal 指出的一种新策略涉及欺骗官方 Facebook 通知，告知目标他们“违反了社区标准”并且他们的页面已取消发布。 然后，用户被要求点击链接并提出上诉，这会导致网络钓鱼页面获取用户凭据，使攻击者能够访问目标的 Facebook 页面，或在暗网上进行销售。
Shiebler 表示，Facebook 欺骗内容中的文本与 Meta for Business 中预期的语言几乎相同，这一事实表明，不太熟练的攻击者将能够轻松避免常见的网络钓鱼陷阱。
他说：“电子邮件攻击中生成式人工智能的危险在于，它允许威胁行为者编写越来越复杂的内容，从而使他们的目标更有可能被欺骗，点击链接或遵循他们的指示。”他补充说，人工智能也可以 用于创造更大的个性化。
“想象一下，如果威胁行为者在 ChatGPT 查询中输入受害者的电子邮件历史记录或 LinkedIn 个人资料内容的片段。 电子邮件将开始显示受害者期望的典型上下文、语言和语气，使 BEC 电子邮件更具欺骗性，”他说。
看起来像网络钓鱼，但可能是海豚
根据 Abnormal 的说法，检测使用人工智能制作电子邮件的网络钓鱼漏洞的另一个复杂问题是误报结果。 Shiebler 指出，由于许多合法电子邮件是使用常用短语从模板构建的，因此它们可以被人工智能标记，因为它们与人工智能模型生成的内容相似，他说分析确实表明电子邮件可能是由人工智能创建的， “我们使用该信号（以及数千个其他信号）来确定恶意意图。”
人工智能生成的供应商妥协、发票欺诈
异常发现由生成人工智能构建的商业电子邮件妥协实例，旨在冒充供应商，其中包含请求向非法支付门户付款的发票。
在 Abnormal 标记的一个案例中，攻击者冒充目标公司的员工帐户，并用它向工资部门发送虚假电子邮件，以更新文件中的直接存款信息。
Shiebler 指出，与传统的 BEC 攻击不同，人工智能生成的 BEC 齐射是专业编写的。 “它们的写作带有一种正式感，这是围绕商业问题所应有的，”他说。 他补充道：“冒充的律师也来自现实生活中的律师事务所，这一细节让电子邮件更具合法性，也更有可能欺骗受害者。”
知己知彼：用人工智能捕捉人工智能
Shiebler 表示，检测 AI 作者身份涉及镜像操作：通过 AI 预测引擎运行 LLM 生成的电子邮件文本，以分析 AI 系统选择电子邮件中每个单词的可能性。
Abnormal 使用开源大型语言模型来分析在给定单词左侧上下文的情况下可以预测电子邮件中每个单词的概率。 “如果电子邮件中的单词始终具有很高的可能性（意味着每个术语与人工智能模型所说的内容高度一致，比人类文本更一致），那么我们将电子邮件分类为可能由人工智能编写，”他说。
Shiebler 警告说，由于员工使用人工智能创建电子邮件内容的合法用例有很多，因此以涉嫌恶意为由阻止所有人工智能生成的电子邮件是不切实际的。 他说：“因此，电子邮件具有人工智能指标这一事实必须与许多其他信号一起使用，以表明恶意意图。”他补充说，该公司通过 OpenAI Detector 和 GPTZero 等人工智能检测工具进行进一步验证。
“合法的电子邮件可能看起来是人工智能生成的，例如模板化消息和机器翻译，这使得捕获合法的人工智能生成的电子邮件变得困难。 当我们的系统决定是否阻止电子邮件时，它会包含许多信息，而不仅仅是人工智能是否使用身份、行为和相关指标生成了电子邮件。”
如何对抗人工智能网络钓鱼攻击
Abnormal 的报告建议组织实施基于人工智能的解决方案，可以检测高度复杂的人工智能生成的攻击，这些攻击几乎无法与合法电子邮件区分开来。 他们还必须了解人工智能生成的电子邮件何时是合法的，何时是恶意的。
报告称：“将其视为对抗坏人工智能的好人工智能。” 该公司表示，最好的人工智能驱动工具能够对整个电子邮件环境中的正常行为进行基线分析，包括典型的特定于用户的通信模式、风格和关系，而不是仅仅寻找典型（且千变万化）的妥协指标。 因此，他们可以检测到可能表明潜在攻击的异常现象，无论异常现象是由人类还是人工智能造成的。
Sheibler 表示：“组织还应实行良好的网络安全卫生，包括实施持续的安全意识培训，以确保员工对 BEC 风险保持警惕。” “此外，实施密码管理和多因素身份验证等策略将确保组织在任何攻击成功时可以限制进一步的损害。”
