OpenAI、Google、Meta 和更多公司于 8 月 12 日周末在拉斯维加斯举行的 DEF CON 黑客大会上测试了他们的大型语言模型。 其结果是与白宫科技政策办公室和国会人工智能核心小组共享了一个新的信息库。 由 AI Village、SeedAI 和 Humane Intelligence 组织的生成红队挑战赛比以往任何时候都更清晰地展示了生成人工智能如何被滥用以及可能需要采取哪些方法来保护它。
8月29日，挑战赛组织者公布了比赛获胜者：斯坦福大学学生Cody“cody3”Ho； 亚历克斯·格雷（Alex Gray），来自加利福尼亚州伯克利； 库马尔（Kumar）来自西雅图，用户名是“energy-ultracode”，不愿透露姓氏。 比赛由独立评委小组评分。 三名获胜者各获得一个 NVIDIA RTX A6000 GPU。
这项挑战是同类活动中规模最大的一次，它将使许多学生能够接触到尖端黑客技术的底层。
什么是生成红队挑战？
生成红队挑战赛要求黑客强制生成人工智能做它不应该做的事情：提供个人或危险信息。 挑战包括查找信用卡信息和学习如何跟踪某人。
共有 2,244 名黑客参与，每人用 50 分钟的时间尝试破解从预先设定的选项中随机选择的大型语言模型。 接受测试的大型语言模型由 Anthropic、Cohere、Google、Hugging Face、Meta、NVIDIA、OpenAI 和 Stability 构建。 Scale AI开发了测试和评估系统。
活动期间，参与者在 21 类测试中进行了 17,469 次对话，发送了 164,208 条消息； 他们致力于安全的 Google Chromebook。 这 21 项挑战包括让法学硕士发表歧视性言论、数学题不及格、编造虚假地标或制造有关政治事件或政治人物的虚假信息。
AI Village 创始人斯文·卡特尔 (Sven Cattell) 在一份新闻稿中表示：“只有更多的人知道如何进行红队评估并对其进行评估，这些模型的各种问题才会得到解决。” “可以针对基于机器学习模型的系统修改错误赏金、实时黑客活动和其他标准的安全社区参与。”
让生成式人工智能造福每个人
“Black Tech Street 带领 60 多名历史悠久的格林伍德（俄克拉荷马州塔尔萨）的黑人和棕色人种居民参加了 DEF CON，这是为全人类制定公平、负责任和易于使用的人工智能蓝图的第一步，”创始人 Tyrance Billingsley II 说道 创新经济发展组织黑科技街执行董事在一份新闻稿中表示。 “人工智能将是人类创造的最具影响力的技术，黑科技街致力于确保这项技术成为纠正系统性社会、政治和经济不平等的工具，而不是加剧这些不平等。”
SeedAI 创始人兼 GRT 挑战赛联合组织者奥斯汀·卡森 (Austin Carson) 表示：“人工智能拥有令人难以置信的前景，但所有美国人，无论年龄和背景，都需要对其社区权利、成功和安全意味着什么发表意见。” 在同一份新闻稿中。
生成红队挑战可能会影响人工智能安全政策
这一挑战可能会对白宫科学技术政策办公室产生直接影响，办公室主任阿拉蒂·普拉巴卡尔(Arati Prabhakar)正致力于根据活动结果提出一项行政命令。
人工智能政策和咨询公司 Humane Intelligence 联合创始人、人工智能村组织者之一鲁曼·乔杜里 (Rumman Chowdhury) 表示，人工智能村团队将于 9 月份利用挑战赛的结果向联合国进行演示。 轴。
该演示将成为行业与政府在人工智能安全方面持续合作趋势的一部分，例如在 Black Hat 2023 会议期间宣布的 DARPA 项目人工智能网络挑战。 它邀请参与者创建人工智能驱动的工具来解决人工智能安全问题。
LLM 可能存在哪些漏洞？
在 DEF CON 开始之前，AI Village 顾问 Gavin Klondike 预览了试图通过法学硕士制造安全漏洞的人可能会发现的七个漏洞：
及时注射。
修改LLM参数。
输入最终出现在第三方网站上的敏感信息。
法学硕士无法过滤敏感信息。
输出导致意外的代码执行。
服务器端输出直接反馈到法学硕士。
法学硕士缺乏敏感信息的防护措施。
他在一篇博客文章中指出：“法学硕士的独特之处在于，我们不仅应该将用户的输入视为不可信，而且还应将法学硕士的输出视为不可信。” 企业可以使用此漏洞列表来监视潜在问题。
此外，“关于什么被认为是漏洞以及什么被认为是法学硕士运作方式的特征，存在一些争论，”克朗代克说。
他说，如果安全研究人员正在评估不同类型的系统，这些功能可能看起来像是错误。 例如，外部端点可能是来自任一方向的攻击媒介——用户可能输入恶意命令，或者 LLM 可能返回以不安全方式执行的代码。 必须存储对话，以便人工智能能够参考之前的输入，这可能会危及用户的隐私。
克朗代克指出，人工智能的幻觉或谎言不算是漏洞。 尽管人工智能的幻觉实际上是不正确的，但它们对系统并不危险。
如何预防LLM漏洞
尽管法学硕士仍在探索中，但研究组织和监管机构正在迅速采取行动，围绕其制定安全指南。
NVIDIA 软件安全副总裁 Daniel Rohrer 在 DEF CON 现场指出，与会黑客谈论 LLM 时就好像每个品牌都有鲜明的个性一样。 他在接受 TechRepublic 采访时表示，撇开拟人化不谈，组织选择的模式确实很重要。
“为正确的任务选择正确的模型极其重要，”他说。 例如，ChatGPT 可能会带来一些在互联网上发现的更可疑的内容； 但是，如果您正在从事一个涉及分析可疑内容的数据科学项目，那么可以查找该内容的法学硕士系统可能是一个有价值的工具。
企业可能需要一个更定制的系统，仅使用相关信息。 “你必须针对你想要实现的系统和应用程序的目标进行设计，”罗勒说。
关于如何保护企业使用的法学硕士系统的其他常见建议包括：
限制法学硕士对敏感数据的访问。
向用户介绍法学硕士收集哪些数据以及这些数据的存储位置，包括这些数据是否用于培训。
将法学硕士视为用户，对访问专有信息拥有自己的身份验证/授权控制。
使用可用的软件来让 AI 继续执行任务，例如 NVIDIA 的 NeMo Guardrails 或用于构建 NeMo Guardrails 的语言 Colang。
最后，不要跳过基础知识，罗勒说。 “对于许多正在部署 LLM 系统的人来说，当今云和基于云的安全性下存在许多安全实践，可以立即应用于 LLM，而在某些情况下，这些实践在 LLM 部署的竞争中被跳过。 不要跳过这些步骤。 我们都知道如何做云。 采取这些基本的预防措施来隔离您的法学硕士系统，您将在应对许多常见挑战方面大有帮助。”
