对于 GPT-4,OpenAI 选择保密而不是披露

2023-04-20 0 707

对于 GPT-4,OpenAI 选择保密而不是披露

人工智能研究的一个共同主线是在研究论文中披露软件的技术细节,以便该领域的其他人可以理解这些程序并从中学习。

随着 OpenAI 的 GPT-4 程序的发布,这一传统在周二跨过了门槛,这是构成广受欢迎的 ChatGPT 聊天机器人核心的一系列程序中的最新技术。

另外:想体验GPT-4? 只需使用必应聊天

在周二发布的 GPT-4 技术报告以及 OpenAI 的博客文章中,该公司表示,出于竞争和安全方面的考虑,它不会提供技术细节。

“考虑到 GPT-4 等大型模型的竞争格局和安全隐患,”它写道,“这份报告没有包含有关架构(包括模型大小)、硬件、训练计算、数据集构建、训练方法的更多细节 ,或类似的。”

“架构”一词指的是人工智能程序的基本构造,人工神经元的排列方式,是任何人工智能程序的基本要素。 程序的“大小”是它使用了多少神经“权重”或参数,这是将一个程序与另一个程序区分开来的关键要素。

此外:AI 先驱表示,ChatGPT 的成功可能会促使 AI 的保密性发生破坏性转变

没有这些细节,GPT-4 程序就是一个完整的谜。 从这个意义上说,研究论文没有披露任何研究。

该论文仅提供了两个句子,以非常广泛的术语描述了该程序的构建方式。

“GPT-4 是一种经过预训练的 Transformer 样式模型,可以使用公开数据(例如互联网数据)和第三方提供商许可的数据来预测文档中的下一个标记。然后使用以下方法对模型进行微调: 从人类反馈中强化学习。”

这两句话都没有提供随便的观察者不会想到的关于该程序的任何内容。

另外:什么是 GPT-4? 这是你需要知道的

缺乏信息披露打破了大多数 AI 研究人员的习惯。 其他研究实验室通常不仅会发布详细的技术信息,还会发布源代码,以便其他研究人员可以复制他们的结果。

此外,缺乏披露与 OpenAI 有限的披露习惯不一致。

顾名思义,GPT-4 是所谓的“生成式预训练转换器”的第四个版本,该程序旨在操纵人类语言。 当该程序的第一个版本于 2018 年首次亮相时,OpenAI 并未提供源代码。 然而,该公司确实详细描述了他们如何组成 GPT-1 的各个工作部分及其架构。

该技术披露使许多研究人员能够推断该程序的功能,即使他们无法复制其构造。

对于 2019 年 2 月 14 日发布的 GPT-2,OpenAI 不仅没有提供源代码,还限制了成品程序的分发。 该公司强调,该程序的功能过于极端,不能冒险发布它,让恶意方利用该程序达到恶意目的。

“由于我们担心该技术的恶意应用,我们不会发布经过训练的模型,”OpenAI 说。

另外:这些专家正在竞相保护 AI 免受黑客攻击

虽然没有发布代码或经过训练的模型,但 OpenAI 研究人员 Alec Radford 和团队确实描述了他们如何修改第一个 GPT,但比之前的版本稍微不那么详细。

2020 年,OpenAI 发布第三个 GPT 时,Radford 和团队再次隐瞒了源代码,他们根本不提供程序的任何下载,而是求助于有等待名单的云服务。 他们说,他们这样做既是为了限制不良行为者对 GPT-3 的使用,也是为了通过收取访问费来赚钱。

尽管存在这一限制,OpenAI 确实提供了一组技术规范,让其他人了解 GPT-3 与前两个版本相比有何重大进步。

与该记录相比,GPT-4 论文标志着缺乏披露的新里程碑。 不仅决定保留源代码和完成的程序,而且还保留允许外部研究人员猜测程序组成的技术细节,这是一种新的遗漏。

另外:如何使用 ChatGPT 来构建你的简历

虽然缺乏技术细节,但长达 98 页的 GPT-4 论文以不同的方式新颖。 它承认为使该计划运作而调集的巨大资源。

技术报告末尾包含三页署名,而不是首页上通常的作者引用,引用了数百名贡献者,包括 OpenAI 的每个人,一直到财务部门:

“我们也承认并感谢上面没有明确提到的每一位 OpenAI 团队成员,包括执行助理、财务、市场、人力资源、法律、运营和招聘团队中的优秀人员。从雇用公司的每个人,到确保 我们拥有令人惊叹的办公空间,建立行政、人力资源、法律和财务结构,使我们能够做到最好,OpenAI 的每个人都为 GPT-4 做出了贡献。”

另外:How to make ChatGPT provide sources and citations

论文中建议 OpenAI 可能会在某个未指定的时间提供进一步的披露,并且可能仍然致力于通过透明度来推动科学进步:

我们致力于对我们的技术进行独立审核,并在本版本随附的系统卡片中分享了该领域的一些初步步骤和想法。 我们计划向其他第三方提供更多技术细节,他们可以就如何权衡上述竞争和安全考虑与进一步提高透明度的科学价值向我们提供建议。

申明:本文由第三方发布,内容仅代表作者观点,与本网站无关。对本文以及其中全部或者部分内容的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。本网发布或转载文章出于传递更多信息之目的,并不意味着赞同其观点或证实其描述,也不代表本网对其真实性负责。

七爪网 行业资讯 对于 GPT-4,OpenAI 选择保密而不是披露 https://www.7claw.com/55315.html

相关文章

发表评论
暂无评论
官方客服团队

为您解决烦忧 - 24小时在线 专业服务