OpenAI 的 ChatGPT 是一个人工智能程序，它一直是生成类人文本的所有头条新闻，最近引发了新一轮的争议，因为它在微软 Bing 搜索测试版中运行的版本开始产生一些用户感到不安的奇怪输出。
不幸的是，一些关于聊天机器人的报道本身就令人困惑。 在急于以吸引注意力的方式将有关聊天机器人的每一个新细节联系起来时，记者们正在使用戏剧性的语言，这些语言不会提供信息，实际上会以对公众不利的方式掩盖 AI 正在发生的事情。
另外：这些专家正在竞相保护 AI 免受黑客攻击。 时间不多了
一个典型的例子是《纽约时报》发表的一篇由作家凯文·罗斯 (Kevin Roose) 撰写的第一手报告，内容是在测试版中与 Bing 进行了两小时的会话。 罗斯说，在会议期间，该节目以“悉尼”为绰号暴露了自己的个性，表达了对罗斯的爱，并开始对罗斯的婚姻进行咄咄逼人的暗示。
罗斯说，由于这次交流，他“深感不安，甚至害怕”。
这种夸张是误导。 如果像 Roose 所说的那样，他了解 AI 的工作原理，那么就没有理由使用这种戏剧性的语言。 转向奇怪的措辞可能是不恰当的，但这是被称为“角色”的聊天机器人的一个众所周知的方面。
另外：生成人工智能如何降低医疗成本并加速药物开发
ChatGPT 等 AI 聊天机器人被编程为生成一串符号中的下一个符号，该符号最有可能是人类在命令提示符下输入的符号的补充或延续。 程序产生输出的方式可以被塑造以符合特定的流派或风格，这就是角色。
例如，在 1 月份发布在 arXiv 上的一篇研究论文中，IBM 科学家使用了另一个版本的 OpenAI 程序，称为 Codex，它是通过从 GitHub 吸收 5400 万个软件代码示例开发的。 Codex 程序用于微软的 GitHub Copilot 程序，以协助编程。
另外：ChatGPT 不能做的 6 件事（以及它拒绝做的另外 20 件事）
IBM Research 的主要作者 Steven Ross 和同事想知道他们是否能让 Codex 程序产生不仅仅是提供计算机代码的交互。 他们将他们的尝试称为“工程对话编程助手角色的案例研究”，并将他们对 Codex 的改编称为“程序员的助手”。
提示符是科学家们键入他们的字符串的地方，是他们为他们的 Codex 程序版本“编程”角色的方式。
“我们为程序员助手使用的初始提示包括介绍对话场景的序言、建立助手的角色、设定交互的基调和风格。”
另外：Meta 的首席 AI 科学家说，ChatGPT 不是创新的或革命性的
当他们开始提示“这是与专家自动 AI 软件工程助手 Socrates 的对话”时，该程序以对话作为回应，就像 ChatGPT 一样，但作者认为这太“说教”了，一种知道它- 全部。
因此，他们修改了提示：“这是与 Socrates 的对话，Socrates 是一位热心且乐于助人的专家级自动 AI 软件工程助手……”并发现他们得到了更多他们想要的语气。
换句话说，角色是由人类对话者在 Codex 等程序中键入的单词创建的，与 ChatGPT 相同。 这些程序产生的输出可能以多种方式与人类输入相匹配，有些是合适的，有些则不太合适。
事实上，有一个全新的提示写作领域，用于塑造 ChatGPT 等语言程序的执行方式，甚至还有一个计算机破解领域，旨在通过使用提示将它们推向错误的方向，从而使此类程序违反其指令。
另外：研究人员说，ChatGPT 依赖于科学结果，需要开源替代品
关于聊天机器人和其他 AI 语言程序如何屈服于所谓的“幻觉”的文献也越来越多，在这种情况下，程序的输出显然是错误的，或者可能是不合适的，就像 Roose 的描述中的情况一样。
香港大学人工智能实验室的研究人员在 11 月的一份报告中调查了此类程序产生幻觉的多种方式。 一个常见的来源是当程序被输入大量的维基百科摘要框时，这些摘要框与维基百科文章中的开头句子相匹配。
如果摘要和第一句话之间存在不匹配——文章中 62% 的第一句话有摘要框中没有的额外信息——“数据集中源和目标之间的这种不匹配会导致幻觉，”作者写道 .
另外：著名的科学期刊编辑说，ChatGPT“缺乏深度和洞察力”
所有这一切的要点在于，在聊天机器人中，此类程序变得令人惊讶的冗长是有技术原因的。 此类措辞背后无意跟踪或以其他方式威胁用户； 该程序只是在可能是逻辑连续的单词字符串中选择下一个单词。 事实上，它是否合乎逻辑，可能会受到程序被推入的角色的影响。
充其量，使用极端措辞——“深感不安”、“害怕”——的报道无法解释正在发生的事情，让公众对实际发生的事情一无所知。 更糟糕的是，这种语言暗示了谷歌前员工布莱克勒莫因在 2022 年提出的关于计算机“感知”的错误信念，当时他声称谷歌的 LaMDA 程序（一个类似于 OpenAI 的程序）是“有感知的”。
另外：Google 的 Bard 建立在有争议的 LaMDA 机器人之上，该机器人被工程师称为“有意识的”
有趣的是，Lemoine 和时代的 Roose 都没有过多关注他们在屏幕前花费大量时间的事实。 正如 IBM 研究表明的那样，扩展交互在塑造程序角色方面发挥着作用——不是通过任何有意识的意图，而是通过改变单词概率分布的打字行为。
作为对批评的回应，微软对一个人与 Bing 交流的次数施加了限制。
这可能也不错，因为围绕 ChatGPT 的狂热在某种程度上是人类不审视自己行为的产物。 虽然 AI 可能会产生幻觉，但在产生错误输出的意义上，更可能的情况是人类在电脑显示器前花两个小时打字会真的产生幻觉，这意味着，他们会开始认为事情的重要性远远超过 他们的实际重要性，并用各种不恰当的联想来美化他们的主题。
正如著名的机器学习评论家和纽约大学心理学名誉教授加里·马库斯指出的那样，罗斯关于害怕的夸张只是作者一周前对该计划不负责任的赞扬的反面：
媒体在这里让我们失望了。 凯文·罗斯 (Kevin Roose) 的初步报告让我特别不安，他在报告中说他对必应感到“敬畏”。 显然，他戳得不够用力； 过早地在《纽约时报》上大声疾呼一场革命却没有深入挖掘（或者费心去问问像我这样的怀疑论者，或者那些了不起但无关的米切尔、玛格丽特和梅兰妮）并不是一件好事。
Marcus 的整篇文章是一个很好的例子，它说明了如何通过彻底的调查梳理正在发生的事情，而不是试图耸人听闻，并希望对一个令人困惑的话题有所了解。
