3月份，OpenAI大张旗鼓地推出了GPT-4，但乌云笼罩在地平线上。科学家和人工智能爱好者都批评该公司没有发布有关该模型的任何细节，例如参数大小或架构。然而，一位顶级人工智能研究人员推测了 GPT-4 的内部运作原理，揭示了 OpenAI 选择隐藏这些信息的原因——这令人失望。
OpenAI 首席执行官 Sam Altman在 GPT-4 上谈到该模型的潜在规模时曾说过一句名言：“人们乞求失望，而且他们一定会失望”。该模型推出前的谣言称，它将拥有数万亿个参数，并且是世界上见过的最好的东西。然而，现实却有所不同。在使 GPT-4 比 GPT-3.5 更好的过程中，OpenAI 可能会贪多嚼不烂。
风衣里有 8 个 GPT
世界著名的黑客和软件工程师George Hotz最近出现在播客中，对 GPT-4 的架构本质进行了推测。Hotz 表示，该模型可能是一组八个不同的模型，每个模型都有 2200 亿个参数。这一猜测后来得到了 PyTorch 联合创始人 Soumith Chintala 的 证实。
虽然这使得 GPT-4 的参数数量达到 1.76 万亿个，但值得注意的是所有这些模型并不是同时工作。相反，它们被部署在专家架构的混合中。这种架构将每个模型分成不同的组件，也称为专家模型。这些模型中的每一个都针对特定目的或领域进行了微调，并且能够为该领域提供更好的响应。然后，所有专家模型利用专家模型的集体智慧与完整的模型一起工作。
这种方法有很多好处。一是由于模型针对各种主题进行了微调，因此得到了更准确的响应。MoE 架构还易于更新，因为模型的维护者可以以模块化方式改进它，而不是更新整体模型。Hotz 还推测该模型可能依赖于迭代推理过程来获得更好的输出。通过这个过程，模型的输出或推理结果通过多次迭代得到细化。
这种方法还可能允许 GPT-4 从每个专家模型中获取输入，这可以减少模型中的幻觉。Hotz表示，这个过程可能要进行16次，这将大大增加模型的运行成本。这种方法类似于三个孩子穿着风衣伪装成成年人的古老比喻。许多人将 GPT-4 比作穿着风衣的 8 个 GPT-3，试图蒙蔽世人的眼睛。
偷工减料
虽然GPT-4 在GPT-3 遇到困难的基准测试中表现出色，但 MoE 架构似乎已成为 OpenAI 的痛点。在现已删除的采访中，Altman 承认了 OpenAI 面临的扩展问题，特别是在 GPU 短缺方面。
在具有 MoE 架构的模型上运行推理 16 次肯定会以类似的规模增加云成本。当扩展到 ChatGPT 的数百万用户时，即使是 Azure 的超级计算机也会出现动力不足也就不足为奇了。这似乎是 OpenAI 目前面临的最大问题之一，Altman 表示更便宜、更快的 GPT-4 是该公司目前的首要任务。
据报道，这还导致 ChatGPT 输出质量下降。在整个互联网上，用户 都 报告说，甚至 ChatGPT Plus 的响应质量也下降了。我们发现 ChatGPT 的发行说明似乎证实了这一点，其中指出：“我们在免费计划中更新了 ChatGPT 模型的性能，以便为更多用户提供服务”。在同一份说明中，OpenAI 还告知用户，Plus 用户将默认使用该模型的“Turbo”变体，该变体已针对推理速度进行了优化。
另一方面，API 用户似乎完全避免了这个问题。Reddit 用户注意到，使用 OpenAI API 的其他产品为他们的查询提供了比 ChatGPT Plus 更好的答案。这可能是因为与 ChatGPT 用户相比，OpenAI API 的用户数量较少，导致 OpenAI 在 ChatGPT 上削减成本，而忽略 API。
在疯狂地将 GPT-4 推向市场的过程中，OpenAI 似乎已经走捷径了。虽然所谓的 MoE 模型在提高 GPT 系列性能方面向前迈出了一大步，但它所面临的扩展问题表明该公司可能只是贪多嚼不烂。
https://analyticsindiamag.com/the-truth-behind-openais-silence-on-gpt-4/
ChatGPT 术语表
如果您有兴趣了解有关 ChatGPT 的更多信息，请使用与在线阅读文章时在日常对话中听到的最相关的类似术语。此ChatGPT 术语表将提供对 50 个最相关术语的更多了解，并附有每个术语的详细描述。
人工智能(AI)正变得无处不在，几乎渗透到我们生活的方方面面。在人工智能技术中，最引人注目的一项是 OpenAI 开发的 ChatGPT。让我们通过最基本的 ChatGPT 术语的综合词汇表深入探讨这项令人着迷的技术。
1. 人工智能 (AI)：这是任何模仿人类智能的系统的总称。这可以包括从语音识别和决策到视觉感知和语言翻译的任何内容。
2.自然语言处理(NLP)：该术语是指专注于计算机与人类通过自然语言进行交互的人工智能领域。NLP 的最终目标是以有价值的方式阅读、破译、理解和理解人类语言。
3. 机器学习(ML)：这是一种人工智能，它使系统能够自动学习并从经验中改进，而无需明确编程。机器学习专注于开发可以访问数据并使用数据进行自我学习的计算机程序。
4.深度学习：这是机器学习的一个子集，基于具有表示学习的人工神经网络。深度学习模型可以实现最先进的准确性，在某些任务中通常超过人类的表现。
5.生成预训练转换器(GPT)：这是一种自回归语言预测模型，使用深度学习来生成类似人类的文本。GPT 是 ChatGPT 所基于的模型。
6. ChatGPT： OpenAI开发的AI程序。它使用 GPT 模型根据给出的提示生成类似人类的文本。
7. Transformer：这是《Attention is All You Need》中介绍的一种模型架构，使用自注意力机制，并已在 GPT 等模型中使用。
8.自回归模型：该术语是指使用时滞值作为输入变量的统计分析模型。ChatGPT 使用这种方法来预测句子中的下一个单词。
9. 提示：在 ChatGPT 的上下文中，提示是给模型的输入，模型会响应该输入。
10. Token：整体的一部分，因此单词是句子中的Token，句子是段落中的Token。令牌是自然语言处理的构建块。
11. 微调：这是初始训练阶段之后的一个过程，其中模型被调整或适应特定任务，例如回答问题或语言翻译。
12. 上下文窗口：在ChatGPT中，这是模型可以用来生成响应的最近对话历史记录的数量。
13. 零样本学习：这是指模型在训练期间没有看到此类示例的情况下理解任务并生成适当响应的能力。
14. 一次性学习：这是模型在训练期间仅通过单个示例理解任务的能力。
15.少样本学习：这是模型在训练期间提供少量示例后理解任务的能力。
16.注意力机制：这是深度学习模型中使用的一种技术，模型在处理数据时为不同的单词或特征分配不同的权重或“注意力”。
17. 人类反馈强化学习(RLHF)：这是 ChatGPT 中使用的一种微调方法，模型从人类提供的反馈中学习。
18. 监督微调：这是微调的第一步，人类 AI 培训师向模型提供与用户和 AI 角色的对话。
19. 奖励模型：这些模型用于对不同响应进行排名
20. API(应用程序编程接口)：这允许不同软件程序之间的交互。OpenAI 为开发人员提供 API，将 ChatGPT 集成到他们的应用程序或服务中。
21. AI 培训师：在微调过程中通过提供反馈、对响应进行排名和编写示例对话来指导 AI 模型的人员。
22. 安全措施：这些措施是为了确保人工智能以安全、道德和尊重用户隐私的方式运行而采取的措施。
23. OpenAI：开发GPT-3和ChatGPT的人工智能实验室。OpenAI旨在确保通用人工智能 (AGI) 造福全人类。
24. 缩放法则：在人工智能的背景下，这是指观察到的趋势，即人工智能模型在获得更多数据、更多计算量以及规模更大时往往会提高性能。
25.人工智能中的偏差：这是指人工智能系统可能由于训练数据中存在的偏差而在其反应中表现出偏差的情况。OpenAI 致力于减少 ChatGPT 对不同输入的响应方式中明显和微妙的偏差。
26. 审核工具：这些工具是为开发人员提供的，用于控制其应用程序和服务中模型的行为。
27. 用户界面(UI)：这是设备、应用程序或网站中人机交互和通信的点。
28. 模型卡：提供有关机器学习模型的性能、限制和理想用例的详细信息的文档。
29. 语言模型：一种使用数学和概率框架来预测句子中的下一个单词或单词序列的模型。
30. 解码规则：这些规则控制语言模型的文本生成过程。
31. 过度使用惩罚： ChatGPT 解码过程中使用的一个因素，用于惩罚模型重复同一短语的倾向。
32. 系统消息：这是当用户开始与 ChatGPT 对话时向用户显示的初始消息。
33. 数据隐私：这是为了确保与 ChatGPT 的对话是私密的，并且存储时间不会超过 30 天。
34. 最大响应长度： ChatGPT 在单个响应中可以生成的文本长度的限制。
35. 图灵测试：艾伦·图灵提出的一项测试，用于衡量机器表现出与人类行为相同或无法区分的智能行为的能力。
36. InstructGPT： ChatGPT 的扩展，旨在遵循提示中给出的说明并提供详细解释。
37. 多轮对话：涉及两个参与者(例如用户和人工智能)之间来回交换的对话。
38. 对话系统：旨在以类人方式与人类对话的系统。
39. 响应质量：衡量人工智能对用户提示的响应程度，包括响应的相关性、连贯性和真实性。
40. 数据增强：用于增加训练数据量的技术，例如引入现有数据的变体或创建合成数据。
41. 语义搜索：一种搜索类型，旨在通过理解搜索者的意图和术语的上下文含义来提高搜索准确性。
42. 策略：管理人工智能如何响应不同类型输入的规则。
43. 离线强化学习(RL)：一种使用固定数据集训练人工智能模型的方法，无需与环境实时交互。
44. 近端策略优化(PPO)：强化学习中用于改进模型训练的优化算法。
45. 沙箱环境：一种受控设置，开发人员可以在其中安全地试验和测试新代码，而不会影响实际产品。
46.分布式训练：这是在多台机器上训练AI模型的做法。这使得训练过程能够处理更多数据并更快完成。
47. Bandit Optimization：机器学习中的一种方法，根据有限的信息实时做出决策。这是关于平衡探索(尝试新事物)和利用(坚持有效的方法)。
48. 上游采样： ChatGPT 微调过程中使用的一种技术，生成多个响应，然后进行排序以选择最佳响应。
49. Transformer Decoder： Transformer 模型的一部分，用于预测序列中的下一个标记。
50.反向传播：这是一种通过计算损失函数的梯度来训练神经网络的方法。这对于微调网络权重至关重要。
显然，ChatGPT 背后的技术广泛且复杂。然而，它的影响更为深远，有可能重新定义人机交互以及我们与人工智能的关系。无论您是打算将该技术集成到项目中的开发人员，还是试图理解这一令人印象深刻的人工智能模型的构建模块的好奇心，熟悉基本术语和概念都很重要。
理解这些术语不仅可以让您更好地理解 ChatGPT 的工作原理，还可以欣赏开发如此复杂的人工智能的复杂过程。我们希望本术语表能够成为您探索 ChatGPT 和更广泛的人工智能领域的便捷参考指南。