ChatGPT上线仅2个多月，就已火遍全球，月活用户超过1个亿。
ChatGPT不仅可以作为一款功能强大的搜索引擎，陪人们娱乐聊天，还能完成写文章、敲代码、翻译等工作。在美国，有学生用ChatGPT生成的论文拿到了全班最高分。由于它过于强大，人类开始为自己感到担忧，会不会被AI控制?是否会取代人类的工作岗位?
这个“无所不能”的ChatGPT到底是什么?澎湃问吧邀请上海人工智能研究院研究员陈逸君，一起聊聊ChatGPT以及AI的发展变迁。
点击图片即可提问
对人类社会的影响
@a勇188：会有很多人因为ChatGPT失业吗?
陈逸君：我认为这个问题需要辩证地去看待。短期来看一些诸如客服、公文写作、数据分析等较为基础的岗位可能会被取代。但就目前的情况而言，我认为人工智能在未来历史的很长时期内都无法取代人类创造性的脑力活动，它实质上并不具有真正的思辨能力。而且，人工智能的迅速发展又会创造很多需要创造性劳动的岗位，长期来看有益于人类的发展。正如蒸汽机替代马车一样，马车夫这一行业渐渐消失了，但更多的机会涌现了，人类的生产效率也得到了飞速提升。我认为应当乐观地看待这件事情。
@澎湃网友6RVv6j：ChatGPT会不会自行发展智慧，最后摆脱人类控制?
陈逸君：我认为目前来看不可能。ChatGPT是OpenAI公司基于GPT-3模型开发的生成式聊天机器人应用。而GPT-3是一种基于深度神经网络的大型预训练语言模型。以我对目前深度神经网络预训练方式和模型结构的了解，其运作原理与生物大脑有着深刻的本质性的区别。ChatGPT更像是对全球人类历史经验的一个总结，却不具备真正意义上的思辨能力，因而以当前的技术路线发展下去的话，无法完成您所描述的自我演化。
@橙子靓靓：在一些科幻电影中，人工智能可以不断学习人类的语言，最终拥有和人类类似的思想。ChatGPT是否拥有这样的学习能力，未来AI能够进步到可以给人类提供情绪价值，甚至变成线上伴侣吗?
陈逸君：ChatGPT经过大量数据的训练，对人类交流的模仿已经到了真伪难辨的地步。如果算力和容量能够无限堆积，ChatGPT应该能在这条“形似”的路线上走到极致，一定程度上或许能满足用户的情绪价值需求。
但是，他始终是在已经看到过的历史信息中寻找相似的答案进行反馈。在和他的对话中，能够清晰感觉到他没有逻辑思辨能力，无法举一反三，没有创造性和发散性的思维。通过训练，他或许知道某段文字在统计概率上分属哪一类情感，但是他始终不会形成自己的人格。就个人观点而言，比起与一个把模仿做到极致的机器人聊天，我更会被人类创作的包含情感和理性的音乐、文学、电影、游戏等作品感动。
本质上，ChatGPT所基于的可微分的人工神经网络，与生物脉冲神经网络的运作机制有着巨大区别。AI通过训练得到知识的过程，也与人类对世界的认知方式有着天壤之别。如果您所希望的产物是强人工智能的伴侣，目前的技术路线下，我认为很难实现。究竟人类的“思考”、“情绪”等能力的本质是什么，还有待脑神经科学研究的进步发展来揭示。
ChatGPT的技术逻辑
@Edwards：请问ChatGPT对政治问题的回答逻辑是怎么实现的?
陈逸君：ChatGPT对于所有问题的回答逻辑都是一致的。他所基于的GPT-3是一种大型预训练语言模型。每时每刻发生在全球互联网中的所有语料，都可以成为它的训练材料。他拥有1750亿参数，这些参数被训练后记忆了大量信息，如果您输入的问题(或描述)与他曾经看到的某些信息很相像，他便可以输出对应答案或下文。不过，ChatGPT中还加入了某些检测机制，因此对于一些较为敏感的问题，会选择拒绝或回避回答。
@大大大宝剑：基于GPT-3的训练需要很大的成本吗?有报道说ChatGPT一次训练要1200美元。具体是怎么训练的?
陈逸君：GPT-3目前已经把模型参数增加到了1750亿，训练数据规模也达到了45TB。想必通过这两个数字，也能直观感受到其巨大的算力开销。我们所说的包括GPT在内的深度学习模型，通常都是指基于深度人工神经网络的算法模型，也有另一类基于脉冲神经网络的研究。其最基本的训练方式是构造最小化损失函数对梯度进行求导，利用反向传播进行参数更新。通俗一点理解的话，可以把1750亿个参数都想象成自变量，把损失函数想象成因变量，它们之间的关系是非线性的且无法直观获得的。
理论上，依据链式求导法则对这样一个庞大的关系式进行微分，可以实现梯度的反向传播，从而更新参数。而在计算机中，这一过程采用一种叫做自动微分的算法实现。超大型预训练模型对GPU算力资源的要求非常高，而且可能需要分布式的计算资源协同完成，因而还会产生网络开销。这些都是普通用户或中小型公司所不具备的。
新一轮AI革命
@SELINAA：在ChatGPT之前已经有过很多聊天机器人，比如苹果的SIRI。请问它爆红的原因是什么，在技术领域有什么突破性的进步?
陈逸君：我认为您所想了解的突破性进步，大概发生在2017年。Transformer模型和注意力机制的提出改变了整个AI界，其首先在自然语言处理任务上展现出非凡的能力，之后又不断演化，并被用于图像处理、声音处理甚至多模态的任务当中。通俗来讲，注意力机制使模型更加关注重要的信息，而忽略不重要的信息，使得同样的参数量下模型能力得到质的飞跃。
追根溯源，ChatGPT背后的模型正是Transformer。Transformer当年早已火遍学术圈，而ChatGPT现在才火出圈，我认为是更强的算力、更大的模型从量变产生了质变。正如您所说，SIRI、Cortana等应用对自然语言的理解往往不尽如人意，而ChatGPT拥有千亿级的参数，能够在模型隐藏层中记忆更多信息，并且能够把用户的提示信息和自己的上一次输出包含在下一次的输入当中，理解上下文依赖关系。
模型的膨胀、算力的扩张，理论上可以不断堆积下去，AI便能记住更多和更久远的信息。只要能找到合适的模型训练方法，这条技术路线能在对人类的“形似”上走到极致，让AI能够回答任何有答案的问题。这究竟算不算一种突破性的进步，相信您有自己的判断。
@非我惟主：新闻说阿里巴巴正研发”阿里版”ChatGPT，目前处于内测阶段。请问中国版与原版将会有何不同?未来会强过对方吗?
陈逸君：ChatGPT所基于的GPT-3模型在2021年被复现，目前处于开源的状态，因而无论哪家公司去做ChatGPT，其理论基础都是相同的。但是，ChatGPT需要使用大量语料进行预训练，而全球互联网中英语使用频率远高于其他语言。英语与中文在语言特性上有着巨大差异，因此，OpenAI的ChatGPT对于中文是缺少优化的。
阿里、百度等企业作为其所处领域的行业巨头，在中文环境下拥有其他企业所不可比拟、无法获得的海量数据信息。利用这些数据对ChatGPT进行预训练，并且针对中文的语言特点进行模型优化、剪枝等等，将使得他们做出来的ChatGPT在中文互联网环境中表现更为优异。未来，在工程化和应用方面，我认为“中国版”一定会在某些领域发挥自己的特色。
@江海云鹤：除了ChatGPT外，目前比较有名的人工智能软件还有哪些?它们各有哪些功能和特点?
陈逸君：从广义的软件定义来讲，人工智能技术早已渗透在我们日常生活的方方面面。我们手机、平板里的修图软件、会议软件等等，目前普遍集成了基于深度学习的图像、视频处理技术;我们使用的聊天软件中，也广泛采用了语音识别、文字生成技术;而在驾驶导航、车路协同、自动驾驶等领域，更是融合了处理多模态时序数据相关的人工智能技术……此等事例不胜枚举。作为科研工作者，用于辅助代码编写的工具Copilot极大提高了我的工作效率。此外，我比较关注最新涌现的基于扩散模型的相关应用， 如AI作画的 Stable Diffusion 和音频生成的AudioLDM等等。