跟随科技圈“潮流”,微软宣布将于2023年3月底之前在全球裁员1万人,约占员工总数的5%。这次裁员规模之大,被微软视为应对宏观经济状况和客户优先事项变化的措施。但这种做法似乎不影响这家企业有足够的资金对OpenAI进行新一轮投资。
据外媒Semafor报道,微软将以100亿美元投资OpenAI,并且将获得OpenAI 75%的利润份额,直到收回投资资金,之后微软将持有OpenAI 49%的股份。
投资OpenAI,其源动力是ChatGPT带来的一系列业内反响,ChatGPT一方面正为微软补强其在搜索领域的壁垒,另一方面也为自身在通用型AI和NLP领域塑造商业化能力,而这原本是一个由谷歌AI主导的大市场。
ChatGPT于2022年11月30日面向客户端进行发布,两个月后,该模型驱动的工具平台月活用户估计已达1亿。近日,ChatGPT还宣布了Plus增值版,每月收费20美元,面向更多有需要的企业和学生提供会员服务。摩根士丹利的一份报告正研究ChatGPT是否对谷歌构成威胁,“该语言模型可能会占据一定市场份额,并且破坏谷歌作为互联网用户入口的地位。”
深受深度学习的影响,NLP领域近年来的科研成果是可见的,也解锁了很多新的应用场景,但仍然没有迎来关键的商业化破局。而OpenAI与微软土财主的这次合力“氪金”,显然激起了新一轮NLP技术企业的集体焦虑。
ChatGPT的过去与现在
从技术原理解释,ChatGPT是由微调后的GPT3.5模型提供。与早期的ELMO,谷歌的BERT、ALBERT,百度的ERNIE,达摩院的M6一样,它们均为NLP预训练大模型的典型代表。这意味着像知识检索、人机交互、语言翻译、文学创作这些活儿,预训练模型好像都能干。
但不同的是,ChatGPT这次还提供了客户端界面,用户可直接通过客户端基于模型训练出的“机器人”进行交互,并且实现WebUI免费版。这种做法也让许多C端用户可以迅速调用ChatGPT,如构思小说框架、写论文、辅助课程设计、为程序debug等操作花样百出。
在GPT3.5之前,OpenAI已经连续发布三个版本的GPT模型,尤其以GPT-3最为著名。在此期间,GPT模型就开始疯狂通过增加可训练参数、增加训练样本等方式进行改进。但暴力拆解方式下,GPT-3依然会经常产生错误,曾有专家指出,“如果没有大量复杂的工程调试,GPT-3还无法真正投入使用。”
另一方面,GPT-3,其参数量就已经达到1750亿,并使用了45TB的训练样本。这意味着当AI任务训练效果提升的同时,也对模型训练成本和时间带来了巨大挑战。业内有人曾估计仅训练GPT-3模型就需要1200万美元,如果用一块非常先进的英伟达GPU训练GPT-3,大概需要100年。
在Transformer思潮的推动下,语言模型进入“巨量”时代,大模型已经在产业界带来了一系列连锁变化。而NLP领域又并非是一个独立的技术范畴,依然需要有底层算力、大数据、知识图谱、迁移学习等核心技术的支撑。
如果GPT按照以往的发展逻辑,将会逐渐通过开源方式让科研与工程界共享技术红利。但在商业世界,绝非如此简单。
微软的神来一笔
2019年,在联合创始人马斯克转身离开后,OpenAI宣布重组,成为有利润上限的盈利机构,股东的投资回报被限制为不超过原始投资金额的100倍。同年7月,微软以10亿美元注资,并获得了OpenAI GPT-3的独家授权,而OpenAI则可借助微软的Azure云服务平台解决商业化问题,缓解高昂的成本压力。
过去几年,OpenAI与微软的合作节奏逐渐加快。2021年,OpenAI与代码托管平台Github(被微软收购)合作推出Copilot AI智能代码生成平台,可将文字语言提示词转化为代码,目前是为了提升开发者编码效率。
2022年,OpenAI先后推出图像生成器DALL-E 2和文本生成器ChatGPT,微软也迅速将其整合到自身产品套件,如搜索引擎Bing、Office办公全家桶、会议视频产品Teams Premium均已经计划应用ChatGPT。
而如今,微软不仅希望进行新一轮百亿美金投资,还表示将在Azure云平台中整合ChatGPT,实现Azure OpenAI服务全面上市,通过该服务可访问OpenAI开发的AI模型,届时微软的每个产品都将具备相同的AI能力。
与OpenAI的合作,成为微软到迄今为止在AI领域一笔成功的买卖,对微软在搜索引擎、办公、会议视频,以及云市场引发了强烈冲击,而这也让外界“期待”有望在2023年发布的GPT-4。
热闹的背后
据外媒CNBC爆料,谷歌最近正在加快研发一个名为“学徒巴德”(Apprentice Bard)的聊天机器人,其基于LaMDA语言模型。显然,谷歌于去年12月针对ChatGPT的“红色警报”已经拉响。而除了LaMDA之外,谷歌也已经计划将图像生成模型Imagen对抗OpenAI的DALL·E 2。
而据百度披露,今年1月初,百度搜索将升级“生成式搜索”能力,基于百度自研的生成式模型能力,为用户开放式的搜索提问或定制化的信息需求“创作答案”。此外据路透社报道,百度曾计划于3月将该服务作为独立应用推出,再逐步将其集成到搜索引擎中。
无论在当下关注度较为集中的搜索领域,还是其他潜在领域,受ChatGPT的强烈刺激,包括谷歌、百度在内的AI主力梯队已经快速跟进起来。不过,源自GPT本身涉及的伦理问题与技术难点依然存在。
如Stack Overflow已经宣布禁止将ChatGPT所产生的问题用于回答社区问题,并给出违规者最多可被封禁30天的惩戒措施。当不少大学生开始用ChatGPT写作业,纽约大学等高校的教授及学者们也发出警告,将AI视为作弊行为。
在技术层面,GPT-3曾经会犯的错误,在ChatGPT上也并未解决掉,如只能计算精通十以内的加减法,甚至还会“一本正经地胡说八道”。这与ChatGPT的训练语料库有一定关系,其喂养的数据还是来自2021年前来自互联网的数十亿个文本示例。例如在专业知识领域或者信息更新快的IT领域,模型训练任务和训练效果往往会受其制约。
而在训练成本上,小冰公司CEO李笛此前表达,“ChatGPT主要是研究性质上的突破。它有非常好的创新,即证明了在原有的大模型基础之上,进行一些新的训练方法,可以更好地提高对话质量。但如果小冰用ChatGPT的方式来运行系统,现在小冰每天承载的交互量就需要花近3亿人民币的对话成本,即使ChatGPT可以把成本优化到现在的10%,也赚不回来。”
据外媒披露,微软此前的融资就以现金+Azure云算力的方式作为兑付,模型训练最消耗的也恰恰是算力成本。这也难怪分析机构预测,ChatGPT使用量的快速增长可能使英伟达在12个月内销售额达到30亿至110亿美元。长期来看,这也将是微软应对算力高投入与ChatGPT高增长可预见收益下的一种对冲策略。
其实,ChatGPT出现之前,基本国内大的AI玩家就已经在涉足构建出类似于GPT、但主要基于中文语料库的预训练大模型。大模型在落地过程中呈现出了与以往模型不同的技术特征,也带来了更好的智能化水平。
“但是大模型想要在某个方向上训练得更好,智能化水平更高,需要在具体落地场景引入额外的领域知识,才能解决实际问题。AI大模型有其自身特点,训练时使用的数据集主要来自互联网,在通用知识和领域知识的分布上存在不均,会影响其在具体行业的应用。”浪潮信息AI软件研发总监吴韶华对钛媒体App表示。
对于更多的创业公司而言,大模型做微调或二次开发的方式,且不说仍需要大量算力的支持,在实际场景中,能不能等到成熟落地也需要时间成本。
在ChatGPT之后,势必会有更多的AI团队试图给出算法更加精准、训练成本更低、对于用户而言调取更方便的模型,它可能依然会结合Transformer,也可能运用新的机器学习方法,提出对语言翻译、文本生成、甚至情感分析等NLP通用场景下的解决思路。
尤其对于中国的AI团队,也会在ChatGPT的这场狂欢中继续回答一个老问题:当技术的风口再次来了,如何避免走过去商业目标不清晰的老路?(本文首发钛媒体APP 作者 | 杨丽)