没想到,字节的大模型项目是被这样曝光的。
上周末,有外媒报道称,字节跳动在使用 OpenAI 技术开发自有大语言模型时,因违反 OpenAI 服务条款从而遭账号禁用。
据 The Verge 报道,字节跳动内部正在研发的大语言模型项目名为「种子计划」(Project Seed)。
由于训练大模型需要大量问答知识,该项目被曝出一直在秘密使用 OpenAI 的技术来充实数据集。
在大模型领域,利用其他 AI 生成的内容用于训练的「取巧」行为虽然并不少见,但经常会被认为是一种超出底线的行为。在 ChatGPT 上,滥用 AI 生成的数据直接违反了 OpenAI 的服务条款,其规定其模型输出不能用于「开发任何与我们的产品和服务竞争的人工智能模型」。
在 11 月 14 日 OpenAI 对于 ChatGPT、DALL・E 的条款更新中还规定了用户:
不得进行逆向工程、反编译或参与模型提取或窃取,包括模型和系统;
不得以自动或程序的方式提取生成内容;
不得把 ChatGPT 生成的内容伪装成人类生产的内容。
OpenAI 对于违规用户的处理办法就是在通知后终止服务。
完整协议:https://openai.com/policies/business-terms
那么,字节跳动「种子计划」的具体内容以及如何被怀疑违反 OpenAI 使用条款的呢?
根据 The Verge 获得的内部文件消息,字节跳动更多是在「种子计划」的早期使用 OpenAI 的技术,并在大约几个月前指示该团队在模型开发的任何阶段停止使用 GPT 生成的文本。大约同一时期,字节跳动发布了自有 AI 大模型豆包(Doubao)。
相关员工非常清楚自身的行为,并讨论过如何通过「数据脱敏」方式来进行规避。不过他们仍然经常达到 OpenAI API 的最大访问上限。
当地时间周五,OpenAI表示,字节跳动的账户已被暂停使用。
OpenAI 发言人 Niko Felix 在给 The Verge 的一份声明中表示,「所有 API 客户都必须遵守 OpenAI 的使用条款,以确保我们的技术得到恰当地使用。虽然字节跳动对我们 API 的使用量很少,但在进一步调查的同时,我们已经暂停他们的账户。如果最终发现字节跳动的使用不符合政策,则将要求他们进行必要的更改或终止他们的账户。」
字节跳动发言人 Jodi Seth 做出了回应,否认公司有任何不当行为,并澄清获得了使用 GPT API 的权限。
她表示,「字节跳动已获得微软授权,可以使用 GPT API。GPT 生成的数据只在种子计划早期开发中用来注释模型,并已于今年年中从字节跳动的训练数据中移除了。我们使用 GPT 来支持非中国市场的产品和功能,而在中国市场使用我们自研的模型来支持豆包。」
图源:https://the-decoder.com/openai-bans-tiktok-company-bytedance-from-chatgpt-due-to-possible-data-theft/
同时,微软发言人 Frank Shaw 也发表了一份声明,「像 Azure OpenAI 服务这样的 AI 解决方案是我们有限访问框架的一部分,所有客户必须申请并获得微软批准后才能访问。我们制定标准并提供资源,帮助客户负责任地使用这些技术,并遵守相关服务条款。我们还制定流程来检测滥用行为,并在企业违反准则时停止他们的访问权限。」
12 月 17 日,字节跳动相关负责人回应了机器之心的置评请求,称公司在使用 OpenAI 相关服务时,强调要遵守其使用条款,其正与 OpenAI 联系沟通,以澄清外部报道可能引发的误解。
以下是字节跳动对使用 OpenAI 服务相关情况的介绍:
1、今年年初,当技术团队刚开始进行大模型的初期探索时,有部分工程师将 GPT 的 API 服务应用于较小模型的实验性项目研究中。该模型仅为测试,没有计划上线,也从未对外使用。在 4 月公司引入 GPT API 调用规范检查后,这种做法已经停止。
2、早在今年 4 月,字节大模型团队已经提出了明确的内部要求,不得将 GPT 模型生成的数据添加到字节大模型的训练数据集,并培训工程师团队在使用 GPT 时遵守服务条款。
3、9 月,公司内部又进行了一轮检查,采取措施进一步保证对 GPT 的 API 调用符合规范要求。例如分批次抽样检测模型训练数据与 GPT 的相似度,避免数据标注人员私自使用 GPT。
4、未来几天里,我们会再次全面检查,以确保严格遵守相关服务的使用条款。
自 ChatGPT 出现以来,各大科技公司都在加紧研发能够与之匹配的竞品,不过由于面向 C 端和海外市场,面临更多技术和法规等方面挑战,字节对于大模型的宣传相对低调。在今年 6 月,火山引擎发布了大模型平台火山方舟,8 月份,字节自研大模型「云雀」通过备案,开启了 AI 对话产品「豆包」的对外测试。
在技术和落地应用等方面,今年的生成式 AI 可谓有了飞跃式的进步,但在安全和隐私保护等问题上,目前人们仍然存在一些疑虑。