智东西4月20日报道，开发出AI图像生成工具Stable Diffusion的初创公司Stability AI发布并开源该团队训练的大语言模型StableLM。该模型的Alpha版本有30亿和70亿个参数，接下来还将推出150亿至650亿参数的模型。用户已经可以从GitHub等开源平台上下载StableLM。
与公司在2022年开发的Stable Diffusion AI图像模型一样，StableLM支持知识共享4.0协议，开发者可以在遵守协议的情况下，自行查看、使用、调整StableLM基础模型，并将其用于商业或研究目的。
开源地址：
https://github.com/stability-AI/stableLM/
测试地址：
https://huggingface.co/spaces/stabilityai/stablelm-tuned-alpha-chat
一、推出Stable Diffusion“兄弟模型”，入局大语言模型竞赛
Stability AI是推出了全球著名文本生成图像平台Stable Diffusion的公司，它也是最早开源扩散模型的平台之一。图像模型Stable Diffusion主要用于图像生成，根据用户提供的文本描述来绘制图像，是一款具有革命性意义的图像模型，其主要竞争对手是Midjourney。
由Stable Diffusion绘制的图像
此次通过推出StableLM模型套件，Stability AI旨在展示一款小型、高效的模型如何通过适当的训练来提高自己的性能，该模型也代表着所有人都将使用上基础AI技术，公司以文本、图像等多种方式对其进行训练。
与其竞争对手ChatGPT一样，StableLM旨在有效地生成文本和代码。StableLM的发布建立在非营利性研究中心EleutherAI开源早期语言模型的基础之上。
Stability AI在开源早期语言模型方面经验丰富，曾经发布过GPT-J，GPT-NeoX和Pythia套件，这些模型都是在The Pile开源数据集上进行训练的。
今日发布的StableLM在更大版本的开源数据集The Pile上进行训练，该数据集包含来自各种来源的信息，包括维基百科(Wikipedia)、问答网站Stack Exchange和生物医学数据库PubMed，该数据集的规模是The Pile的三倍，包含1.5万亿个tokens(字符)，其超大规模使得StableLM在会话和编码上具有超高性能，但是它目前只有30-70亿个参数，而GPT-3有1750亿个参数。
与Meta的LLaMA语言模型相比，StableLM模型在1亿个tokens上针对7亿个参数进行了训练。
在公司官网发布的《Stability AI Launches the First of its StableLM Suite of Language Models》这篇文章中，Stability AI还宣布StableLM套件包括一组经过指令微调的研究模型，使用了5个最近的开源数据集组合进行对话代理，包括斯坦福大学的Alpaca，Nomic-AI的GPT-4all，RyokoAI的ShareGPT52K数据集、Databricks实验室的Dolly和AI初创公司Anthropic的HH，并将发布这些模型作为StableLM-Tuned-Alpha版本，公司用斯坦福大学的Alpaca模型进行了微调。