记者对ChatGPT说：“请生成一张机器人图片。”话音刚落，图片立刻生成。这就是由MSRA资深研究人员提出的视觉版ChatGPT(Visual ChatGPT)，同时，它也看得懂图、有理解能力。
OpenAI 重磅推出的聊天对话模型ChatGPT，短短几个月席卷社会各个领域。ChatGPT会的东西五花八门，现如今，Visual ChatGPT将ChatGPT和一系列可视化基础模型连接起来，以支持在聊天过程中发送和接收图像。
从头训练一个多模态模型，工作量非常大。于是，研究人员想到可以在ChatGPT的基础上，结合一些视觉模型来达到目的。而想要达到这一目的，需要一个中间站，由此他们提出了提示管理器的概念。相关报道称，提示管理器可以明确告诉ChatGPT每个视觉模型的作用，并指定好输入输出格式;转换不同的视觉信息，如将PNG图像、深度图像、掩码矩阵等转换为语言格式，方便ChatGPT理解。它能处理视觉模型的历史生成结果，以及不同模型的调用优先级、规避冲突等，让ChatGPT能够以迭代的方式接收视觉模型的生成内容，直到输出用户满意的结果。
与此同时，研究人员也提到了这项工作目前还存在一些局限性：生成结果的质量，主要取决于视觉模型的性能;使用大量的提示工程，会一定程度上影响生成结果的速度;此外，在输入图片的隐私安全上，还需要做进一步升级保护。