“ChatGPT的成功不是一时的——
从2013年神经网络的方法
影响自然语言处理开始,
到后面将离散表示的文字
变成了稠密表示,
再到后面大规模训练模型的
不断向前推进,
技术其实是一代代革新的。”
谈到ChatGPT的冲击对自己的启发时,2021级上海科技启明星星友,复旦大学大数据学院副教授、智能复杂体系实验室双聘研究员、博士生导师魏忠钰向记者表示:在技术不断革新的背后,对技术路径本身的信念感相当重要。
ChatGPT的出现
对从业者来说意味着什么?
有人说ChatGPT的出现,
说明我们跟西方之间的
学术差距被拉大了,
我觉得不应该因为这件事情
而做出这样的判断。
更理性的来看过去10年,
我们是在不断拉近的。
魏忠钰谈道,在他看来,进入深度学习时代以来,国内自然语言处理(Natural Language Processing,简称“NLP”)已开始大踏步向前追赶。在一些国际顶级会议上,华人所发表的论文数目已经很接近,甚至超过了美国的数量。
“只是曾经一度我们以为很近了,
但是ChatGPT出现之后,
让我们看清楚了,
原来没有我们想得那么近。”
“在NLP领域,现在中美之间的技术和算法的距离已经慢慢在拉近,但是在研究课题选择的丰富度和对研究路径的自信程度方面,我认为还是有欠缺的,是需要研究者共同去努力加强的。”
在大规模预训练模型的赛道上,与OpenAI同步的企业,包括Google和Meta等国际大厂,但这些大厂也同样没有做出ChatGPT。
“5年前、3年前,甚至1年前,
我们都不会相信说一个语言模型
所做出来的东西,能够这么神奇,
能够回答各种各样的问题,
甚至能够写代码。”
魏忠钰谈道。
此前,学术界对大规模预训练内容模型的突破与落地始终存疑,但魏忠钰认为,研发出ChatGPT的OpenAI对于这一技术路径有一种信念感——相信这样的一套技术思路往下去走,是有机会获得突破。
在他看来,
对于技术路线的信念感,
相当重要。
ChatGPT引起世界轰动,作为同在NLP领域的科研工作者,魏忠钰谈道:“在未来的科研路上,希望自己能专注于一个关键问题,去花更长的时间,5年、10年,甚至更长,去一点点推进,做出一个真的有影响力的东西。”
让自然语言处理走出实验室
魏忠钰的研究领域主要是通过自然语言处理赋能数字社会治理。2020年,魏忠钰负责的《重大突发公共卫生安全事件事态的动态监测与寻迹溯源关键技术研究及平台构建》获得上海市科委“科技创新行动计划”社会发展科技攻关项目支持。
据魏忠钰介绍,数字社会治理面向的场景多样,包括智能医疗、智慧金融、数字政府等,每一个场景下都有很多需要解决的任务(比如,用户建模,文本分析),以往的机器学习方法,往往只面向某个特定的任务,完成数据集构建、算法设计、模型训练这一自动化流程,相同的模型不能复用到其它任务,更遑论其它领域了所以每每有新的问题出来时,就需要重新把这个过程走一遍,繁琐且有大量重复工作。
目前,魏忠钰团队正在探索面向数字社会治理的跨场景数据融合、多任务泛化训练、智能交互学习的三阶段研究范式,将数字社会治理的多个场景的数据(序列化数据、图数据)进行融合,研究混合数据类型的自监督学习方法,推进数字社会治理大模型的研究工作。
“这样的一套技术路径很有可能在未来取得突破。”魏忠钰说道。
除此之外,魏忠钰也正在探索如何将NLP技术应用在具身学习机器人上,“我们现在有个课题是让NLP与机器视觉进行结合,让机器人根据人的指令去完成路径的寻找,或者是一些动作。”
魏忠钰透露,这一探索未来将可能在园区送货机器人、引路机器人等方面尝试落地的尝试,并形成成果转化,目前,正在与相关园区进行洽谈,进行线下试点。
读书拿A+只是知识学习的入门
自然语言处理是当下大热的研究方向,而对魏忠钰来说,当时却只是误打误撞地走进了一个自己十分感兴趣的领域。第一次接触NLP,是在哈工大做本科毕业设计——中文信息处理下进行垃圾邮件的识别工作,从而走上了这一条科研之路。
“自然语言处理是一个很适合做交叉的研究方向。”谈起兴趣点,魏忠钰说道,自然语言处理不仅可以和社会学、新闻传播等人文社科的学科去进行交叉,在生物等方向也能有所发展,“语言本身是一些序列化的信息或者数据,这和基因的序列等生物信息是很相似的,所以自然语言处理是可以被用在生物医学上的。”
当魏忠钰在美国做博后时,NLP领域已方兴未艾,他也拿到了美国业界顶尖研究院的工作offer。
但魏忠钰却选择了回国,加入复旦大学。做出这一选择,在魏忠钰看来,既源于自己对于比较单纯的科技创新的热情,同时也在于被高校教师工作的多元性的吸引。
“科研有很强的严谨性,
我们在做科研的时候,
其实是把很多的不确定性
给排除掉,
而这一过程
是需要很严谨的思维的。”
自2017年开始,魏忠钰开设《人工智能》课程,这是复旦大学大数据学院的专业必修课,自2017年上半年至今,面向本科生已开过7次,面向研究生已开过3次。
在魏忠钰的朋友圈里,记者看到了他分享人工智能领域的经典教材《人工智能——一种现代方法》,“后来当老师,在大数据学院讲这门课,又翻了很多遍,慢慢才知道原来读书拿A+只是知识学习的入门。”魏忠钰在朋友圈里写道。
创新并非无根之萍,
而是从一个个经典的理论、算法上
萌发出新生的枝丫 。
很多新的技术,其实都发源于一些经典的理论和算法,教学的过程就相当于是对经典理论的反复学习,这对于推进由经典理论发展而来的新技术是有很大帮助的。