小型语言模型:AI领域的新热点

来源:新华网 #谷歌# #微软# #OpenAI#
1708

多年来,谷歌等科技巨头和OpenAI等初创公司,一直在不遗余力地利用海量在线数据,打造更大、更昂贵的人工智能(AI)模型。这些大型语言模型(LLM)被广泛应用于ChatGPT等聊天机器人中,帮助用户处理各种各样的任务,从编写代码、规划行程,到创作诗歌等。

自ChatGPT面世以来,AI模型便在变大、变强之路上“狂奔”。但喧嚣过后,科技公司也越来越关注更小、更精简的小型语言模型(SLM)。他们认为,这些小巧玲珑的模型不仅“术业有专攻”,而且部署成本更低廉、更节能。

未来,这些规模不一的AI模型将协同工作,成为人类的左膀右臂。

小型语言模型在简单的专业领域可能更有优势。

小型模型独具优势

随着AI技术突飞猛进,AI模型的“块头”与日俱增。ChatGPT的缔造者OpenAI去年夸耀称,其GPT-4模型拥有约2万亿个参数。参数表示AI模型的大小,一般参数越多,AI模型的能力越强,庞大的参数量使GPT-4成为迄今最强大的AI模型之一,能回答从天体物理学到动物学等多领域包罗万象的问题。

但是,如果某家公司只想借助AI模型解决特定领域(如医学)的问题,或者一家广告公司只需一款AI模型来分析消费者行为,以便他们更精准地推送广告,GPT-4这类模型就有点“大材小用”了,SLM反而更能满足用户们的要求。

美国《福布斯》双周刊网站在11月的报道中,将SLM称为AI领域的“下一个大事件”。

微软公司生成式AI副总裁塞巴斯蒂安·布贝克表示,虽然SLM的参数量目前并没有统一标准,但大约在3亿到40亿个之间,小巧到可以安装在智能手机上。

专家声称,SLM更胜任简单的任务,如总结和索引文档、搜索内部数据库等。

法国初创公司LightOn的负责人劳伦特·都德认为,与LLM相比,SLM拥有诸多优势:首先,这些模型的反应速度更快,能同时响应更多查询,回复更多用户;其次,SLM部署成本更低,能源消耗也更少。

都德解释道,目前很多LLM需要大量服务器来进行训练,然后处理查询。这些服务器由尖端芯片组成,需要大量电力来运行,并进行冷却。而训练SLM所需芯片更少,运行耗费的能源也更少,这使其更便宜、更节能。

SLM还可直接安装在设备上,在不依赖数据中心的情况下运行,这能进一步确保数据的安全性。《福布斯》表示,SLM能以最少的计算资源执行各种任务,使其成为移动设备、边缘设备等的理想选择。

AI模型掀起“极简风”

谷歌、微软、元宇宙平台公司以及OpenAI等公司闻风而动,推出了各种SLM。

去年12月底,微软公司正式发布了只有27亿个参数的语言模型Phi-2。微软研究院在其X平台官方账号上表示,Phi-2的性能优于现有其他SLM,且能在笔记本电脑或移动设备上运行。今年4月,微软又推出了只有38亿个参数的Phi-3系列模型。

今年8月,微软公司再接再厉,推出了最新的Phi-3.5-mini-instruct。这款SLM为高效、先进的自然语言处理任务量身打造。9月,英伟达公司开源了Nemotron-Mini-4B-Instruct。该公司表示,这款SLM特别适合边缘计算和设备端的应用。报道称,这两款SLM在计算资源使用和功能表现之间实现了良好平衡。在某些方面,其性能甚至可媲美LLM。

OpenAI也不甘示弱。今年7月,OpenAI公司发布了GPT-4o mini,称其是该公司最智能和最实惠的SLM。

此外,亚马逊公司还允许在其云平台上使用各种规模的AI模型。

其他公司也纷纷开发更适合自身需求的SLM。例如,美国制药巨头默克公司正与波士顿咨询集团(BCG)合作开发一款SLM,旨在探究某些疾病对基因的影响。这将是一款参数介于几亿到几十亿之间的AI模型。

大小模型作用互补

虽然SLM在效率等方面具有独特优势,但LLM在解决复杂问题、提供更广泛的数据访问方面仍然具有极大优势。

展望未来,LLM和SLM两种模型将“是朋友而非对手”,它们之间的协作交流将成为主流趋势。

当遇到用户提出的某个问题时,一款SLM会“一马当先”,理解这个问题,再根据问题的复杂性,将相关信息发送给几个大小不一的AI模型。这些模型“群策群力”“并肩携手”为用户解决难题。

目前市面上的AI模型要么太大、太贵,要么处理速度太慢。两者合作,或是最佳解决方案。

责编: 集小微
来源:新华网 #谷歌# #微软# #OpenAI#
THE END
关闭
加载

PDF 加载中...