高通侯纪磊:打造AI研发“飞轮” 智能体手机尚存三大挑战

来源:爱集微 #高通# #AI# #侯纪磊#
1271

近日,高通在圣迭戈总部举办6G技术日活动,多位高通高管、行业嘉宾集中对外解读高通面向AI时代的6G发展构想,系统阐述了其依托“连接、感知、计算”三大支柱,引领下一代移动通信演进的产业布局,并对相关技术进行了演示。

活动期间,高通AI工程团队的负责人——高通公司工程技术高级副总裁侯纪磊接受了集微网等媒体采访,围绕高通在AI工程研发、数据中心与HBC架构、智能体手机等热点话题进行了观点分享。

打造研发“飞轮”点赞中国团队

侯纪磊领导的AI工程技术团队(AI Engineering Organization)包括研发(Research),系统(Systems),商用软件(Commercial Software),还有开发者AI平台(Developer-facing AI Hub)等部门。在侯纪磊看来,团队体系构建之初,就是为了保证强有力的端到端功能。

“高通在AI领域的研究和产品保持强耦合。如果研发人员只是把研究成果做出来,直接交给产品团队,让产品团队自己去摸索如何落地;而产品团队又只是解决客户需求,两者之间就会出现脱节。因此,研发和产品之间必须形成一个‘飞轮’,整个体系才能有生命力。”侯纪磊说。

所谓“飞轮”,侯纪磊进一步解释,就是如果从技术导向看到的创新,一定要有很强的驱动力去思考它能否落地到产品中;另一方面,当产品在真实世界的应用过程中遇到实际问题时,也必须有足够强的驱动力将这些问题放到研发体系里面去解决。因此,研发驱动产品、产品反哺研发,二者通过“飞轮效应”紧密结合在一起。

侯纪磊强调,在当前的AI环境中固然需要创新,但把创新落地到产品中的速度可能更重要。从这个角度来看,研发的意义不仅仅是做出一些炫酷的技术,更重要的是推动产品快速落地。高通也在思考如何把速度体现出来。

对于中国研发团队,侯纪磊也给予了很高评价。他认为,从全球研发布局的角度,中国研发团队本身就是非常重要的研发力量。其中,通信团队在研发与标准层面,发挥了非常重要的支撑和协调作用。AI团队则更注重市场需求和应用场景,在确保解决方案能够非常好地支持本地市场和客户方面,发挥了重要的研发支撑作用。

深化与端云大模型公司合作

随着端侧AI能力快速普及,芯片企业与大模型厂商之间的协作正变得愈发紧密。

针对同大模型厂商合作策略的问题,侯纪磊表示,合作多的模型厂商,在很多发展方向上与高通一致。

以手机和汽车为例,很多模型厂商需要面对三五家甚至更多OEM客户,因为这些厂商都有可能对他们的模型感兴趣。模型厂商主要位于模型层,而高通位于更底层的芯片平台层。手机和汽车都是高通在中国市场的重要业务领域。因此高通接触的OEM,以及需要在高通平台上进行适配和优化的OEM,与模型厂商面对的客户实际上有很高的重合度,数量可能达到三五十家。

“在这种情况下就会产生一个问题:模型厂商是否需要分别与众多OEM逐一合作,我们也同步进行类似工作;还是应该先由高通和这些模型厂商进行深入的适配和优化,形成成熟的参考方案,再把它推广给更多客户?从规模化的角度来看,后一种方式对于模型厂商和高通都更有优势。大家不需要针对每一家客户重复做一遍,而是先共同把方案做好,再一起推向更多客户。”侯纪磊说。

实际上,这样的方式,从生态层面理解,高通先与模型厂商进行对接和优化,再向OEM推广,就可以减少OEM分别对接多家模型厂商的成本和时间。

据侯纪磊介绍,目前,高通已经在与两家非常重要的模型厂商推进这样的合作。未来,高通希望与更多模型厂商开展类似工作。

“无论是目前的端侧推理平台,还是未来可能拓展到云端的推理平台,我们都希望在推理层面为各种AI入口提供支撑,发挥一个平台的作用。”侯纪磊说。

对数据中心业务充满信心

在今年6月的投资者日上,高通宣布进军数据中心市场,并重磅发布了HBC(高带宽计算)技术。进军数据中心成为高通业务多元化战略的重要拼图,助力其构建从端到云的全栈能力。

多年来,高通的技术路线优势更多在端侧,不管是生成式AI、智能体AI等新的技术方向出现,都能站在行业发展的前沿。

那么,高通如何借助端侧优势去实现数据中心业务的拓展?

侯纪磊表示,无论是端侧还是云侧,从研发角度看到一个核心的重要共同点,是模型效率(model efficiency,每瓦性能或每焦推理性能),本质上是在单位能量范围之内尽可能优化计算。高通在端侧AI领域投入多年,在相对较小的大语言模型部署上带来很多技术创新,包括低比特量化、多词元生成(multi-token generation)、近存计算、稀疏注意力,以及长上下文处理等。这些创新在技术角度是互通的,只是端云侧参数量级不同。

由于技术上的共通,因此将端侧的很多技术迁移到云侧实际上更容易。但挑战在于,这些技术真正进入到云侧之后,从模型和系统这一层面有很多的优化工作要去完成。在芯片层面,高通陆续发布了包括飞龙AI100、AI200、AI250、AI300在内的多代AI推理加速器产品。

侯纪磊透露,高通目前希望将HBC作为切入点率先进入市场,逐步将高通在端侧积累的系统级、算法级优化能力融入其中,形成差异化优势。同时,高通完成了对Modular的收购,在整个云端软件栈层面,整合更多软件能力。这将使高通更好地把握重要市场机遇。在此之外,高通的一些端侧技术和其他技术储备,也将逐渐通过产品技术路线图的演进融合,形成更强的协同效应。

“总体来看,目前的数据中心业务工作都在稳步进行中。对于高通在数据中心的发展势头还有未来下一步的业务拓展空间,我都很有信心。”侯纪磊说。

详解HBC优势:突破“内存墙”、更优综合性价比

高通的HBC作为一种“近存计算”架构,一经推出便受到市场的关注。

现代AI背后的大规模生成式模型,它们的性能不再由芯片计算的速度决定,而是由数据能够以多快的速度、多低的成本被送到计算之处决定,即“内存墙”。而HBC的创新在于,让计算更靠近内存本身,可供计算使用的有效内存带宽是内存的内部带宽,而非狭窄的外部接口带宽,最终带来速度、能效和成本上的优异表现。

侯纪磊介绍,从创新角度而言,HBC实际上是高通两三年前就在数据中心领域开始投入的方向。一些主流数据中心及大模型公司在交流时,也都表示出对HBC兴趣。

从AI技术层面,侯纪磊对HBC的优势进行了进一步的深度解读。他表示,语言模型在执行任务或者处理复杂事件时,与人类的交互通常会包括预填阶段(Prefill)和解码阶段(Decode)两个过程。 

预填指的是给模型一个任务,告诉它要做什么事,相当于一个需求规范;而解码指的是模型接收到需求规范后,需要完成任务并输出结果。预填相对来讲是一个计算密集型的阶段,解码相对来讲是一个带宽密集型的阶段。

在带宽密集的阶段,HBC与传统的HBM相比,一方面减少了整个电路板的面积,因为把计算单元和内存单元在三维空间里实现了堆叠。另一方面,由于相同带宽下成本比HBM低很多,所以在带宽受限的场景下,要达到相同性能,HBC在综合性价比上更占优势,而这也是很多客户的普遍痛点。

“目前HBC方案也得到了一些大型存储器厂商的认可。一方面高通要自己推动HBC的研究,另一方面也需要与存储器厂商合作。如果客户不认可,存储器厂商也不会去跟进。因此产业各方正在形成共识,希望通过紧密合作,共同推动HBC的落地。 所以总体而言,这是一个非常积极且良好的趋势。我们认为在面向prefill和decode这些大模型处理场景,推动HBC的应用,无论是对高通还是客户,都能够带来实际价值。”侯纪磊说。

智能体手机尚存三大挑战

今年是智能体AI元年,可以看到,传统手机厂商强化手机产品的AI能力,字节、阶跃星辰等新玩家也切入手机赛道,相继推出主打智能体概念的手机产品。

侯纪磊认同智能手机作为智能体的承载终端这一方向,但他同时也指出了当前存在几方面的挑战。

首先,是用户隐私保护以及生态厂商的协同合作。侯纪磊强调,智能体手机的关键不仅在于AI技术本身是否成熟,还在于如何理顺消费者、开发者以及整个生态中各方的角色关系,最终实现行业共生,这可能需要一些发展时间和空间。

其次,如果智能体执行所有任务都要调用云端大模型,成本会非常高,手机厂商难以承受。如果在端侧运行,则还要考虑功耗、模型准确度等问题,端侧小模型的质量也需要不断打磨和提升。因此,技术层面同样还有进一步提升的空间。

最后,用户用例、具体任务以及整体体验也需要不断打磨。

“问题不仅在于有没有智能体这项能力,还在于这项能力能不能真正转化为顺手、自然、不会让用户反感的体验,这同样需要不断迭代。”侯纪磊说。

责编: 姜羽桐
来源:爱集微 #高通# #AI# #侯纪磊#
THE END

*此内容为集微网原创,著作权归集微网所有,爱集微,爱原创

关闭
加载

PDF 加载中...