• 行业咨询
  • 品牌营销
  • 集微资讯
  • 知识产权
  • 集微职场
  • 集微投融资
  • 集微企业库
搜索
爱集微APP下载

扫码下载APP

爱集微APP扫码下载
集微logo
资讯集微报告舆情JiweiGPT企业洞察
2025第九届集微半导体大会集微视频
登录登录
bg_img
search_logo
大家都在搜

视觉Transformer已经超越CNN:原因分析以及如何发挥它们的最佳性能

作者: 集小微 04-15 15:23
相关舆情 AI解读 生成海报
来源:CEVA IP #CEVA# #视觉AI#
2.9w

现在大家已不再讨论“ViT是否会取代CNN”。它们已经完成了这场超越。现在新的挑战是:如何让ViT高效运行在真正为它量身打造的硬件上。

视觉AI已不再依赖CNN——接下来会如何发展?

多年来,卷积神经网络(CNN)在人工智能视觉领域一直占据主导地位,广泛用于自动驾驶辅助、人脸识别、视频监控等场景。但现在,行业已经转向——视觉Transformer(Vision Transformer,ViT)现已被公认为在很多计算机视觉任务中表现更优。ViT能理解全局信息,具备抗干扰能力,并能处理复杂场景,已经成为视觉AI的新标配。

现在大家已不再讨论“ViT是否会取代CNN”。它们已经完成了这场超越。现在新的挑战是:如何让ViT高效运行在真正为它量身打造的硬件上。

本文将探讨ViT成为首选的原因、ViT的关键不同之处,以及要最大限度地发挥其的性能,哪些硬件功能必不可少。

为什么视觉Transformer会全面胜出?

CNN用自下而上的方式处理图像,从边缘到特征逐层提取,最后识别出完整的物体。这种方法对于干净、理想的图像效果很好,但若遇到遮挡、图像损坏或对抗性噪声时,就容易出错。而Transformer是在整体上对图像进行分析,通过注意力机制理解图像中各区域之间的关系。

《量子杂志》曾用一个生动的比喻说明:“CNN像是从单个像素开始逐步放大;Transformer则像是慢慢让整幅模糊图像逐渐聚焦。”

这种方式使得ViT具有显著优势:

● 复杂场景中的卓越物体识别能力——CNN专注于局部特征,而ViT不同,它考虑的是全局背景,因此在杂乱的环境中(如部分被车辆遮挡的行人),ViT表现远优于CNN。

● 更强的抗干扰能力——CNN容易被细微像素扰动误导(如将停车标志误识别为让行标志)。ViT的整体性分析使其更难被干扰。

● 更优的场景解析适应性——像自动驾驶这样的任务,不只需要识别物体,还要分割场景、规划路径。ViT在这些方面表现非常优秀。

当然,这些优势需要代价:ViT计算复杂度高,对算力的需求远超CNN。因此,当下的研究焦点转为了AI硬件优化。

什么样的硬件才能真正释放ViT的潜力?

要让ViT在边缘AI应用中发挥全部实力,底层硬件需针对其独特计算需求优化。支持ViT的神经网络处理器(NPU)需具备以下能力:

1.高效的注意力机制加速——ViT依赖矩阵乘法与注意力层,而非CNN的卷积运算,硬件需针对性优化,必须有能力快速处理这类计算流程。

2.混合数据类型支持——ViT的注意力计算需浮点精度,而多层感知机(MLP)阶段则可用低位整数(如INT8),硬件需平滑切换。硬件必须流畅无阻地处理这种过渡。

3.结构化与非结构化稀疏计算加速——ViT存在大量冗余计算(如零值乘法)。高效硬件可跳过这些非必要步骤,提升速度与能效。

4.高吞吐量定制算子——将计算任务安排在外部加速器通常会拖慢推理速度。相反,硬件必须将定制算子与Transformer核心集成到同一流水线中,才能实现最高效率。

5.并行与多核心计算能力——场景分割与理解需大量并行运算。要高效完成此类任务,多引擎支持不可或缺。

6.模型压缩与剪枝支持——ViT参数量巨大,可达数十亿。支持剪枝和压缩的硬件,可最大限度地减少加载时间和内存压力。

7.片上处理减少内存瓶颈——部分先进的ViT方案可直接在本地设备端运行,无需外部内存,显著提升边缘AI效率。

未来已来:ViT专用硬件是下一站

视觉AI正迅速演进,ViT已在自动驾驶、安防等关键领域超越CNN。下一挑战在于确保NPU硬件在高效支持ViT的同时,兼顾能效与实时性。

在CEVA,我们已将上述硬件优化集成至NeuPro-M NPU IP。若想了解我们如何推动高性能ViT应用落地,欢迎访问官网或联系我们深入交流。

AI视觉的未来已至——请确保您的硬件也能跟上。

责编: 集小微
来源:CEVA IP #CEVA# #视觉AI#
分享至:
THE END
相关推荐
  • 依利浦实验室人工智能平台为Ceva NeuPro-Nano NPU优化,推动实现更智能的边缘设备

  • 利用硅知识产权,加速产品上市并缩短上市时间

  • 全球互联新时代:非地面网络(NTN)如何推动无缝通信

  • 互联AI的整体价值远超局部之和

  • Ceva第一季度营收2420万美元,签订多项IP授权协议

  • Ceva用于边缘人工智能的神经处理单元IP获Nextchip下一代ADAS解决方案选用

评论

文明上网理性发言,请遵守新闻评论服务协议

登录参与评论

0/1000

提交内容
    没有更多评论
集小微

微信:

邮箱:


4435文章总数
7156.6w总浏览量
最近发布
  • 合见工软发布推动智算互联的超以太网IP解决方案UniVista UEC MAC IP

    1小时前

  • 传三星电子推迟1.4纳米建设

    17小时前

  • 特斯拉推出无人驾驶出租车服务 马斯克兑现十年承诺

    18小时前

  • 银河通用机器人完成11亿元Pre-A轮融资 宁德时代参投

    18小时前

  • 一季度全球智能手机处理器市场排名出炉 苹果、联发科、高通领跑

    18小时前

最新资讯
  • 中国5月稀土磁铁出口量1238吨 月减52.9%

    16分钟前

  • 范式级技术革命!合见工软年度发布多款国产自研EDA与IP解决方案

    17分钟前

  • 合见工软发布推动智算互联的超以太网IP解决方案UniVista UEC MAC IP

    1小时前

  • 三星加大美国厂招聘力度,年薪32万美元争夺芯片代工人才

    1小时前

  • ASML杯光刻「芯 」势力知识挑战赛正式启动

    1小时前

  • 峰岹科技推出手机主动散热芯片,降温效率提升15%

    1小时前

关闭
加载

PDF 加载中...

集微logo
网站首页 版权声明 集微招聘 联系我们 网站地图 关于我们 商务合作 rss订阅

联系电话:

0592-6892326

新闻投稿:

laoyaoba@gmail.com

商务合作:

chenhao@ijiwei.com

问题反馈:

1574400753 (QQ)

集微官方微信

官方微信

集微官方微博

官方微博

集微app

APP下载

Copyright 2007-2023©IJiWei.com™Inc.All rights reserved | 闽ICP备17032949号

闽公网安备 35020502000344号