AI正加速融入各行各业，从全天候运行的传感器和摄像头，到汽车、机器人、个人计算设备以及众多其他设备。与此同时，工作负载正迅速突破CNN的边界，逐渐涵盖Transformer、多模态模型、生成式AI和智能体AI等新型工作负载。
多年来，选择AI处理器主要是根据明确的产品应用场景，匹配相应的性能需求，包括计算能力、功耗、芯片面积以及需要运行的模型。这些考量因素仍然重要，但已经不够了。如今，半导体企业和设备制造商不仅要覆盖更多产品类别，还必须适应快速演变的AI工作负载，而每一类产品都需要在算力、内存、带宽、功耗和成本之间找到不同的平衡点。
因此，NPU选型早已不只是为单一产品设计挑选一款合适的计算引擎。这是一项着眼长远的决策，旨在为多个产品系列及未来几代产品构建合适的架构和软件基础。
与15家以上获得第一代Ceva-NeuPro NPU授权的客户密切合作，进一步印证了我们的这一认识：成功的AI产品，绝非靠堆叠TOPS就能做成。打造成功的AI产品，需要根据不同应用场景，合理平衡计算能力、内存、带宽、功耗和成本，同时具备灵活性，从容应对不断涌现的新型工作负载。
我们正式推出新一代Ceva-NeuPro NPU产品组合，该系列充分吸取了以往的实践经验，并为未来而设计。
来自客户实践的经验与启示
在客户正在开发的各类产品中，我们看到了这一经验的价格：AI处理不存在放之四海而皆准的方案。
全天候运行的传感器必须在极其有限的功耗和芯片面积预算内工作。智能摄像头既需要具备高分辨率处理能力，也必须实现低延迟响应。机器人往往要把感知与多模态AI、智能体AI融为一体；AI基础设施则必须支撑复杂模型，还必须满足大量内存需求和数据传输需求。
在与众多客户深入合作的过程中，我最深的感触是：最理想的技术方案往往并不是性能最强大的计算引擎。最合适的方案，应当既能满足当前工作负载的需求，又能为客户未来的发展留出空间。
在物理AI中，这一点尤为关键：智能正加速分布于传感、感知与推理各环节，各类工作负载也需要部署在最能发挥其效能的位置。
合适的AI架构，并非仅由计算能力决定。它能够在系统约束条件下，将合适的智能能力部署在恰当的位置。
客户需要的是灵活性，要能够在整个系统中按需配置合适的AI处理能力，而无需针对每一个性能层级推倒重来。
面向下一代AI 的设计之道
AI的未来，不只看我们能创造多少智能，更看我们能多高效地将其落地。
这是我一直非常关注的问题。随着AI应用扩展至数十亿台设备，我们的挑战不再是单纯堆算力，而是如何以更低能耗、更少系统资源，提供更有价值的智能。必须从架构设计之初就将效率纳入考量，而不是事后追加。
正是基于这一理念，我们打造了新一代NeuPro架构。随着AI工作负载日益复杂，逐步涵盖更先进的Transformer、多模态、生成式和智能体AI应用，架构需要交付的已不止是峰值算力。它们需要能够高效运行最先进的模型，同时在算力、内存、带宽、数据传输和功耗之间实现最佳平衡。
新一代NeuPro架构在设计时充分考虑了这一点，与第一代产品相比，其每平方毫米的AI处理吞吐量最高可达第一代产品的2倍，能效提升50%。
要交付真正有价值的AI性能，仅仅改进计算引擎本身还不够。FP4与FP8混合精度，减少了推理所需的内存占用和数据传输量。更高的内存带宽、动态形状支持和分页式KV缓存，能够应对内存需求日益增长的Transformer工作负载，以及更长上下文的处理需求。
借助硬件张量重塑技术提升MAC利用率，有助于将峰值算力转化为有效的推理性能。NeuPro架构在硬件层面实现张量维度重塑，支持space-to-depth和tile-to-depth转换，使MAC阵列在面对不同形状的网络层时始终保持高效利用，涵盖从网络前端的浅层到Transformer Token网格等多种结构。由此，峰值算力得以在更广泛的实际工作负载中转化为有效的性能表现。
该架构还支持混合专家模型（Mixture-of-Experts，MoE）和线性注意力等新兴模型结构。通过预量化模型，加上先进的压缩、量化与剪枝能力，帮助客户更高效地部署和优化模型。
我们还将第一代NeuPro客户在实际部署过程中积累的经验，融入了下一代产品的物理设计之中。该架构从芯片物理实现的实际需求出发进行设计，通过优化计算、内存和数据传输，使理论上的效率提升真正落实到实际产品中。内置峰值功率控制功能能够管理计算资源启停时产生的电流突增，在不牺牲吞吐量的前提下，支持更高的工作频率和多引擎扩展。
这些能力协同发力，直面算力、内存、数据传输和功耗方面的难题，这些因素正日益决定真实场景下的AI性能，从而帮助将峰值算力转化为有效的系统级性能。
但面向下一代AI进行设计，绝不只是支持当今最先进的模型。更重要的是，要构建一种能够适应差异显著的各类工作负载，并在AI持续演进过程中保持灵活性的架构。
系统中的不同环节，面临的约束条件各不相同。在边缘侧，每一毫瓦的功耗都可能影响电池续航和散热设计，而每一平方毫米的芯片面积都可能影响产品成本和商业可行性。在AI基础设施中，内存带宽及内存、计算和网络子系统之间的数据传输，都可能成为关键瓶颈。
归根结底，目标始终如一：优化整个系统的运行效率，在功耗、芯片面积、内存与带宽的约束内交付更有价值的智能。
一个可扩展的NPU产品系列，一套架构，一套SDK。
下一代NeuPro产品组合将这些理念落到实处，打造出四条针对不同工作负载优化的产品线，每条产品线都经过量身设计，在AI性能与系统约束之间实现恰当的平衡：
•NeuPro Nano面向全天候运行的传感和入门级感知任务，适用于功耗、芯片面积和成本受限的设备
•NeuPro Prime面向主流CNN和Transformer工作负载
•NeuPro Max面向先进边缘AI应用，包括高分辨率感知、多模态模型、设备端智能助手、机器人、物理AI和智能体AI
•NeuPro Ultra面向AI基础设施，包括云端和数据中心推理中的复杂大语言模型，以及内存和互连子系统中的神经网络处理。
关键不在于简单地拥有四款NPU。关键在于它们基于共同的架构构建，并由统一的软件环境提供支撑。客户可以根据不同工作负载的需求，灵活选择最匹配的处理能力，而无需为每款产品采用不同的NPU架构和开发环境。
这同时带来了系统层面的灵活性。多个NeuPro引擎可在单个SoC内灵活组合，让不同工作负载各得其所，由规模适当的处理资源负责执行，而无需为每项任务都过度配置计算引擎。
原则很简单：为每个工作负载匹配合适的AI处理能力，同时让架构、工具与软件投入在产品扩展过程中始终保持一致。
软件与硬件同样具有战略重要性
推出新一代NPU时，硬件性能自然会受到广泛关注。但真正决定客户能否将这项投资的价值延续到不同产品中，并随着模型演进持续释放价值的，是软件。
NPU核心只需集成一次，但软件环境必须在产品的整个生命周期内持续提供支持。随着模型和框架不断变化，开发者需要不断评估新模型，对其进行优化和量化，编译应用、分析性能，并部署推理。
正因如此，仅有一套统一架构远远不够。如果每个性能层级都需要采用不同的工具链或开发方法，客户就很难真正享受到可扩展NPU产品系列带来的便利。
因此，整个新一代NeuPro产品系列均由统一的软件开发环境提供支持。从资源受限型设备到先进边缘AI，再到多核基础设施系统，客户都可以沿用统一的模型评估、优化、编译和运行时流程。
我们的目标很简单：随着客户在NeuPro产品系列中不断拓展产品布局，其软件投入也应随之扩展，现有工具、工作流程和工程技术积累都能持续沿用。
为尚未出现的模型而设计
AI的进化速度，快过任何单一产品周期。我们设计新一代NeuPro，旨在高效运行当今最先进的模型，同时具备支持未来新模型的灵活性。
未来几年，哪些模型架构、数值格式或工作负载将成为主流，我们无法准确预判。我们能够预见的，就是变化仍将持续。
因此，面向未来的能力，不可能靠押注某一个模型或市场某一时刻来实现。这种能力必须从一开始就融入架构与软件之中。
支持新算子，只是应对未来挑战的一部分。新模型还会带来新的系统级需求，例如KV缓存管理和混合专家模型路由。NeuPro的设计兼顾这两方面的需求：新算子可以在集成于硬件流水线中的向量处理单元（VPU）上运行，而灵活的流水线架构则支持新的系统级处理流程。
我们的目标是支持当今最先进的AI模型，同时为客户提供一个能够随未来模型、工作负载和产品共同演进的平台。
选对IP合作伙伴，为何如此关键
选择NPU，早已不只是获得一个IP模块的授权那么简单。这是一项长期决策，关乎能否获得相应的技术与专业能力，以支持AI产品路线图应对模型、工作负载和系统需求的持续演进。
因此，合适的AI IP合作伙伴需要提供的远不止RTL。它还需要具备可扩展的架构、统一的软件环境，以及与客户合作开发真实AI产品所积累的经验。同样重要的是，它必须认识到，不同的工作负载需要不同的解决方案。
对我而言，与第一代NeuPro客户合作带来的最重要启示之一是：衡量AI平台的价值，不只看它今天能做什么，更要看它能在多大程度上帮助客户为未来做好准备。
这正是我们打造新一代NeuPro的初衷：我们要构建的不只是一个NPU产品系列，更是一个可扩展的AI基础平台，帮助客户打造面向未来的产品。
