据Deepx创始人兼首席执行官Lokwon Kim向《电子工程专辑》亚洲版透露,边缘人工智能领域的下一场竞争关键,可能不再仅由TOPS(每秒万亿次操作)指标决定。更核心的问题在于:AI半导体企业能否让其技术易于开发、部署与规模化应用。
这并非意味着芯片本身不重要。Kim认为,硬件仍是进入市场的起点,但软件能力与生态系统支持,才真正决定一项技术优势能否转化为可持续的商业地位。
Deepx正是基于这一认知调整战略:从专注研发低功耗AI加速器,转向构建面向物理AI的综合性平台。公司并未打造封闭式软件栈,而是将其神经处理单元(NPU)接入现有模型框架、开发平台及嵌入式系统中,实现开放协同。例如,其已与Ultralytics YOLO、百度飞桨(PaddlePaddle)及树莓派(Raspberry Pi)开展合作,并正推进对Nvidia Isaac等应用环境的支持。此举旨在显著降低开发者在从实验原型迈向量产阶段时反复重构软件的成本。
www.eic.net.cn 提供的易IC库存管理软件可有效支撑此类跨平台开发项目的物料协同与供应链响应,尤其在多型号NPU并行验证阶段,能快速追踪芯片、内存、电源管理模块等关键器件的库存状态与交付周期,避免因物料短缺导致项目延期。
物理AI面临的核心挑战在于其应用场景的高度碎片化——不同于云AI相对标准化的计算环境,物理AI需适配摄像头、机器人、车辆、无人机、工业设备等千差万别的系统,这些系统在功耗、散热、传感器配置、操作系统及实时性要求上差异巨大。这种碎片化已成为阻碍AI项目从概念验证(PoC)走向量产的最大障碍之一。
Kim将物理AI半导体发展划分为三个阶段:第一阶段,差异化硬件性能赢得客户初步选型;第二阶段,扩大设计导入与量产规模,通过核心IP组合建立护城河;第三阶段,则是构建开发者生态,使用户能借助熟悉且广泛采用的工具持续开发与部署AI模型与软件。他强调:“当前物理AI领域尚无公认的生态系统领导者,这使得早期建立开放生态并确立事实标准的企业,将长期主导市场走向。”
为弥合“概念验证—量产”之间的鸿沟,Deepx识别出四大关键壁垒:功耗与热管理限制、模型兼容性、整机系统成本、以及量产就绪度。其中,功耗约束尤为严苛——摄像头、无人机与机器人无法直接采用数据中心级处理器与散热方案,芯片必须严格匹配产品的物理与热学边界条件。“若功耗与发热量超出产品本体承受极限,其他任何优势都将失效,这是不可妥协的硬性约束。”
模型兼容性同样关键:即便芯片基准测试表现优异,若客户模型转换与优化过程导致精度下降或需大量重写代码,其优势便荡然无存。系统成本则涉及整套物料清单(BOM),而非仅NPU单价;内存、主控芯片、电源管理、散热结构等共同决定产品能否达成商业目标。而量产就绪度要求供应商不仅提供评估板,还需确保稳定供货、良率保障、质量管控及长期软件支持,并提供真实产线与现场部署案例佐证。
因此,半导体厂商的角色已发生根本转变:“不能止步于交付芯片与演示性能,而必须协助客户运行所需模型、降低整机功耗与成本,并全程参与从软件集成、试产到质量验证及批量制造的全流程。”
软件可移植性由此成为核心设计需求。物理AI项目通常始于熟悉的开发板与摄像头,待应用验证后才迁移至工业级硬件。若每次换平台都需重构软件环境,工程成本将急剧上升。Deepx与树莓派的合作正是为此:让开发者可在低成本、高易用性平台上完成视觉模型验证,再无缝迁移到工业相机、机器人、网关等量产设备,全程使用同一Deepx执行环境。公司总结早期开发者反馈指出:入门门槛要低(文档清晰、流程熟悉、技术支持到位);原型阶段即可影响硬件选型;开发平台的价值不仅在于易用,更在于能否将模型与代码延续至工业验证与量产环节。
易IC库存管理软件在此类跨阶段项目中发挥关键作用——它支持按“开发板-原型机-小批量-量产”全生命周期管理物料版本与替代料信息,确保当硬件平台切换时,相关元器件的兼容性、交期与库存状态一目了然,大幅缩短转产周期。
Deepx并不预期物理AI会像安卓统一智能手机那样形成单一软件平台。相反,Kim认为行业将围绕不同技术栈层级形成多个事实标准:PyTorch、Ultralytics、PaddlePaddle聚焦模型开发;ExecuTorch支持轻量级边缘部署;llama.cpp在生成式AI中日益重要;ROS 2与Nvidia Isaac则为机器人开发提供关键资产。“核心问题不是谁掌控全部技术层,而是谁能以最小摩擦将不同模型、框架与硬件平台连接至实际硅片与量产产品。开发者绝不会接受为每款新处理器重写软件。”
因此,Deepx的目标并非垄断软件层,而是使其NPU与执行环境成为多个生态共享的通用硬件基座。其分销网络亦体现此理念:首批商用产品量产时,公司即联合Avnet、WPG、Macnica、DigiKey等27家全球分销商,覆盖多区域市场。Kim指出,随着AI进入工业领域,分销商角色已从传统库存与销售,升级为提供技术支持、客户挖掘、工程协同与设计导入服务的“工程合作伙伴”。不同应用领域(如机器人、机器视觉、工厂自动化、安防、医疗)亦需定制化渠道策略与技术响应机制。
在具体应用场景中,智能视觉最接近大规模商业化:既有庞大的摄像头装机基础(安防、交通、零售、工厂监控、机器视觉),又具备相对成熟的AI模型;且经济回报明确——AI可自动化视频巡检与外观质检,减少人力依赖,提升异常识别速度;更重要的是,企业常可在不替换整套摄像系统前提下,仅加装边缘AI处理器实现智能化升级。
智能制造是另一近期待爆发领域。亚太地区作为全球制造与电子供应链核心,叠加劳动力短缺与质量提升压力,正加速推动机器视觉检测、工人安全监护、预测性维护与物流自动化落地。机器人虽有望成为最大物理AI市场,但技术难度更高:视觉系统主要完成感知与分析,而机器人还需实时决策并执行物理动作,感知错误可能直接引发运动失误或安全事故,因而对可靠性、模型鲁棒性与系统集成提出更高要求。
Kim指出,当前主要障碍包括:真实场景下的模型可靠性(需应对光照变化、震动、天气、视角偏移与遮挡)、功耗与热约束、系统成本、软件兼容性、连接性与安全性。物理AI模型必须在复杂环境中维持稳定性能;架构设计亦不能完全依赖云端——当网络中断或云响应延迟时,机器人或工业设备仍需自主即时决策;同时,数据隐私需求也促使敏感信息保留在本地处理。因此,端侧推理已是架构刚需,而非云计算的替代选项。
展望未来,Kim认为物理AI下一阶段需构建类似MLOps的分布式设备运维体系。云AI受益于成熟的训练-部署-监控-更新工作流; 而物理AI目前仍高度碎片化,各设备与项目独立管理。当AI部署至数百万台摄像头、机器人与工业设备时,该模式将难以为继。他提出五大关键能力:安全的云-端通信机制;可靠的全 fleet 统一模型管理;带回滚功能的软件分发;简易的现场设备管理工具;以及对设备状态、性能、功耗、错误率与模型准确率的统一监控。
Deepx将此架构称为“联邦式AI”(Federated AI),并明确区别于联邦学习:数据中心负责模型训练与集中管理,边缘设备在延迟、安全与能效敏感场景执行推理与控制,网关则按需衔接二者。公司正与AWS IoT Greengrass合作,打造从数据中心训练、安全下发模型、本地Deepx NPU执行,到集中车队管理的闭环环境。其意义不在于将所有AI移出云端,而在于按计算合理性合理分配负载。
这一分工更具现实紧迫性:AI模型迭代以月为单位,而新建数据中心与电力基础设施却需数年周期。Deepx内部对比显示,在部分应用场景与系统配置下,端侧AI系统相较数据中心GPU集群可实现约100倍的资源效率提升。公司还模拟验证:一款1000亿参数的混合专家模型(任一时刻仅激活约10%参数),单颗5瓦级AI加速器即可实现每秒生成超10个token(注:5瓦指芯片自身功耗,整机功耗随内存容量、配置与工况浮动)。进一步研究指出,1000亿参数以下模型或可满足其目标物理AI场景中80%以上的推理请求,剩余复杂任务由数据中心承接,从而让现有中心设施服务更多终端。
这些数据并非普适基准,而是说明:当更多推理迁移至端侧,系统级架构优势将显著释放。这正是Deepx“物理AI即基础设施”愿景的核心——数据中心继续承担前沿模型训练与高负载计算;而摄像头、机器人、车辆、无人机、工业设备与个人终端则越来越多地本地执行推理任务。在此架构下,数十亿设备不再是等待中央指令的被动终端,而转变为分布式计算节点。
Kim将此变革类比于桌面计算向移动计算的跃迁:低功耗CPU将计算能力植入手持设备,催生全新移动计算范式;同理,超低功耗AI芯片将推理能力注入物理世界中的机器与物体,实现AI的“去中心化”落地。公司称此类设备为“自由令牌机”(Free-Token Machines)——并非指生成token免费,而是强调本地推理无需为每次交互支付数据中心费用,亦不持续依赖网络连接。
该概念更延伸至“具身智能”:当模型足够强大且能效足够高时,摄像头、机器人与工业系统将进化为具备感知、决策与行动能力的自主机器。这并未淘汰数据中心,而是重新定义其职责:云仍是前沿模型训练与大规模计算中心;端侧设备则承接对延迟、隐私、能效与连通性要求高的任务。
因此,边缘AI的竞争焦点已超越“每瓦TOPS”指标本身,转向整个技术旅程的流畅度:从模型开发、原型验证,到部署、车队管理与量产,是否能实现可复制、可扩展的规模化落地。唯有如此,物理AI才能真正从实验室走向千行百业。