大模型催生边缘算力需求,这家公司要用Chiplet重构AI芯片|把脉AI大模型

2024-05-23 10:44:22 来源:
浏览

当GPT-4首次支持多模态后,文本、图像、视频及更多形态的数据都被设想成未来可以“喂给”大模型的数据。从训练到推理,从数据中心到边缘,AI引爆的数据多模态化浪潮使得业界意识到算力明显不够用了。

“大模型的爆发首先带动的是训练,算力需求目前最紧俏也是这部分,英伟达目前在训练一侧是绝对的霸主。但当大模型训出来后,开放API响应广大网友们每天的各种请求,推理的算力价值就会被浮出水面。”原粒半导体创始人兼CEO方绍峡博士接受界面新闻采访中告诉记者。

原粒半导体是一家AI Chiplet供应商,公司正式成立于今年4月,创始团队来自国际半导体巨头,在AI芯片领域深耕多年。

这支新创业团队的目标是通过结合创新的多模态AI处理器技术与Chiplet设计方法,提供高能效、低成本的通用AI Chiplet组件,客户可以根据实际业务需求低成本、灵活、快速配置出不同算力规格的AI芯片,以满足多模态大模型的推理及边缘端训练微调需求。

Chiplet通常被定义为模块化芯片的设计概念,包含“IP芯片化(IP as a Chiplet)”和“芯片平台化(Chiplet as a Platform)”。与之形成对比的传统集成电路的SoC技术(片上系统)。

它是将原本集成在一整块芯片上全部核心处理器IP(例如图形处理器 (GPU)IP、 视频处理器 ( VPU )IP、 数字信号处理器 (DSP)IP、神经网络处理器 ( NPU )IP等等)按功能拆分成一个个的独立单元,即芯粒,俗称“小芯片”。芯片厂商通过采购这些芯粒,按需求利用2D、3D封装做拼搭组合,做到“即插即用”。

受摩尔定律的物理极限限制,传统SoC技术在突破更小尺寸的先进制程的迭代道路上成本高、良率低。

同时SoC芯片在近几年的发展中,除与AI计算功能相关的IP外,其他部分规格变化缓慢,大模型的出现更是显著拉大了这一差距。若沿着SoC路线,更新迭代流片成本过高。

在此前提下,Chiplet因为能够突破单颗芯片的面积制约、模块化后又通过先进封装可以实现异构集成,是成本更低的解决方案。

此外,大模型推理对于边缘算力的需求也是未来的另一大趋势。

方绍峡认为,与云计算的数据中心架构相比,大模型在边缘端的智能计算是在一个已经训练好、有基本智能水平的模型基础上。当边缘端具备多模态大模型的离线学习进化能力时,本地模型将变成私人定制化的东西,数据也无需再往云端上传。这部分推理与训练微调过程主要依赖边缘多模态大模型AI算力。

在这种前提下,同“一卡难求”的英伟达GPU提供给的算力相比,引入第三方算力自然而然地成了一种降成本、提效率的可行选择。

目前,原粒半导体当前思考的商业模式主要是作为AI Chiplet产品的上游供应商,向下游的SoC厂商及系统厂商提供标准化的多模态大模型AI 算力Chiplet产品。

上下游产业链上的“SoC主控+AI Chiplet”组合可有效复用芯片主控,显著降低成本,快速满足各类规格需求,同时也是Chiplet产业化的机遇,预计也会是公司未来主要的营收渠道。

原粒半导体自身定位于AI算力基础设施供应商。Chiplet目前还是新鲜事物。因此需要芯粒厂商积极适配SoC厂商及系统厂商需求,多模态AI算力Chiplet也将给AI算力市场带来全新可能。

原粒半导体近期宣布已经完成数千万元人民币种子轮融资,本轮融资由英诺天使基金领投,中关村发展集团、清科创投、水木清华校友种子基金、中科创星等多家机构跟投。本轮融资将用于公司核心团队组建以及创新技术研发。

免责声明:此文内容转载于网络,内容为作者个人观点版权归原作者所有,本站转载目的在于传递更多信息不代表本网赞同其观点和对其真实性负责。如涉及版权或其它问题,请点击[投诉通道],我们将在第一时间删除!