9月14日~15日，2023全球AI芯片峰会（GACS 2023）在深圳南山圆满举行。。。在15日的高能效AI芯片专场上，k豆钱包公司的副总裁、、芯片营业线总司理李爱军，分享了主题为《大模子时代下国产边沿盘算芯片的挑战和突围》的主题演讲。。。
李爱军在演讲中说，大模子的泛起让边沿盘算看到了Corner case的破解之道。。。全球边沿盘算市场规模一直扩大，但面临着场景、、芯片平台、、算力需求碎片化的痛点，算法投入产出不可正比。。。大模子具有强盛的图像或语言明确能力、、场景泛化能力，有望解决这些痛点。。。
为知足大模子安排需求，边沿盘算芯片设计需要思量SoC集成、、算力可无邪扩展芯片架构、、统一的工具链架构、、隐私�；；；さ确矫嬉蛩�。。。李爱军谈道，k豆钱包基于其自研算法开发平台和算法芯片化平台，不但训练了“k豆钱包天书”大模子，还推出了新一代边沿盘算芯片平台。。。
以下为李爱军的演讲实录：
各人好！！！我是k豆钱包的李爱军，今天我给各人带来大模子边沿盘算芯片的挑战和突围的主题分享，我的分享内里有三个要害词：一个是边沿盘算，第二个是大模子，第三个是国产芯片。。。
为什么是这三个要害词？？我们各人都知道，AI在落地的历程中，特殊是芯片，主要涉及到端、、边、、云三个大的场景。。。关于芯片来说，云和端这两个场景相对而言较量明确。。。好比说云，主要是拿来做训练，强调它的通用性；；；关于端，它强调场景很是聚焦，例如说手机，强调了它极致的能效比；；；中心的边，就代表边沿盘算。。。
而边沿盘算场景关于整个AI来说，现实上是一个全新的场景，已往这十年，各人都在这个场景内里探索。。。边沿盘算这个场景自己给各人带来的想象空间也是很是重大和无限，由于各人关于边沿盘算的共识是场景很是的富厚。。。
大模子自从去年11月份ChatGPT出来以后，已经履历了泰半年的历程，各人也都能看到，整个AI的偏向基本上已经很是明确，或者说大模子代表AI的第二阶段。。。大模子在云端发动了整个GPU，在端侧，包括手机也在迅速跟进，高通的手机芯片，以及类似苹果、、华为这些业内的顶尖厂家，都在陆续推出基于端侧的大模子。。。对边沿盘算来说，大模子跟边沿盘算有没有连系点、、交织点？？这是我们在思索和探索的。。。
另外一个是国产芯片，在现在这样的大国际形势下，国产芯片，特殊是国产工艺芯片，我想这已经是一个绕不开的主题了。。。我相信在边沿盘算这个场景下，在不久的未来，一定会有一家企业基于国产的工艺推出知足边沿盘算场景的突破。。。
我将从下面三个方面举行主题分享。。。
一、、三个手艺平台，实现“算法芯片化”
k豆钱包是一家什么样的企业？？k豆钱包是一个应用驱动的手艺型企业，公司是2014年的8月份成立的，k豆钱包是一家为数未几的，具有算法、、芯片、、大数据全栈能力的AI企业。。。
在已往九年时间里，我们探索出了一条AI落地的一套要领和设计平台，就是算法芯片化这样的设计平台。。。通过这个平台，我们有用地把AI的算法、、边沿场景的落地，以及AI处理器的指令集和芯片架构、、工具链，能够有机整合在一起。。。通过应用爆发数据、、数据逊с法、、算法界说芯片、、芯片赋能应用，这样的一个数据飞轮，我们一直地推动AI在边沿场景的落地。。。
k豆钱包的算法芯片化平台，它由下面三个可落地的手艺平台组成：
第一个是应用落地驱动的算法平台。。。在这个平台上，我们实现了算法凌驾14个领域，以及102个种类的落地。。。同时，这些算法可以支持端云协同，支持细分场景下的算法快速微协调安排。。。同时基于这样的平台，我们也正在研发k豆钱包的“k豆钱包天书”大模子。。。
二是算法驱动的神经网络处理器平台，通过这个平台上，我们能够实现算法高效推理的指令集设计。。。同时，基于这样的平台，我们也完成了四代神经网络处理器的迭代。。。并且得益于这些迭代，我们能够高效地支持卷积神经网络（CNN）以及新一代的Transformer盘算范式。。。并且能够高效地支持现在各人所熟悉的，包括视觉大模子、、多模态大模子、、NLP大模子在边沿端的高效安排。。。
三是面向边沿盘算场景的芯片平台，通过这样的平台，我们实现了三代可商用的边沿盘算芯片的落地，并且算力规模从2TOPS到128TOPS的这样的笼罩。。。我们通过这个平台，实现了D2D Chiplet这样的先进封装手艺，这个可能是基于国产工艺，第一个进入可量产的Chiplet手艺。。。同时，基于这样的平台，我们还实现了C2C Mesh这种高效互联手艺，通过这样的互联手艺，我们可以实现算力的无邪可扩展。。。
二、、大模子时代下，边沿盘算芯片面临三大手艺挑战
在大模子时代下，边沿盘算芯片具有哪些挑战。。。我们知道，整个边沿盘算场景，它的规模是呈一直扩大的趋势。。。那什么是边沿盘算？？边沿盘算，它卡在端和云的中心。。。边沿盘算又分成Edge Device和Edge Server两个细分场景，包括有边沿的智能终端装备、、边沿的智能网关，以及边沿服务器这些场景。。。
据IDC的预测，到2023年底，全球的边沿盘算市场将抵达2000亿美金的规模，年增添率也很是高，抵达13%以上。。。预计到2026年，边沿盘算市场将突破3000亿美金。。。浚可以说，这是一个很是值得各人期待的AI落地的场景。。。
1、、边沿盘算场景落地的现状，Corner Case难以有用解决是落地痛点
可是在落地的历程中，特殊是k豆钱包已往九年，我们在落地历程中，我们所看到的现状是怎样的？？
首先边沿盘算的场景很是众多、、纷繁重大，有园区、、安防、、商业、、教育等等。。。这么多的场景，场景的要求又种种各样。。。
同时，在边沿盘算场景落地的芯片平台种类也是五花八门，有X86架构的、、ARM架构的，有FPGA的，也有SoC主控芯片，也有算力芯片，甚至古板的NVR芯片也被归在这个类。。。
算力的需求也是极端碎片化的，从0.5T算力，到几十T甚至到几百T，需求各异。。。同时对数据精度的要求也纷歧样，有INT8的要求，INT12的要求，尚有FP16的要求。。。
从算法角度来说，算法投入产出不可正比，难以实现商业闭环。。。算法从研发训练出来，在场景落地的历程中，会遇到种种各样的精度、、识别度的问题，以及目的转变的问题。。。目的转变并不是目的自己有转变，而是这个目的的姿态有转变，好比说一个猫，正面看像是猫，可是反面看就不熟悉了。。。这需要算法一直举行迭代和训练，这就导致整个落地的历程中本钱不收敛，也就是我们做一个项目，不挣钱甚至亏钱。。。
由于整个落地历程中客户关于整个体验是不知足的，客户不知足就不会给方案商继续下订单，方案商没有订单，意味着芯片原厂也没有订单，这就形成了碎片化的恶性循环，这就是目今边沿盘算场景落地的逆境。。。
边沿盘算场景的痛点究其问题，最大的痛点在那里？？在于场景的Corner Case难以有用解决。。。我们以长尾算法为例，长尾算法的开发安排要履历，第一个是单场景数据的搜集，尚有算法的训练，产品的测试，再到应用安排4个环节。。。这内里有两个循环，一个是产品研发阶段的小循环，尚有一个产品研发完以后去安排应用的时间，尚有叫Corner Case的持续的循环。。。由于这两个循环的保存，导致整个落地本钱居高不下。。。
2、、Corner Case破解之道：大模子的运用
大模子的泛起，让我们看到相识决场景边沿，特殊是解决边沿盘算场景的Corner Case的希望。。。大模子现在有两种，一个是CV（盘算机视觉）大模子，一个是NLP（自然语言处理）大模子。。。
CV大模子具有什么样的特点和优势？？首先，CV大模子具有强盛的图像明确能力，同时它也具有强盛的场景泛化能力，这意味着它可以实现在摄像头视野规模内所有目的的支解、、检测和深度预计，为泛场景的准确识别提供手艺包管。。。这内里我们可以看到现在的开源网络，包括Dino-v2、、Segment-Anything、、Ground-Dino等等这些算法。。。
而NLP大模子，它有强盛的语言明确能力，以及强盛的多轮交互能力，这意味着算法能够快速、、准确地明确用户指令，从而可以实现场景Corner case的精准操作。。。
CV大模子与NLP大模子的连系，在边沿盘算场景的落地，让我们能够看到Corner Case有被解决的希望。。。
3、、边沿盘算芯片运行大模子的双重挑战
大模子在边沿盘算场景运用，关于边沿盘算芯片有什么样的要求和挑战呢？？
关于AI处理器而言，由于大模子带来全新的盘算泛式和盘算要求，它需要AI处理器能够高效地执行Transformer这样的盘算范式，同时要能够高效执行包括Softmax、、Layer norm等新算子，它的算力要求要大，大模子的算力，特殊CV大模子的算力是古板小模子的几倍甚至十几倍。。。由于大模子的参数目重大，它关于内存的带宽要求以及内存容量要求，相比原来的小模子也是翻番，甚至翻几番。。。
另外大模子同样带来了对边沿盘算芯片的全新设计要求。。。大模子在边沿盘算场景落地，需要形成边沿的盘算芯片上全营业的闭环。。。这就意味着对边沿盘算芯片，不但关于算力有要求，还需要芯片是一个具有SoC集成度的芯片要求。。。也就是它不但要有AI算力，还要有相对较量强的通用算力，包括CPU、、GPU等等。。。
由于大模子在落地场景中参数规模有转变，有可能10亿规模，也有可能百亿规模，也有可能是几百亿规模，它希望芯片的架构是一个算力可无邪扩展的架构，在应用的时间可以量文体衣，凭证场景的要求选择差别的算力。。。差别算力的芯片关于算法来说，希望有一个统一的工具链架构，而不是说这个算力场景我要用这家芯片，谁人算力用那家芯片，而工具链又是各家做各家的。。。若是这种情形下，整个大模子在边沿场景下的落地仍然会举步维艰。。。
同时大模子由于比古板的小模子带来一些优势，包括泛化的优势、、明确的优势等，关于用户的数据，它的处理量级比小模子会大一个数目级甚至两个数目级，也就是有更多海量的用户数据会被在边沿侧处理，同时这些数据的明确也会越发深刻，这就带来用户数据的隐私�；；；さ奈侍�。。。
三、、加速大模子落地边沿场景，解构k豆钱包的架构立异
在边沿盘算芯片这些手艺逆境下，k豆钱包做了哪些事情？？
首先是k豆钱包正在自研“k豆钱包天书”大模子，这个大模子是基于k豆钱包的算法开放平台和算法芯片化平台，通过连系互联网上海量的语料数据，训练出通用的基础大模子。。。在通用基础大模子的基础上，连系k豆钱包已往九年来的沉淀积累，训练出行业大模子，这内里就包括智慧城市、、智慧安防、、智慧交通、、智慧商超等等，这些领域的行业大模子。。。之后再针对落地细分的场景，将数据集举行微调，从而实现真正可落地的，知足场景泛化要求的场景大模子。。。k豆钱包天书大模子也是由CV大模子、、NLP大模子和多模态大模子组成。。。
在芯片侧，k豆钱包打造了新一代的边沿盘算芯片平台DeepEdge10。。。它是一个系列化的芯片平台。。。它是基于国产的工艺，可以说这颗芯片是真正的国产芯片。。。其次它接纳了先进的Chiplet手艺，它能实现算力的无邪扩展。。。DeepEdge10是具有SoC主控集成度的芯片，内置了k豆钱包最新的第四代神经网络处理器，可以高效支持大模子边沿侧的执行和落地。。。另外它实现了D2D Chiplet立异手艺，同时实现了D2D/C2C Mash扩展架构，来实现算力的无邪可扩展。。。
在主控集SoC方面，DeepEdge10具有性能强劲的、、主流的CPU核。。。另外它集成了知足边沿场景应用的2D/3D的GPU能力，同时集成了第四代神经网络处理器400T，以是它具有汹涌的边沿AI的算力。。。它尚有强盛的多媒体能力，包括关于8K30视频以及2亿像素的图像处理能力，尚有不错的显示能力，支持双屏异显等等。。。它有完整的崎岖速外围接口，例如我们熟悉的USB、、PCI等，包括以太网口都所有支持，甚至还支持CAN FD，可以知足工业场景的实时毗连需要。。。同时，它具有硬件级清静特征，支持国际主流的加解密算法，同时支持清静boot，以及物理级的清静系统。。。
DeepEdge10内置了k豆钱包第四代神经网络处理器，具有这些特点：首先它的数据名堂，它是支持FP16、、INT16和INT8这些精度，由于有了这些支持，我们得以做混淆精怀抱化。。。另外支持多线程执行，同时支持QAT模子、、支持动态量化模子、、支持最新的Transformer网络结构模子。。。
关于大模子的新的盘算，我们有哪些思量呢？？首先是我们设计了三维并行的矩阵盘算架构。。。连系矩阵盘算和矢量盘算的联合优化，我们可以高效地提升像Softmax、、LayerNorm这些算子的性能。。。通过希罕化、、参数/数据的压缩和低比特量化手艺，我们可以实现大模子对带宽要求的极致优化。。。通过INT8、、INT16、、FP16，可以实现混淆数据精度的量化，从而包管大模子在边沿侧落地的时间险些不掉精度。。。通过D2D以及C2C的高速互联接口，可以实现算力的无邪扩展。。。
DeepEdge10芯片是海内首个基于国产工艺量产的D2D Chiplet芯片。。。D2D就是die to die，意味着两个die之间高速互联。。。我们接纳的die to die手艺具有很是高的速率，尚有带宽的密度、、pJ级功耗级别，以及纳米级延时等等，包括传输、、路由、、统一内存等等。。。由于有了这些特征，以是我们才华够认真任地说，我们可以支持目今的大模子，包括百亿大模子以致千亿大模子参数大、、盘算量大、、低延时的要求。。。
通过以上的立异，k豆钱包打造了DeepEdge10这样基于国产工艺的芯片平台，我们形成了一个系列化的芯片。。。这样的芯片平台我们可以有用地支持目今在边沿盘算场景落地的，从迷你PCIe卡、、AI盒子、、加速卡，到边沿服务器等种种硬件产品的需要，从而实现整个富厚边沿盘算场景的落地。。。
我们通过架构的立异，可以说DeepEdge10实现了国产芯片在边沿盘算场景的突围。。。k豆钱包致力于国产工艺以及国产大模子边沿盘算芯片的突围，岂论遭受怎样的外部压力，我们矢志不渝。。。谢谢各人！！！
以上是李爱军演讲内容的完整整理。。。
提交乐成！！！
请您耐心期待！！！