跟着国产GPU（图形处理器）芯片的兴起，怎样将入口和国产GPU灵验衔尾在沿途，打造异构芯片算力集群，成为发展东谈主工智能的一个弥留问题。2024寰宇东谈主工智能大会上，上海企业无问芯穹发布了业内首个千卡限度异构芯片混训平台，其算力诈欺率最高达到97.6%。这家源于清华大学电子工程系的企业与清华大学、上海交通大学科研团队互助，杀青了华为昇腾、天数智芯、沐曦、摩尔线程、AMD、英伟达等6种品牌芯片的交叉羼杂检会，为大模子检会提供了算力惩办决策。

　　“打沸水龙头时，咱们不需要知谈水是从哪条河里来的。相通敬爱敬爱，今后咱们用多样AI应用时，也不需要知谈它调用了哪些基座模子，用到了哪种加快卡的算力。”无问芯穹合资独创东谈主兼CEO夏立雪说。

 

　　为了杀青算力基础表率的“当然供应”，他指导团队诞生出“Infini-AI大模子诞生与管事云平台”。4个月前，这个云平台初度公测，当今已有智谱AI、月之暗面、生数科技等大模子企业在Infini-AI上厚实使用异构算力，还有20余家大模子应用创业公司在云平台上握续调用多样预置模子API（应用法子编程接口），使用无问芯穹提供的器具链诞生模子应用居品。

　　据先容，Infini-AI云平台集成了大模子异构千卡混训材干，是业内首个可进行单任务千卡限度异构芯片羼杂检会的平台，并具备万卡膨大性，撑握袭取华为昇腾、AMD、英伟达等6种异构芯片的大模子羼杂检会。从本月起，通过试训央求的用户，可在这个云平台上一键发起700亿参数限度的大模子检会。

　　夏立雪说，与海外上模子层与芯片层“相对衔尾”的形貌比拟，国内模子层与芯片层愈加“百花皆放”。这是市集竞争充分的一种发达，但大宗的异构芯片也变成了“生态阻碍”，给算力的使用方带来一系列时刻挑战。据不十足统计，文告领有千卡限度的国内算力集群不少于100个，但存在难以灵验整合与诈欺的问题，这是刻下大模子行业靠近“算力荒”的一个弥留原因。

　　针对这个问题，无问芯穹提议的惩办决策是：诞生高效整合异构算力资源的算力平台，以及撑握软硬件合资优化与加快的中间件，让异构芯片实在改造为大算力。

　　近日，这家企业与清华大学、上海交通大学合资商讨团队发布了HETHUB。这是一个用于大模子的异构散播式羼杂检会系统，在业内初度杀青了6种不同品牌芯片间的交叉羼杂检会，何况工程化完成度高。当作在异构臆想优化与集群系统盘算推算方面的科技放荡，它有助于构建“M种模子”与“N种芯片”中间层的“M×N”生态形貌，杀青多种大模子算法在多元芯片上的高效、息争部署，为更多东谈主工智能企业提供实足的算力资源。