作家 | 三北

剪辑 | 漠影

跟着OpenAI的视频生成模子Sora爆火，国内大模子同业正在铆足劲加快追逐，同期濒临的算力瓶颈及对应的本钱压力日益突显。

软件优化法子是破解算力瓶颈的一条捷径。本年3月，国内有名AI公司潞晨科技开源的Sora复现架构有运筹帷幄Open-Sora，据称可虚构46%复现本钱，背后就收货于潞晨科技的Colossal-AI软件系统。

Colossal-AI是潞晨科技自研的面向大模子的通用深度学习系统，可用于大模子历练、微调、推理部署的全过程。该系统在圈内与微软DeepSpeed和英伟达的Megatron分庭抗礼，并凭借GitHub上三万六千多颗星，被一众缔造者视为细分赛说念世界第一。

本年2月，潞晨科技更进一步聚积华为推出Colossal-AI云平台——ColossalAI Platform，以此治理大模子从业者国产化迁徙难问题，为用户提供开箱即用的高性能算力及缔造部署全过程器具。与此同期，潞晨昇腾训推一体机如故上线，据称性能最高可达对应A800机器性能的92%。

ColossalAI Platform网站截图

ColossalAI Platform地址：

https://platform.luchentech.com/

当下就怕AI成两会热点话题，高层初度将开展“东说念主工智能+（AI+）”活动写进政府使命诠释，AI算力瓶颈问题备受存眷。那么符合中国的AI算力治理有运筹帷幄应该是什么样的？

潞晨科技与华为聚积推出的算力治理有运筹帷幄，为产业提供了一个典型新范本。

01 .

直击传统行业“AI+”痛点

两大有运筹帷幄普及算力中心价值

“参加2024年，咱们不雅察到大模子关连算力需求显着增多。”潞晨关连清雅东说念主告诉智东西，“非凡是视频生成大模子如Sora的爆发，以及对话机器东说念主的通常应用，推动了大模子在不同业业的落地应用。”

在这种布景下，客户的需求特征变化主要体当今对更大边界、更高性能的筹划资源的伏击需求，以痛快复杂任务的历练和推理。各地算力中心如棋布星陈般落成，一方面有望在启用后邻接渊博AI算力需求，另一方面则在落地场景中濒临严峻的应用挑战。

算力中心只须靠提供极度就业，智商形成诱导客户的卖方上风。

业内东说念主士称，不少算力中心有硬件却很难卖出去，因为无法帮客户真实把算力用起来。算力中心的客户在大模子缔造过程中濒临重重挑战，波及各样化的⼯具和框架、复杂的缔造和部署过程、资源管束和转变、数据管束、扩张、监控和调试、安全性和权限管束等多方面，成为传统行业“AI+”转型的路障。

潞晨科技与华为最新的合营，为算力中心及传统行业“AI+”转型提供了新解法。本年2月，潞晨科技与华为推出了两类聚积治理有运筹帷幄：

一是ColossalAI Platform零丁部署版，这是个⼀体化的AI缔造和部署平台，不错助用户在昇腾上像作念PPT不异历练/微调/部署大模子。用户可通过华为云云商店下单，进行ColossalAI Platform特有化部署，从而在腹地以更低门槛、更低本钱、更高速率通过特罕有据历练/微调出后果更好的特有垂类大模子。

ColossalAI Platform零丁部署版网站截图

ColossalAI Platform零丁部署版地址：

ht tps://marketplace.huaweic loud.com/contents/b0fa0a48-b4b5-4651-8277-a14430a8b4d0#productid=OFFI967630942413742080

二是潞晨昇腾训推一体机，也便是潞晨昇腾超等使命站，用户购买机器后可零本钱迁徙，开箱即用地取得与英伟达机器比好意思的高性能算力，用上与ColossalAI Platform雷同的功能及就业。

02 .

云平台：千元预算半天历练

让路源模子比好意思GPT

潞晨关连清雅东说念主告诉智东西，关于自有昇腾硬件算力的客户或算力中心来说，他们只需要在华为云云商店下单Colossal-AI Platform零丁部署版，就大致取得雷同“千元半日训出70亿参数大模子”、“万元训出比好意思GPT大模子”的体验。

几个月前，Colossal-AI团队仅期骗8.5B tokens数据、15小时、数千元的历练本钱，神秘顾客仪器见效构建了性能超卓的70亿参数汉文Llama 2版块模子，在多个评测榜单性能优胜。

Colossal-LLaMA-2-7B测试比好意思同边界SOTA模子

在此基础上，1月，Colossal-AI再次迭代，期骗25B tokens数据，仅耗尽数万元本钱，打造了后果更佳的130亿参数的Llama 2模子，在CMMLU、AGIEVAL、GAOKAO与C-Eval多个榜单上发达优异，并排耗尽上千万元的主流大模子。这些大模子在好多场景中能比好意思OpenAI的GPT-3.5甚而是GPT-4模子。

Colossal-LLaMA-2-13B测试超同边界主流模子

关于用户来说，ColossalAI Platform上手翰单。平台提供统⼀的接⼝和⼯具，底层时间清贫如故被屏蔽了，使得缔造大模子变得像作念PPT不异容易。

然鹅，今天的这则新闻却告诉我们：米其林榜单可能就是个笑话？

左证潞晨官方测试，通过活泼的筹划资源、可扩张性和高度可定制的环境，ColossalAI Platform能助大模子预历练本钱虚构50%，大模子基础设施本钱虚构10倍，大模子硬件需求本钱虚构10倍，大模子技俩上线时期缩小10倍。

从功能模块来看，ColossalAI Platform主要包括基础设施层、就业层-AI就业中台、应⽤层-AI治理⽅案三层架构。

ColossalAI Platform的主要架构

其中，基础设施层包括筹划节点、存储和⽹络几个模块，提供硬件与框架⽀抓、原⽣集成ColossalAI的预制镜像、预制镜像⾥AI代码框架版块的按时更新、AI算⼒资源管束等功能。

就业层-AI就业中台主要提供AI算⼒资源管束、AI云主机、模子历练、历练任务模版、模子部署、模子管束、数据集管束、算法管束等功能。

应⽤层-AI治理⽅案主要提供AI应⽤市集、镜像管束、⽂档中⼼等功能。

总的来说，Colossal-AI Platform的主要上风如下：

1、ColossalAI Platform和Colossal-AI通过在⼤型集群上提供“低代码零代码缔造体验”，显耀提⾼复杂应⽤法子的缔造速率。

2、ColossalAI Platform原⽣集成⾼效漫衍式缔造基础设施Colossal-AI，进⼀步优化⼤模子的历练和推理过程。

3、ColossalAI Platform预置⾃动化算⼒和存储资源的治理⽅案，⾃动为⽤户竖立最优集群，并确保数据安全。

4、ColossalAI Platform显耀虚构企业研发本钱，将⼤模子项⽬上线时期缩小10倍。

Colossal-Al云上大模子高效治理有运筹帷幄前年底取得了华为云聚积CNCF、中国通讯院等颁发的“2023年度云原生时间转换奖”，Colossal-AI大模子缔造系统也在同期期入选中国信通院确凿开源大模子产业鼓励方阵。

潞晨科技获“2023年度云原生时间转换奖”

03 .

一体机：克服昇腾适配瓶颈

性能对都NV同代居品

关于一些尚未采购算力的客户，潞晨昇腾超等使命站是优选旅途。

潞晨昇腾超等使命站具有两大中枢上风，0本钱罢了到昇腾机器的无缝迁徙，并从性能上比好意思英伟达高端历练卡。

潞晨Colossal-AI系统当作亚洲AI系统细分赛说念名秩序一的选手，凭借其在AI系统软件的使命率先匡助国内企业治理了昇腾机器适配清贫，仅需安设Colossal-AI便可罢了原先PyTorch技俩到昇腾机器上的无缝迁徙。

潞晨昇腾超等使命站罢了0本钱适配

在性能方面，在Colossal-AI的加抓下，昇腾性能则可平直比好意思甚而突出英伟达在原生PyTorch框架下的性能，弥补了国内在AI系统上的空白，为国内繁密有落地大模子贪图的企业提供了可靠的天下产替代有运筹帷幄。

潞晨昇腾超等使命站获昇腾时间认文凭

04 .

结语：开释国产算力

助大模子产业突破瓶颈

当下就怕“东说念主工智能+”飞腾为国度打造新质坐褥力的策略活动，同期好意思国OpenAI推出的Sora对国内AI产业形成更大的压力，这都条件智能算力产业给出更高性能、更高效力的算力治理有运筹帷幄，助大模子产业突破瓶颈，打造符合中国的大模子算力有运筹帷幄。

“华为昇腾+潞晨Colossal-Al”组合为中国大模子发展提供了一个高大参考，其创始性在于将华为昇腾先进AI芯顿然间与潞晨高性能筹划相归拢东莞服装店神秘顾客，为国内客户提供了全面、高效、可定制的治理有运筹帷幄，形成推动中国大模子时间和产业演进的更大能量。