文 | 王方玉

剪辑 | 苏建勋

现在绝大多数生成式AI产物的底层技能都源于2017年提倡的Transformer模子架构，而国内一家AI创业公司——彩云科技却独出机杼，开发出了全新的模子架构DCFormer，并基于此推出新产物。

11月13日，彩云科技在北京总部发布了首款基于DCFormer架构开发的通用大模子云锦天章。

据CEO袁行远先容，云锦天章不错斥逐在造谣寰宇不雅的基础上，赋予演义东谈主物编程、数学等基础智商，不错高速针对无数笔墨进行扩写、缩写，针对著述立场进行大容量更换，同期兼具其他模子的问答、数学、编程等基础智商。

除了擅长的利用场景不同，云锦天章与老例大模子最大的互异还在于底层模子。据先容，通过校正细心力矩阵，在疏导闇练数据下，DCFormer架构最高不错将算力智能滚动率普及至Transformer的1.7到2倍。

此外，DCFormer是在Transformer的基础上进行校正，有时和现存的模子重复，而不是互斥，因此扫数基于Transformer架构的大模子都能在DCFormer的基础上裁汰资本。

彩云科技对于DCFormer架构效果的联系论文已于本年5月在第41届海外机器学习大会ICML 2024肃穆发表，该会议是海外机器学习限制的三大顶会之一。此外，DC Former的模子代码、权重和闇练数据集，也仍是在Github一王人开源。

为何采用别具肺肠承袭DCFormer架构？袁行远告诉36氪，AI在起首经由中对动力的雄伟需求已成为行业共鸣，改善模子底层架构以提高着力是应付这一挑战的最好计策。模子着力的普及，也不错有用地裁汰东谈主工智能升级迭代的资本，加快AI时期的到来。

天然DC Former架构不错压缩大模子闇练推理的资本，但彩云科技在贸易化探索方面相对严慎，温情参加产出比。

现在彩云科技旗下有彩云天气、彩云小梦、彩云小译三款面向C端用户的AI产物，在公共商场赢得了迥殊1000万好意思元的ARR（年度庸俗性收入），是国内为数未几有时斥逐盈利的东谈主工智能公司。其最近一轮融资是由快手前CEO宿华个东谈主投资的B2轮，投前估值达到1.2亿好意思元。

袁行远告诉36氪，彩云科技对DCFormer架构的推断及利用开发，主要办事于本身业务。现在，彩云小梦基于V3.5模子，在保执逻辑绽开与情状细巧的前提下单次不错创作几百字到一千字的实质，将来有望冲破到2-5千字的创作，斥逐更强的智能水忍让更高的用户活跃度狡计。