国内大模型实现“长文本”突破

本报讯通用人工智能领域初创公司月之暗面(Moonshot AI)近日宣布在长文本领域实现突破，推出了首个支持输入20万汉字的大模型Moonshot以及搭载该模型的智能助手产品Kimi Chat。

从技术上看，参数量决定了大模型能够支持多复杂的“计算”，而能够接收多少文本输入则决定了大模型有多大的“内存”，两者共同决定模型的应用效果。月之暗面相关负责人介绍，支持更长的上下文意味着大模型拥有更大的“内存”，从而使得大模型的应用更加深入和广泛:比如通过多篇财报进行市场分析、处理超长的法务合同、快速梳理多篇文章或多个网页的关键信息、基于长篇小说设定进行角色扮演等等，都可以在超长文本技术的加持下，成为人们工作和生活的一部分。

相比当前市面上以英文为基础训练的大模型服务，月之暗面推出的Kimi Chat具备较强的多语言能力。例如，其在中文上具备显著优势，实际使用效果能够支持约20万汉字的上下文，8倍于Open AI公司ChatGPT约2.5万字的上下文支持容量。此前，一些大模型仅支持数万字的文本量限制使得律师、分析师、咨询师等需要分析、处理较长文本的工作从业人员使用相关AI应用时颇为苦恼。根据媒体公布的内测体验视频，当上传一篇长篇小说的电子文档后，月之暗面研发的Moonshot能够清晰地梳理一部小说的主要情节及小说中各个主要人物和人物的命运，也可以根据用户上传的财报进行关键数据和公司发展情况的分析等。目前，月之暗面的智能助手产品Kimi Chat已开放内测。

今年，中国顶尖AI科研人员之一杨植麟成立月之暗面。杨植麟此前从清华大学毕业后前往美国卡内基梅隆大学攻读博士，师从苹果AI研究负责人和谷歌首席科学家。在过去五年内的自然语言处理领域，杨植麟的学术论文在华人学者引用排名中位居前10，在40岁以下华人学者中排名第一。