云开体育安妥短输入或复杂任务-开云官网kaiyun皇马赞助商 (中国)官方网站 登录入口

（原标题：继DeepSeek后，MiniMax也发布了挑战传统Transformer架构的国产开源模子）

图片着手：视觉中国

蓝鲸新闻1月15日讯（记者 朱俊熹）国产开源大模子再添一员强将。1月15日，大模子独角兽MiniMax发布并开源了MiniMax-01全新系列模子，包含基础话语大模子和视觉多模态大模子两个模子。

据MiniMax先容，其基础话语大模子MiniMax-Text-01在大都任务上，追平了GPT-4o、Claude 3.5 Sonnet这两个外洋公认起始进的闭源模子。在评估模子提醒罢职才气的IFEval和C-SimpleQA中语评测集会，该基础话语大模子的得分也跳动了另一国产开源模子DeepSeek-V3。

与DeepSeek模子肖似，MiniMax的新系列模子也对传统的Transformer架构进行了翻新。MiniMax称，在模子中初度大畛域罢了了线性注重力机制，每8层中有7个是基于Lightning Attention的线性注重力，有一层是传统的SoftMax注重力。

闲居来讲，淌若譬如成要在一群东谈主中找到最热切的阿谁，传统注重力需要每个东谈主跟其他东谈主都单独聊一遍，逐个比拟扫数东谈主的热切性。而线性注重力只用检讨每个东谈主手中的柬帖，快速统计出哪些东谈主执有的信息是最热切的。因此，传统注重力机制精确但计较贫窭，安妥短输入或复杂任务，而线性注重力以其高效更安妥超长输入、需要快速不停的任务。

MiniMax在时间论说中提到，正在商榷更高效的模子架构，但愿大要十足去除SoftMax注重机制，从而罢了无尽长的高下文窗口，而不会加多计较支拨。

幻方量化旗下AI公司DeepSeek在12月底发布了V3开源模子，遴选的是翻新的多头潜在注重力机制（MLA）和DeepSeekMoE搀杂内行架构。在检朴内存占用和计较资源的同期，确保资源被高效哄骗。DeepSeek-V3以极低的检修资本罢了了对皆领军闭源模子的性能，激励国表里科技社区热议。不仅被前OpenAI联创Andrej Karpathy赞为“在资源受限的情况下对商榷和工程的一次令东谈主印象深化的展示”，也被OpenAI列作中国AI时间快速发展的标准。

围绕线性注重力机制，MiniMax对模子的检修和推理系统进行了重构。其模子包含4560亿个参数，单次推理激活459亿个。大要高效不停最长400万token的高下文，是GPT-4o的32倍，Claude 3.5 Sonnet的20倍。在长高下文的测评集上，MiniMax-Text-01的表现显赫最初于其他开闭源模子。

图片着手：MiniMax官网

MiniMax暗意，01系列模子将大要守旧改日一年内智能体应用的大幅增长需求，因为智能体系统越来越需要更长的高下文不停才气和执续的缅念念。“咱们慑服2025年会是Agent（智能体）高速发展的一年。”该公司称，“在这个模子中，咱们走出了第一步，并但愿使用这个架构执续开荒复杂Agent所需的基础才气。”

智能体正成为国表里AI公司竞相押注的赛谈。OpenAI CEO Sam Altman本月初发文称，到2025年，将可能看到第一批AI智能体“加入劳能源队伍”，并履行性地篡改公司的产出。谷歌在推出新一代Gemini 2.0大模子时也暗意，这是为智能体时间构建的。该模子主打守旧多模态输入和输出，以构建出更接近通用助手愿景的智能体。

MiniMax在证明为何遴选将模子开源时提到，一是合计这有可能启发更多长高下文的商榷和应用，从而更快促进智能体时间的到来。二是通过开源促使其勤快作念更多翻新，更高质料地开展后续的模子研发职责。

MiniMax诞生于2021年12月，被广博称为国内“大模子六小龙”之一。旗下领有AI作陪应用星野，以及集成了对话、视频、音乐功能的海螺AI等代表性居品，在外洋市集积蓄了一定热度。其最新涌现的一轮融资仍是在客岁3月，由阿里领投的6亿好意思元B轮融资，公司估值达25亿好意思元。此前腾讯、米哈游、高瓴创投等机构也参投了MiniMax。

六小龙中云开体育，各公司的大模子开源程度不一。其中，百川智能、智谱AI、零一万物开源了多款模子，涵盖诳言语模子、多模态模子等。而月之暗面、阶跃星辰仅开源了部分时间，举例月之暗面纠合清华大学等机构开源的大模子推理架构Mooncake，以及阶跃星辰专注提高光学字符识别（OCR）时间的GOT-OCR2.0模子。