AI宝库

AI宝库首页 › AI 资讯 › LongCat-2.5 带1.6T的调试机参数和原生视觉托肯

LongCat-2.5 带1.6T的调试机参数和原生视觉托肯

来源:Unite.AI · 发布时间:11-03 · 由 AI宝库每小时自动聚合

LongCat 推出 LongCat-2.5,2026年11月1日,一种本土多式专家混合型模型,用于长视距代理任务,总参数1.6万亿

AI 模型和平台

LongCat-2.5 带1.6T的脱口秀参数和原生视觉托肯斯

在 Google 上的首选来源中添加 Unite.AI

LongCat 推出 LongCat-2.5于2026年11月1日通车,是一款本土多式多式多相专家混合模型,用于长相干剂任务,总参数为1.6万亿个,每克活化约480亿个。

LongCat 称的发行基于LongCat-2.0,具有更强的本土视觉理解和代理编码。 其培训包括了更长的地平线轨道和大规模长地平线强化学习,以进行复杂的密码基开发和全项目建设。 发布链接到LongCat的聊天界面和API平台,而它的GitHub和Hugging Face按钮则会很快被贴上标签。

视窗托肯和Agent培训

LongCat-2.5代表视觉信号作为多层离散符号,使其骨干能够以统一的以符号为基础的格式处理视觉和文字输入。 该设计结合了本土分辨率的视觉符号化,线下视觉预处理和与骨干共同学习的视觉嵌入。 它将残留的矢量量化应用到从一个语义和相通的编码器中产生的本土分辨率特征,图像被编码为离散的活化符号序列并被一个视觉去结晶器所重建。

固定的代号器允许视觉代号ID被预先计算并被缓存出离线,因此骨干处理被预先切入的序列。 由于在数据打包和打乱过程中可以知道图像计数,所以模式载荷是可预测的,其比例在数据平行排位上可以保持大致一致。 LongCat 称在平均约有30亿活化参数的更小的MOE上的初步验证显示t-SNE可视化中的相交视觉和文字嵌入,建议在一个共享语义空间内进行整合。

对于代理编码任务,合成管道会产生训练任务,交互环境和可核查的测试。 LongCat过滤出GitHub牵引请求和连通问题,使用agents对任务进行注释并合成环境,并以故障通关和通过通关测试验证它们。 活出传出传出传出率指导再贴上标签并过滤,而假阳性和假阴性轨迹的下线分析则纠正并延长了测试。 现实世界的agent故障轨迹也转化为可再生可核查的训练任务。

在收集了整整一批之后,同步部分推出中断并节省了飞行轨道,然后在下一个取样阶段恢复。 为了限制奖励黑客,LongCat在任务环境中禁用网络访问,去掉Git历史和缓存文件,并使用LLM判断器来审计被利用的轨迹。 附加处罚处理多回合互动中重复推理和重复的工具呼叫。

加速器培训和W4A4推论

长序训练既发生在中训期间,又在每台设备内存低于80克的国内AI加速器上监督微调。 平行小组遵循超节点地貌,将参数全加太,专家符号全加太和KV全加太操作保留在其高带宽互联内。

双硬FSDP在每个超级节点内保持模型参数的硬化,而进一步使FP32主重被硬化并优化FSDP域的状态。 LongCat报告说,在监督的微调任务中,每个设备的吞吐量比其DDP基线高86%。

LongCat 称其训练和推论堆栈保留了比特-等同的每托肯日志概率,其性能上下接近零,同时解开它们的平行配置。 两个引擎都采用批量-内核和对齐框架逻辑,后向支持训练。

W4A4推论将专家的权重和活化量量化为4位,并在原生INT4单元上执行相应的矩阵乘法。 在专家之间进行共享输入转换后,可以在象征性复制和发送之前进行量化,从而在专家交流和计算过程中可以重新使用相同的INT4表示。 LongCat报告的准确性与所有评估的下游任务的未量化模型相当。

在针对W8A8 INT8基线的在线压力测试中,LongCat报告预填吞吐量增加43.3%,解码吞吐量增加42.77%,同时TTFT减少15.91%,TPOT减少19.72%. GMM内核在W8A8上平均实现1.73×加速。

报告的评价结果

LongCat报告了LongCat-2.5及其前身的基准测试结果如下:

对于视觉评价,LongCat报告了3DCode Bench Text-to-3D的55.4和Vision2Web的78.6。

除非另有说明,LongCat-2.5评价使用了思维功能,温度为1.0,最高为0.95。 Terminal Beach v2.1使用Claude Code牵引,最大序列长度为512K,并被平均超过3个独立跑道。 DeepSWE v1.1使用有1M最大序列长度的迷你-swe-agent并被平均通过三跑。

使用星号标记的分数来自公共技术报告、博客文章或官方基准测试领导板。 未记分的分数是自负盈亏的,被描述为只是指示性的。

API 访问和定价

API快速启动指南列出长Cat-2.5两种兼容OpenAI-和Anthropic-格式。 它们各自的基点有:https://api.longcat.chat/openai和https://api.longcat.chat/anthropic,支持/v1/chat/完成和/v1/messages. 单项请求有一个1M-token上下文窗口,最大输出长度为128K个令牌。

LongCat产品页面列出了与Claude Code,Codex,Hermes等agent被带的相容性。 它还描述了对视觉编码,创意设计和3D任务的支持,与复杂的代码库和涉及多步骤推理和工具使用的全项目建设相配合。

现收现付定价列出了每百万先令的有限时间贴现率,即未固定投入为0.30美元,缓存投入为0.006美元,产出为1.20美元。 相应的人民币汇率为2元,0.04元和8元。 价格可能会有变化,在API平台上显示的价格和计费记录都被视为权威。

由于GitHub和Hugging Face在即将到来时仍然被标记,发行时将其聊天界面和API作为可用的访问路线。

本文由 AI宝库自动抓取并翻译,版权归原作者所有;如需查看原文请点下方链接。

相关 AI 工具

相关免费羊毛

同源资讯

阅读原文(unite.ai)

标题、摘要与正文均来自该信源的公开页面,版权归原作者所有;本站自动聚合与翻译,仅作出处跳转。

← 返回 AI 资讯列表AI工具图鉴首页

返回 AI宝库首页 · 提交工具 · 商务合作 · 关于本站 · 251 款 AI 工具分类导航 · 每日 AI 热门项目与动态