AI宝库

AI宝库首页 › AI 资讯 › vLLM 语义路由器发布 d3-ultra: A 27B 开放式多式联运决定模型

vLLM 语义路由器发布 d3-ultra: A 27B 开放式多式联运决定模型

来源:MarkTechPost · 发布时间:10-27 · 由 AI宝库每小时自动聚合

vLLM 语义路由器发布 d3-ultra,一种27B开口量级多式决定模型。 它读过文本、图像和视频一次,然后返回每个图像的概率

vLLM语义路由器团队拥有发布 d3-ultra,是Apache-2.0下的一种27B多式决定模型。 d3-超决定模型不生成文本。 它读出一次输入,并返回每个问题的每个答案的概率。 对开发者来说,这意味着从1个开口量的呼叫中进行路由,分类,视觉地平线和视频检查。

TL; DR 数据

- 大小:26.09B参数(强度,包括一个0.46B视觉编码器);每个问题131,072个上下文符号。

- 运行在:1 AMD Instinct MI325X上测试,重量为BF16;尚未列出正式的量化变体。

- 表现:在球队自己的私人测试中,6个决定模型的最高SR-Text得分。

- 最佳:97.8,关于SR-Text工具和自动化(chance校正准确性)。

- 最糟的是:SR-Box上54.6%(9个域),低于其兄弟d3-涡轮的5.0分。

D3 -UTRA是什么东西?

d3-ultra是一个来自vLLM语义路由器的System One决定模型,以概率解答打出的问题。 这是第3.0号决定的最新成员,这个家庭从0.6B到27B不等。

您发送一个状态( 文本或 JSON,加上图像或视频) 和一组问题。 每个问题都有一个类型:

- 选择:从几个选项中选择一个。

- 是/否:还原为是的概率。

- 分数:比例。

找到影像或视频瞬间的东西

- 追踪整个视频的目标

图像也可以坐在问题和选项内部。 一个测验可以显示相片,然后提供4个蚀刻作为答案。

d3 -ltra是怎样工作的?

核心思想是国家一度。 模型读出每个请求的输入,并回答该单项的每个问题。

配置显示 Qwen3.5-建筑主干线有64层。 48为线性意向层,16为全性意向层。 该卡没有标明其基地检查站的名称。 VLLM的配方称该兄弟d3是从Qwen3.8-27B训练出来的。

盒子回答总是满怀信心地返回一个盒子。 接近0的自信意味着目标不在画面中。 超过 131,072 个符号的问题以 max 长度超过失败;任何问题都不能默默地截断。

d3-ltra在基准测试上的表现如何?.

研究团队将d3-ultra与GLIDE V1.2,d1-ultra,d3-turbo,d3和Jev 1.14进行了两次内部测试。

SR-Text有10,411个文本请求,有73,495个问题。 多数用新物品从34个公共基准测试再造出技能。 另外4,896个问题来自43个新任务家庭,如SQL检查和出票路线。 得分是偶然的:0是偶然的,100是完美的。

- d3-高射炮:87.2

- GLiDE V1.2: 85.1

- d1-ltra:83.4级

- d3-涡轮:83.1

- d3: 81.4

- 列夫1.14:73.1

d3-再引领除艺术和人类口味外的每一个领域。 在那里,d1-ltra在误差幅度内得分90.8比89.6.

SR-Box有5,678个盒子问题,涉及10个领域的4,984个图像。 在IoU 0.5或更高时,一个框算得正确。 d3-超音速得分58.2%分超过10个域,54.6%分超过9.d3-turbo得分60.0%分和59.6%分。 Jev 1.14得分45.7%分和46.9%分。 团队称 d3-turbo在自然影像上保持较强,而d3-ultra则在图表上领先。

latency:用AutoModel在1AMD Instinct MI325X上,1个关于一张照片的问题需要304ms. 255个问题需要2.16 s,每个额外问题约7.3 ms.

如何部署d3 -ltra?

有4条路线:

- 变形器:从 prered ("vllm-sr/d3-ultra",信任 remote code=True)起为自动模具。 可选的闪光线-注意包新增快取GPU内核。

- vLLM语义路由器引擎:vllm-sr service-e vllm-sr/d3-ultra,于2026年10月25日加入PR#5449.

- 免费API:由称决定.vllm-sr.ai服务于d3-ultra,带有自由键。

-德莫:官方Hugging Face空间。

d3-ultra vs GLiDE V1.2, d1-ultra, Jev 1.14和d3-涡轮

关键外卖

- d3-ultra是一个27B Apache-2.0决策模型,从未生成文本。

- 它读出一次输入:255个问题,大约1个照片取出2.16 s.

- 超过球队的SR-Text测试87.2,领先GLIDE V1.2 85.1.

- 它跟踪d3起涡轮起落架:58.2%对60.0%。

- 所有基准测试数字在私人测试机上自报。

请检查access-date=中的日期值 (帮助) 型号卡,GitHub repo,第3.0号决定集和Hugging Face Space. 并加入我们的通讯。 等等,你在电报里吗?现在你也可以加入我们的电报。

需要和我们合作推广您的 GitHub Repo OR Hugging Face Page OR Product Release OR Webinar等吗?联系我们

Asif Razzaq是Marktechpost AI Media Inc.的首席执行官。 作为一个有远见的企业家和工程师,阿西夫致力于利用人工智能的潜力为社会造福。 他最近的努力是人工智能媒体平台的发布,该平台以深入报道机器学习和深层学习新闻而出名,这些新闻在技术上既可靠又为广大观众所容易理解。 该平台每月有超过200万次观看,表明其受观众欢迎。

本文由 AI宝库自动抓取并翻译,版权归原作者所有;如需查看原文请点下方链接。

相关 AI 工具

相关免费羊毛

同源资讯

阅读原文(marktechpost.com)

标题、摘要与正文均来自该信源的公开页面,版权归原作者所有;本站自动聚合与翻译,仅作出处跳转。

← 返回 AI 资讯列表AI工具图鉴首页

返回 AI宝库首页 · 提交工具 · 商务合作 · 关于本站 · 593 款 AI 工具分类导航 · 每日 AI 热门项目与动态