AI宝库

AI宝库首页 › AI 资讯 › Nace AI 开源 Drex Max v1: A 27B 决策模型本地运行在

Nace AI 开源 Drex Max v1: A 27B 决策模型本地运行在 Apple 硅上

来源:MarkTechPost · 发布时间:11-01 · 由 AI宝库每小时自动聚合

Nace AI 开源 Drex Max v1,是一款运行于Apple硅上的27B多式决定模型积分67.52. Nace AI 开源 Drex Max v1: A 27B Dec 邮递:

Nace AI拥有发布 Drex Max v1作为开放权重。 Drex Max是它最有能力的决定模型,它现在运行在自己的硬件上。 bf16重量的放行船,aQ8 0 GGUF,affine Q4检查站和叉口为llama.cpp和Ollama. 对于开发者来说,Drex Max 开放权重是指路由,分类和政策检查可以停留在本地机器上。

TL; DR 数据

- 大小:Dense 27B参数,262,144-token窗口(默认为16,384个),每个问题最多255个选项。

- 运行在:NVIDIA GPU 有 Python (H100 bf16,或L40S 48 GB in 8-bit). Apple硅Macs有24 GB+ (Affine Q4)或48 GB (Q8 0 GGUF). CPU通过llama.cpp和Ollama.

- 业绩:关于公共决定指数0.4,比Drex v2.0(自报)高6.27分。

- 最佳:97.3 有关InfographyVQA的技能。 工具区达到81.9个。 一个顶级的决策模型,你可以运行离线的Mac。

什么是德克思·麦克斯?

Drex Max是Nace公司的一个决定模型。 回答特定上下文问题的AI. 您通过一个状态( 文本、 JSON 或图像) 加上命名的问题。 模型返回一个前传中每个选项的概率。 无所生成。

问题分为3个类型:在命名选项中选择,是/否,以及一个正数分数。 这使得它适合agent的出行路线,票检和护道检查。 主机版本在路由、分类和政策检查中介绍。

德克思·麦克斯是怎么工作的?

型号卡片描述了密集的27B型骨干,有64层。 48是Gated DeltaNet线性关注层,由左到右运行。 另外16个是全心全意地层,每四层放置一分一分,都是无因子。 每一个符可以关注整个序列。

图像通过一个土生土长的视觉塔,在请求中每个问题都能看到。 一个255道读取头然后将最后一个隐藏状态变成选项概率。 配置列出qwen3 5型号,并有262,144个位置窗口。

Drex Max在基准测试上表现如何?.

以下所有数字均由Nace AI自行报告。

- 决定指数0.4(公开文本):67.52. Drex v2.0分 61.25分,Jev 1.13.0分 57.96分。

- 区域技能:工具81.9,语言72.2,检索68.8,知识和理性57.1,第53.4条。

- 公共视觉指数:73.92,分为11个基准测试和12 210行。

- 人工分析决定指数:64, Nace 称在18名中排名第4名。

- Jev Bench:92.2%(213/231),裁判庭诉4:94.30%(1010/1071)。

结果数据集涵盖140 620项请求。 未答复的请求算错。

你怎么管理Drex Max的地方?

Nace记录了5次运行时间。 它们都服务于相同的POST/v1/systemone API.

affine Q4检查站以24GB或以上的Macs为目标。 Q8 0 GGUF需要48GB. 在48GB Mac上,Nace推荐 – Context 2048 for Kapitsa.

Ollama用户将 num gpu 40 设定为卸下40层到 Metal. 设置 num gpu 0 在 CPU 上运行。 Ollama分叉需要模型文件中的Capability决定行。

量子化在奈斯的测试中得到了坚持。 在48GB Apple M5 Pro上,Q8 0 GGUF在每概率0.02范围内匹配了H100 bf16. 芳香Q4停留在Q8 0的0.0329以内,没有选择翻出。

Drex Max 与其他决定模型

Nace AI团队称,决定指数0.4使用与0.3.1相同的公共套房。

关键外卖

- Drex Max v1 重量现在在Nace下公开了 (原始内容存档于2017-03-30). AI Open RAI-M.

- 在决定指数0.4方面得分67.52,高于Drex v2.0(61.25)。

- 一个4位的积分运行在24GB Apple硅Macs上,通过Kapitsa或MLX.

- M5 Pro上的Q8 0在0.02内与H100 bf16相匹配。

- 本地Mac和CPU路径只是现在的文本。

请检查access-date=中的日期值 (帮助) 型号重量,Q8 0 GGUF,代码和docs,Tweet和云控制台。

感谢Nace AI团队为这篇文章提供的思想领导/资源。 这篇文章由Nace AI赞助。

Asif Razzaq是Marktechpost AI Media Inc.的首席执行官。 作为一个有远见的企业家和工程师,阿西夫致力于利用人工智能的潜力为社会造福。 他最近的努力是人工智能媒体平台的发布,该平台以深入报道机器学习和深层学习新闻而出名,这些新闻在技术上既可靠又为广大观众所容易理解。 该平台每月有超过200万次观看,表明其受观众欢迎。

本文由 AI宝库自动抓取并翻译,版权归原作者所有;如需查看原文请点下方链接。

相关 AI 工具

相关免费羊毛

同源资讯

阅读原文(marktechpost.com)

标题、摘要与正文均来自该信源的公开页面,版权归原作者所有;本站自动聚合与翻译,仅作出处跳转。

← 返回 AI 资讯列表AI工具图鉴首页

返回 AI宝库首页 · 提交工具 · 商务合作 · 关于本站 · 603 款 AI 工具分类导航 · 每日 AI 热门项目与动态