科技圈🎗在花频道📮
📱 华为开源 920 亿参数 openPangu-2.0-Flash 模型 华为 6 月 30 日开源上线 920 亿参数的 openPangu-2.0-Flash 模型,首批开放模型权重、基础推理代码和训推算子。 华为称,openPangu 是其开源 AI 模型品牌,面向昇腾原生训练与推理提供最佳实践参考。openPangu-2.0-Pro 的模型权重和基础推理代码将于 7 月上线,更多组件将在下半年陆续开源。 华为 🌸 在花频道 · 茶馆水群 · 投稿通道
📱 华为开源 505B 参数 MoE 大模型 openPangu-2.0-Pro

华为近日在 Hugging Face 发布开源大模型 openPangu-2.0-Pro。该模型基于昇腾 NPU 训练,采用混合专家(MoE)架构,总参数约 505B,每 token 激活约 18B,支持 512k 上下文长度,训练数据约 34T tokens。

架构上,模型采用 MLA 注意力及 DSA+SWA 独立分层混合设计、3 头 MTP 自投机模块,后训练阶段完成快慢合一微调与多专项强化学习。Thinking 版本在 AIME 2026 数学测评中得分 95.4,GPQA-Diamond 为 87.9。

Huggingface | 华为云

🌸 在花频道 · 茶馆水群 · 投稿通道
来自频道: @zaihuapd
Loading comments...