GLM-5V-Turbo — 原生多模态 Agent，CogViT + MMTP + 30+ 任务联合强化学习
GLM-5V-Turbo Technical Report
Section titled “GLM-5V-Turbo Technical Report”发布日期： 2026-04-01 来源： arXiv 2604.26752 工程范式： 原生多模态 Agent 路线——多模态感知不再是 LLM 的辅助接口，而是推理、规划、工具使用和执行的核心组成部分。
Z.ai（智谱 AI）在 GLM-5V-Turbo 上做了一个重要转向：不再把视觉能力当作对话能力的”附件”，而是将多模态感知作为 agentic 能力的原生组成部分。这意味着模型的架构、训练、推理调度都是围绕”让模型看、理解、操作”设计的。
核心约束是：多模态模型的工程复杂度远高于纯文本模型——如何高效训练、如何并行奖励计算、如何管理视觉内存。GLM-5V-Turbo 通过 MMTP（替换视觉 embedding 为 token 占位符）、全流水线解耦、拓扑感知分区等工程优化来解决。
GLM-5V-Turbo 基于 GLM-5 文本模型构建，定位是 GLM-5 家族的多模态 Agent 版本。与上一代 GLM-4V 不同的是，它不再采用”LLM + 视觉编码器”的拼接方式，而是从预训练阶段就深度集成视觉理解。
关键架构决策
Section titled “关键架构决策”CogViT 视觉编码器
Section titled “CogViT 视觉编码器”- 针对细粒度多模态感知（目标识别、几何/空间理解）优化的参数高效编码器
- 两阶段预训练：
- 蒸馏掩码图像建模（35% mask, 224×224），双教师：SigLIP2（语义）+ DINOv3（纹理），Muon optimizer + QK-Norm 稳定训练，数据配比 80% 自然图像 + 10% 指令跟随 + 10% 科学
- 对比图像-文本预训练，NaFlex（变分辨率），64K batch size（SigLIP loss），8B 双语图像-文本语料，模块级学习率
多模态多 Token 预测 (MMTP)
Section titled “多模态多 Token 预测 (MMTP)”- 将文本 MTP 扩展到多模态，但做了一个关键设计选择：在 MTP head 中用可学习的
<|image|>特殊 token 替代实际视觉 embedding - 这消除了跨 pipeline-parallel stage 传播视觉 embedding 的需求，显著降低通信复杂度
- 在 0.5B 消融实验中，比直接传递原始视觉 embedding 训练损失更低、收敛更稳定
联合强化学习（30+ 任务类别）
Section titled “联合强化学习（30+ 任务类别）”- RL 在所有任务维度上均有提升：
- 感知： RefCOCO-avg (+4.8%), PointBench (+3.2%), MVBench (+5.6%), SUNRGBD 3D (+7.7%), OCRBench (+4.2%), CharXiv (+7.7%)
- 推理： MMMU_VAL, MMMU_Pro, MathVista, LogicVista (+1.8%)
- Agentic： OSWorld (+4.9%), CC-Backend (+0.2%), MMSearch (+3.5%)
- 关键发现：RL 的跨域干扰比 SFT 更弱，多个领域可以同时提升；未被 RL 覆盖的能力可能下降
可扩展多模态 RL 基础设施
Section titled “可扩展多模态 RL 基础设施”- 统一的 VLM RL Gym：单步/多步任务的统一接口，结合基于规则（本地同步）和基于模型（异步 API）的验证器
- 全流水线解耦：rollout 推理、奖励评估、批次构建、权重传输完全重叠
- 细粒度内存管理：ViT/projector 独立内存策略（重计算 + CPU offload），防止随图像数量线性增长
- 拓扑感知分区：CP/TP 分区移至数据加载阶段，对序列长度和 ViT token 数做 bin-packing，GPU 通信缓冲减少约 7GB
多模态工具使用
Section titled “多模态工具使用”| Benchmark | 分数 |
|---|---|
| ImageMining | 30.7 |
| BrowseComp-VL | 51.9 |
| MMSearch | 72.9 |
| SimpleVQA | 78.2 |
GUI Agent
Section titled “GUI Agent”| Benchmark | 分数 |
|---|---|
| AndroidWorld | 75.7 |
| OSWorld | 62.3 |
Claw Agent
Section titled “Claw Agent”| Benchmark | 分数 |
|---|---|
| PinchBench | 87.0 / 80.7 |
| ClawEval | 57.7 / 75.0 |
| ZClawBench | 57.6 |
| 基准 | 分数 | 对比 |
|---|---|---|
| Design2Code | 94.8 | 超越 Claude Opus 4.6 |
| CC-Backend | 22.8 | 文本编码（与 text-only GLM-5 接近） |
| CC-Frontend | 68.4 | |
| CC-RepoExploration | 72.2 |
与 Qwen3.5-Omni（全模态统一路线）不同，GLM-5V-Turbo 选择深度 agentic 路线——不追求音频/视频覆盖度，专注视觉 + agentic 任务深度。
与 Seed1.5-VL（参数效率路线，20B 激活）相比，GLM-5V-Turbo 团队未公开具体参数规模，但强调 CogViT 的”参数高效”设计。
与 GLM-5 文本模型（专注 Coding + Agentic Engineering）的关系：
- GLM-5V-Turbo 基于 GLM-5 的文本能力，叠加多模态感知
- 文本编码能力与 GLM-5 相当（CC-Backend 22.8 vs GLM-5 水平），Vision 编码作为额外能力赋予
社区讨论集中在 Z.ai 的官方博客和 Hacker News。GLM-5V-Turbo 的 Design2Code 94.8%（超越 Claude Opus 4.6）获得较多关注。多模态 RL 基础设施的工程设计（全流水线解耦、拓扑感知分区）在工程社区获得好评。
可复用的工程经验
Section titled “可复用的工程经验”- MMTP 的
<|image|>token 替代方案：用特殊 token 替代跨 pipeline-stage 的视觉 embedding 传播，大幅降低通信复杂度，且在消融实验中证明训练更稳定——这个技巧适用于任何面临跨 stage 通信瓶颈的多模态 MoE 训练。 - 联合 RL 比联合 SFT 更难产生负迁移：RL 的跨域干扰比 SFT 弱，多个领域可以同时提升。这意味着对多模态模型来说，RL 后训练比 SFT 更适合作为统一优化阶段。
- ViT/projector 独立内存策略：通过对视觉组件和 LLM 组件使用不同的内存管理策略（重计算 + CPU offload），防止推理时显存随输入图像数量线性增长。
- 拓扑感知分区的 bin-packing：对序列长度和 ViT token 数同时做 bin-packing，比仅对序列长度打包更充分地利用 GPU 计算资源。
- 未覆盖的 RL 域会退化：RL 训练中未被覆盖的能力维度会出现性能下降——需要设计代理任务或扩大 RL 覆盖范围来缓解。