CogVideo

★★★★★ 4.4 分

智谱开源的文生视频模型,2B 轻量版 12GB 显卡可跑,支持首尾帧控制,是入门本地视频生成的低门槛选择。

文生视频图生视频开源智谱
参数量CogVideoX 2B / 5B
模型类型3D VAE + Transformer 文生视频
许可证Apache 2.0(CogVideoX-2B);5B 需申请商业
开发者智谱AI / 清华
★★★★★ 4.5

智谱开源视频三件套,2B/5B 覆盖入门到进阶,中文内容创作者福音

视频生成开源中文友好DiT

模型介绍

CogVideo 是智谱AI/清华开源的视频生成系列:2024 年 8 月发布 CogVideoX-2b 与 5b,11 月推出 1.5-5B 增强版。模型采用 DiT + 3D Causal VAE,配 GLM-4 Simplified 文本编码器,中文提示词理解友好,可生成连贯 6 秒 768×480 视频。2B 版为 Apache-2.0 可直接商用,5B 版亦允许商业使用,叠加 ComfyUI 原生支持与活跃的 LoRA 社区,是本地部署视频生成的性价比之选。

模型基本信息

开发机构智谱AI / 清华大学(ZAI)
模型版本CogVideoX 系列(2B / 5B / 1.5-5B),CogVideo2
参数规模2B / 5B(CogVideo2 为 16B)
模型类型文生视频 / 图生视频扩散模型
许可证CogVideoX-2b:Apache-2.0;5B 版为智谱 CogVideoX 许可(可商用)
上下文长度N/A(视频)
发布日期2024-08(CogVideoX);2024-11(1.5)
模型架构DiT + 3D Causal VAE(GLM-4 Simplified 文本编码)

模型能力

中文能力强(GLM 编码器对中文友好)
英文能力强
代码能力N/A
推理能力N/A
长文本能力N/A
视觉能力文生视频 + 图生视频(I2V 版)
工具调用N/A

模型版本

CogVideoX-2b2B(Apache-2.0)CogVideoX-5b5BCogVideoX1.5-5B5B(升级版)CogVideo216B(闭源 API)

模型获取

部署方式

DiffusersComfyUI官方 Github:THUDM/CogVideo

显存需求

2B BF16约5GB
5B BF16约13GB
5B FP8约8GB(RTX 3060 12G 可跑)

硬件推荐

RTX 3060可跑 2B 原生 / 5B FP8,速度一般
RTX 3090可流畅跑 5B 原生
RTX 40905B 高分辨率,主力选择
RTX 5090最快,支持更长视频
MacM 系列 32GB+ 可跑 2B

推荐配置

入门RTX 3060 + 2B
进阶RTX 4090 + 5B FP8
专业多卡 + CogVideoX-5B + LoRA 定制风格

为什么选择这个模型

  • 2B 版 Apache-2.0 全开放,入门门槛最低
  • GLM 文本编码器对中文提示词天然友好
  • DiT 架构简洁,社区 LoRA 与工作流丰富
  • 从 2B 到 5B 一套代码平滑升级

模型优点

  • 2B 版可自由商用
  • 6 秒内动作连贯,风格可控
  • ComfyUI 原生支持,一键加载
  • LoRA 生态活跃,易定制角色与画风
  • 官方提供训练/推理全流程脚本

模型缺点

  • 分辨率与时长(6秒)相对有限
  • 大运动场景仍偶有形变
  • 原生推理速度较慢(50步)
  • 5B 版商用需满足智谱协议附加条款

适合场景

  • 入门本地视频生成的第一次体验
  • 中文短视频、头像动效、预告片素材
  • 用 LoRA 定制固定角色的动画创作
  • 低显存硬件(8-12GB)部署

不适合场景

  • 追求 1080P 高清或超长镜头
  • 需要电影级物理模拟的场景
  • 完全开源协议兜底的大型商业项目(需审 5B 许可条款)

部署教程

vLLM
视频模型一般不走 vLLM。推荐 ComfyUI:安装 CogVideoX 节点,下载 CogVideoX-2b/5b 的 transformer 与 text encoder 权重放入模型目录,套用官方工作流即可生成 6 秒视频;官方仓库也提供 generate.py 与 Gradio 界面。RTX 3060 用户建议 2B 版或 5B FP8

智算工坊实验室

实测速度6秒(49帧)片段约5-10分钟(RTX 4090,5B 原生)
显存占用约13GB(5B BF16)
功耗整机约350-450W
不同 GPU 对比3060 跑 2B;3090/4090 跑 5B;5090 最流畅
→ 查看实验室数据

常见问题 FAQ

CogVideoX 2B 和 5B 怎么选?

2B 适合低显存入门且协议最开放;5B 画质、语义与运动表现更好,推荐 16GB 以上显存,或用 FP8 量化在 12GB 卡上运行。

可以商用吗?

2B 版为 Apache-2.0 可自由商用;5B 版按智谱 CogVideoX 许可,允许商用但需遵守协议附加条款(如内容标识要求)。

为什么生成速度慢?

CogVideoX 默认 50 步采样,且 3D 注意力计算量大。可使用蒸馏版本或调低采样步数(如 30 步)换取速度,画质略有损失。

相关模型

相关工具

相关硬件

相关文章

数据来源

  • https://huggingface.co/zai-org/CogVideoX-5b
  • https://github.com/THUDM/CogVideo
  • https://huggingface.co/zai-org/CogVideoX-2b