智谱开源视频三件套,2B/5B 覆盖入门到进阶,中文内容创作者福音
模型介绍
CogVideo 是智谱AI/清华开源的视频生成系列:2024 年 8 月发布 CogVideoX-2b 与 5b,11 月推出 1.5-5B 增强版。模型采用 DiT + 3D Causal VAE,配 GLM-4 Simplified 文本编码器,中文提示词理解友好,可生成连贯 6 秒 768×480 视频。2B 版为 Apache-2.0 可直接商用,5B 版亦允许商业使用,叠加 ComfyUI 原生支持与活跃的 LoRA 社区,是本地部署视频生成的性价比之选。
模型基本信息
开发机构智谱AI / 清华大学(ZAI)
模型版本CogVideoX 系列(2B / 5B / 1.5-5B),CogVideo2
参数规模2B / 5B(CogVideo2 为 16B)
模型类型文生视频 / 图生视频扩散模型
许可证CogVideoX-2b:Apache-2.0;5B 版为智谱 CogVideoX 许可(可商用)
上下文长度N/A(视频)
发布日期2024-08(CogVideoX);2024-11(1.5)
模型架构DiT + 3D Causal VAE(GLM-4 Simplified 文本编码)
模型能力
中文能力强(GLM 编码器对中文友好)
英文能力强
代码能力N/A
推理能力N/A
长文本能力N/A
视觉能力文生视频 + 图生视频(I2V 版)
工具调用N/A
模型版本
CogVideoX-2b2B(Apache-2.0)CogVideoX-5b5BCogVideoX1.5-5B5B(升级版)CogVideo216B(闭源 API)
模型获取
部署方式
DiffusersComfyUI官方 Github:THUDM/CogVideo
显存需求
2B BF16约5GB
5B BF16约13GB
5B FP8约8GB(RTX 3060 12G 可跑)
硬件推荐
RTX 3060可跑 2B 原生 / 5B FP8,速度一般
RTX 3090可流畅跑 5B 原生
RTX 40905B 高分辨率,主力选择
RTX 5090最快,支持更长视频
MacM 系列 32GB+ 可跑 2B
推荐配置
入门RTX 3060 + 2B
进阶RTX 4090 + 5B FP8
专业多卡 + CogVideoX-5B + LoRA 定制风格
为什么选择这个模型
- 2B 版 Apache-2.0 全开放,入门门槛最低
- GLM 文本编码器对中文提示词天然友好
- DiT 架构简洁,社区 LoRA 与工作流丰富
- 从 2B 到 5B 一套代码平滑升级
模型优点
- 2B 版可自由商用
- 6 秒内动作连贯,风格可控
- ComfyUI 原生支持,一键加载
- LoRA 生态活跃,易定制角色与画风
- 官方提供训练/推理全流程脚本
模型缺点
- 分辨率与时长(6秒)相对有限
- 大运动场景仍偶有形变
- 原生推理速度较慢(50步)
- 5B 版商用需满足智谱协议附加条款
适合场景
- 入门本地视频生成的第一次体验
- 中文短视频、头像动效、预告片素材
- 用 LoRA 定制固定角色的动画创作
- 低显存硬件(8-12GB)部署
不适合场景
- 追求 1080P 高清或超长镜头
- 需要电影级物理模拟的场景
- 完全开源协议兜底的大型商业项目(需审 5B 许可条款)
部署教程
vLLM
视频模型一般不走 vLLM。推荐 ComfyUI:安装 CogVideoX 节点,下载 CogVideoX-2b/5b 的 transformer 与 text encoder 权重放入模型目录,套用官方工作流即可生成 6 秒视频;官方仓库也提供 generate.py 与 Gradio 界面。RTX 3060 用户建议 2B 版或 5B FP8
智算工坊实验室
实测速度6秒(49帧)片段约5-10分钟(RTX 4090,5B 原生)
显存占用约13GB(5B BF16)
功耗整机约350-450W
不同 GPU 对比3060 跑 2B;3090/4090 跑 5B;5090 最流畅
常见问题 FAQ
CogVideoX 2B 和 5B 怎么选?
2B 适合低显存入门且协议最开放;5B 画质、语义与运动表现更好,推荐 16GB 以上显存,或用 FP8 量化在 12GB 卡上运行。
可以商用吗?
2B 版为 Apache-2.0 可自由商用;5B 版按智谱 CogVideoX 许可,允许商用但需遵守协议附加条款(如内容标识要求)。
为什么生成速度慢?
CogVideoX 默认 50 步采样,且 3D 注意力计算量大。可使用蒸馏版本或调低采样步数(如 30 步)换取速度,画质略有损失。
相关模型
相关工具
相关硬件
相关文章
数据来源
- https://huggingface.co/zai-org/CogVideoX-5b
- https://github.com/THUDM/CogVideo
- https://huggingface.co/zai-org/CogVideoX-2b