实验室

LoRA 低秩微调实验：让模型学会特定写作风格一、实验目标本实验要回答一个问题：能否用很少的数据和消费级显存，让一个开源大模型学会「某个固定作者的写作风格」？ 答案是肯定的，而技术手段就是本文的主角——LoRA（Low-Rank Adaptation，低秩适配）。 与全量微调不同，LoRA 不修改模型的全部权重，而是在预训练权重旁边挂载一对「低秩小矩阵」，训练时只更新这两个小矩阵。以权重矩阵 W 为例，LoRA 的做法是令： 1W' = W + ΔW = W + B·A 其中 A 是 d×r 矩阵、B 是 r×d 矩阵，秩 r 远小于维度 d。训练时 W 保持冻结，只有 A、B 参与梯度更新；推理时把 BA 的结果加回 W 即可得到微调后的模型。以 7B 级别模型为例：原权重矩阵约 4096×4096，而 r=16 时 LoRA 只需训练约 13 万参数，仅占全量的 0.8% 左右——参数量缩减了近千倍，这也是 LoRA 能大幅降低显存占用的数学根源。 二、为什么用 LoRA 而不是全量微调全量微调需要存储全部权重的梯度，一个 LLaMA-3 70B 的梯度...