核心思路#

在连续嵌入空间做 Flow Matching，仅在最后一步 t=1 做离散化。

1. 离散 → 连续编码#

• 用 T5 encoder 将 token 序列映射到 768 维连续嵌入
• 编码器仅在训练时使用，推理时无额外开销
• 也探索了从头训练、随机高斯、联合训练编码器（预训练 T5 最优但差距不大）

2. 连续时间 Flow Matching（去噪）#

• 线性插值（Rectified Flow）：z_t = t·x + (1-t)·ε
• x-prediction 而非 v-prediction：
  • 直接预测干净嵌入 x，与最终离散化目标天然对齐
  • 使去噪分支和解码分支可以共享权重
  • v-prediction 共享权重效果差（消融证实）
• MSE 损失：L_MSE = E[1/(1-t)² · ‖x̂_θ - x‖²]

3. 最后一步离散化（解码）#

• t→1 时，对 clean embedding 加 token-level corruption 得到 z̃
• 同一网络以”decode”模式处理，输出通过 unembedding 矩阵 W 映射到 logits
• 交叉熵损失：L_CE = CrossEnt(W·x̂_θ(z̃), s)
• 推理时 argmax 得到离散 token
• 无需单独 decoder

4. 训练两分支合一#

• 80% 概率走 denoising 分支（MSE loss）
• 20% 概率走 decoding 分支（CE loss）
• 同一 batch 内用 masking 选择性应用，无额外训练开销

5. Self-Conditioning + CFG#

• Self-conditioning：训练时 50% 概率把上步预测 x̂' 拼到输入 [z_t, x̂']，推理时不增加前向传播
• Classifier-Free Guidance：ELF 在连续空间操作，CFG 可直接应用于 velocity field
  • Self-conditioning CFG（SC-CFG）：在 self-conditioning 层面做 guidance
  • Input-conditioning CFG：条件生成时的 guidance
  • 最佳 scale：无条件 ~3，条件生成 ~2

与之前方法的对比#

无条件生成（OWT, Gen PPL ↓）#

• 在所列基准上，ELF 使用约十分之一的训练 token，32 步结果优于其他方法的 1024 步结果

条件生成#

Scaling#

• ELF-B (105M) → ELF-M (342M) → ELF-L (652M)，Gen PPL 持续下降
• 更大模型学习更快（更少 epoch）

关键消融#

• x-prediction >> v-prediction（共享权重时差距巨大）
• T5 预训练编码 > 随机/从头训练（但差距不大，ELF 对编码器选择鲁棒）
• Muon 优化器 >> AdamW（特别是 SDE 采样时）
• logit-normal 时间调度 比 uniform 好，少步时优势明显
• SDE 采样 比 ODE 好：γ=1~2 时 Gen PPL 更低，噪声纠正早期去噪错误
• In-context conditioning 比 adaLN-Zero 好，且参数更少（148M→105M）