필사 모드: 人人可懂的 AI 第5篇 — 用47万参数的 U-Net 给黑白照片上色，以及颜色为何发灰

• 引言 — 当输出本身是图像
• U-Net — skip connection 运送的东西
• 训练
• 结果 — 形状对了，颜色发灰
• 颜色为何发灰 —— L1 损失的本性
• 真实的上色模型怎么做
• 小结
• 🧠 理解度自测
• 参考资料

引言 — 当输出本身是图像

此前的输出都是文本：第1篇是句子，第3篇是词，第4篇是字幕。这次 输出本身就是图像 。

任务是上色。输入黑白照片，返回彩色照片。

输入: 32×32 黑白 (1 通道)
输出: 32×32 彩色 (3 通道)

不需要另外找数据。把 CIFAR-10 的彩色图转成黑白， 输入与标签的配对就自动生成了 。

rgb = torch.stack([...])                                    # 原始彩色 = 标签
gray = (rgb * torch.tensor([0.299, 0.587, 0.114])
        [None, :, None, None]).sum(1, keepdim=True)         # 转黑白 = 输入

权重 0.299, 0.587, 0.114 是标准亮度公式，反映了人眼对绿色最敏感、对蓝色最迟钝。这样构造的数据叫 自监督学习 (self-supervised)：没人打标注，标签却存在。

U-Net — skip connection 运送的东西

上色有个棘手的要求。 要知道"是什么"才能定颜色，同时还要知道"在哪里"。 认出是青蛙才会涂绿，但绿色越过青蛙的轮廓就毁了。

普通的编码器-解码器很难同时满足两者，因为压缩图像时获得了语义却丢失了位置。U-Net 用 skip connection 解决这一点。

class TinyUNet(nn.Module):
    def __init__(self):
        super().__init__()
        self.e1 = block(1, 32); self.e2 = block(32, 64); self.e3 = block(64, 128)
        self.d2 = block(128 + 64, 64); self.d1 = block(64 + 32, 32)
        self.out = nn.Conv2d(32, 3, 1)

    def forward(self, x):
        s1 = self.e1(x)                       # 32x32  — 最精细
        s2 = self.e2(F.max_pool2d(s1, 2))     # 16x16
        h  = self.e3(F.max_pool2d(s2, 2))     # 8x8    — 最抽象
        h = self.d2(torch.cat([F.interpolate(h, scale_factor=2), s2], 1))
        h = self.d1(torch.cat([F.interpolate(h, scale_factor=2), s1], 1))
        return torch.sigmoid(self.out(h))

关键是 torch.cat([上采样后的h, s2], 1)。解码器在恢复分辨率时， 把同分辨率的编码器输出原样取来拼接 。

• 从下方上来的 h —— 分辨率低，但携带"这是青蛙"这类语义
• 从旁边来的 s2 —— 未经压缩，边缘与纹理完好

解码器同时看这两路。语义来自深层通路，位置来自 skip 通路。通道数写成 128 + 64 正因如此。

以 sigmoid 收尾也是有意的：输出必须是 0 到 1 之间的 RGB 值，用激活函数把范围钉住。

训练

opt = torch.optim.AdamW(model.parameters(), lr=2e-3)

while not run.over_budget():          # 12分钟预算
    ix = torch.randint(0, len(rgb), (128,))
    x, y = gray[ix].to(dev), rgb[ix].to(dev)
    loss = F.l1_loss(model(x), y)
    opt.zero_grad(); loss.backward(); opt.step()

损失用的是 L1 (平均绝对误差)，即直接度量预测 RGB 与真实 RGB 之差的回归损失。这个选择决定了结果的性格，后面再展开。

[   14.1s] pairs=30000
[   14.2s] params {"params": 472323, "res": 32}
[  722.0s] SUMMARY {"steps": 62136, "final_l1": 0.0231}

62,136 步，最终 L1 为 0.023。像素值在 0 到 1 之间，也就是 平均误差 2.3% 。单看数字非常漂亮。

结果 — 形状对了，颜色发灰

每行是两组三张，顺序为 输入黑白 / 模型预测 / 真实彩色 。

诚实地读一读。

做得好的 —— 形状被精确保留。猫的毛、船的甲板结构、青蛙的腿、汽车的窗框都没有糊。这是 skip connection 起了作用。颜色的 方向 也大体正确：青蛙周围偏绿，船周围偏蓝，猫偏棕。

没做好的 —— 颜色整体 发灰 。标签里鲜艳的红色汽车，预测里成了暗灰褐。标签里红色船体和蓝色海面，预测里成了浑浊的灰蓝。不少结果接近棕褐色调。

颜色为何发灰 —— L1 损失的本性

这不是因为模型小，而是 选了 L1 的结果 。

设想一张黑白汽车照片。这辆车可能是红的、蓝的，也可能是白的。仅凭黑白信息无法判定。换句话说， 这是一个有多个正确答案的问题 。

此时 L1 对模型说：把与标签的绝对误差降到最小。在多种答案都可能时，遵守这条指令最安全的做法是什么？

押所有可能性的中间值。

押红色而真值是蓝色，罚分很重。押灰色则无论真值是什么，罚分都被压在中等水平。训练越久，模型越向这个安全策略收敛，产物就是 低饱和度的颜色 。

这就是 L1 为 0.023 这样漂亮的数字与发灰的颜色能够并存的原因。 L1 恰恰把交代给它的事做好了，只是交代给它的并不是我们想要的。

真实的上色模型怎么做

这个问题广为人知，解法也分成几类。

把颜色变成分类问题 —— Zhang 等人 2016 年的工作把色彩空间分成 313 个区间，转而预测每个像素属于哪个区间。分类允许把概率分给多个候选，因此不会被平均抹平；采样时挑一个鲜艳的即可。

加入对抗损失 —— GAN 的判别器判断"这张图像不像真的"。发灰的颜色不像真实照片，会被罚分。L1 负责形状，判别器负责鲜艳度。

使用感知损失 —— 不直接比较像素值，而在预训练网络的特征空间里比较，更接近人对相似性的判断。

三者有个共同点： 把损失设计成"逃向平均不再划算" 。

小结

47 万参数，在保持形状完好的前提下完成了上色。skip connection 让细节存活，自监督的方式让标注成本为零。

而本篇真正的教训在发灰的那一侧。 损失函数是用来定义目标的，不是用来达成目标的工具。 选定 L1 的那一刻，"接近平均的答案更安全"这条规则也随之确立，模型忠实地遵守了它。若结果不合心意，先要回头审视的不是模型，而是 你让它最小化的是什么 。

下一篇正面处理这个问题 —— 扩散模型 。它的结构能在多个答案皆可能时挑出一个，而不是逃向平均。

🧠 理解度自测

参考资料

• CIFAR-10 数据集
• U-Net — 用于生物医学图像分割的卷积网络
• Colorful Image Colorization — 把颜色当作分类
• Image-to-Image Translation with Conditional Adversarial Networks (pix2pix)