没看懂究竟CNN和VIT之间是怎么互动的？

[847001315]

我尝试去看了代码，发现代码中jointmodel的前向传播是：

        mid_features = OrderedDict()
        for name, model in self.models.items():
            preds[name] = model(x)
            mid_features[name] = self.extractors[name].features
        ret = {
            "preds": preds,
            "mid_features": mid_features
        }

这里我有点疑惑，我能明白此时的preds中保存着，图像经过CNN和transformer这两条并行的路，得到一个两个前向传播的preds，但是论文中CNN和VIT的交互在哪里体现呢？虽然两个都存在有对应的mid_features，但是这个mid_feature并没有输入x或者是其他的，它只是返回了一个特征，而这个特征和x并没有交互？那这个特征是怎么来的？我不太理解这个中间特征的来历，以及作用。其次，你能告诉我一下，joint这种类型，它所跑的主函数在哪吗？ 代码有点高级，我是实在没看懂模型的更主干部分在哪？我更想知道CNN和VIT是怎么交互的，以及最后是怎么得到一个值，送入head中的？

[rainyNighti]

我尝试回答一下你，这是我自己的理解，可能不对，欢迎讨论。论文中CNN与ViT有三个地方交互，我将分别进行说明：

1. 共享参数，如你所说“mid_features”中记录了每一层的ViT和CNN的权重，这里通过将ViT经过FFN层拉直后的结果赋值给同一层的CNN经过MLP的结果（他们是维度一致一维向量）来达到共享参数的目的，然后让这个共享的参数经过下一层的CNN，得到一个输出，这个输出就带有了CNN的归纳偏置，这里还不需要计算loss。
2. 中间层交互，这里会将CNN的输出和ViT输出的经过拉平后的向量计算一个DistillHint loss，也就是论文中的L_feat，具体见文件vit_mutual/loss/mutual_loss.py，让ViT学习经过CNN归纳偏置表示后的向量，学习完之后，就用ViT的拉直向量覆盖CNN的拉直后的权重，不断循环这个过程。
3. 最后的输出层的交互，这里就是一个最普通的软标签知识蒸馏，就是计算一个DistillKL loss，如果你不清楚我推荐你一篇博文：https://zhuanlan.zhihu.com/p/596582609