Abstract

contrastive learning as dictionary look-up

Unsupervised learning trains encoders to perform dictionary look-up: an encoded "query" should be similar to its matching key and dissimilar to others.

How does building a large and consistent dictionary on-the-fly facilitate contrastive unsupervised learning?

• large
• 从连续高维空间做更多的采样。字典越大，表示的视觉信息就越丰富，可以帮助模型学到更本质的特征，并且在对比query时能够学到更多能将物体区分开的特征，模型能够学习到的视觉特征就越丰富，同时也更能体现原有数据集的分布，有利于模型的泛化能力。如果字典很小，模型就会很容易学会一个 shortcut ，导致模型无法很好地泛化。
• 如果 字典小、key 少，模型可能学到 shortcut 捷径，不能泛化

• consistent
• 字典里的 key {} 应该由相同的 or 相似的编码器生成
• 如果字典的 key 是由不同的编码器得到的，query q 做字典查询时，很有可能 找到和 query 使用同一个 or 相似编码器生成的 key，而不是语义相似的 key。另一种形式的 shortcut solution

• 为什么是动态的，以及这个动态更新是怎么样的？就是这个新 sample 的batch 是 pos 还是 neg，以及什么时候更新这个queue？？？
• 不更新会导致字典里的representation不改变，也就是说，当前compare的queue中的key可能是好久之前的encode产生的，但是新产生的pos key是新的ecoder产生的，导致不一致？（我感觉这样）
• 从官方源代码中可以看到，每次从Dataset中sample的data，经过 transform 和 augmentation 变为 q 和 k ，也就是 anchor 和 pos，把 queue中的数据作为 neg key，然后计算损失
• 如何更新queue：新 sample 得到的 key，也就是这一次迭代的 pos key，进入队列，然后最老的出队列。

Method

We present Momentum Contrast (MoCo) as a way of building large and consistent dictionaries for unsupervised learning with a contrastive loss

maintain the dictionary as a queue of data samples & momentum-based encoder

Queue

• queue 数据结构: 剥离字典的大小和显卡内存的限制，让字典的大小和模型每次做前向传播的 batch size 的大小分开
• 字典很大（成千上万），意味着要输入很多很多的图片，如果作为一次batch进行前向传播，受显存限制
• current mini-batch enqueued and the oldest mini-batch dequeued 当前 mini-batch 入队，最早进入队列的 mini-batch 出队。从一致性的角度来看，最早计算的那些mini-batch的key已经过时了。因此，与最新计算的mini-batch相比，这些过时的key的一致性最差。

momentum-based encoder

1. 首先，反向传播需要计算损失函数对于每个参数的导数，以更新参数。在大型数据集中，每一个数据点都会对最终权重值的计算产生影响，因此需要进行大量的计算。

2. 另一个问题是存储。反向传播需要将中间结果存储在内存中以进行计算，例如每个层的激活函数及其梯度。如果数据集非常庞大，那么这些存储所需的内存可能会超出计算机能够提供的内存容量，这可能会导致内存不足或者非常缓慢的计算。

Pretext task—— instance discrimination

Relations to previous mechanisms

end-to-end

Memory bank

MoCo

Algorithm

Conclusion

Reference