论文阅读:IDM: An Intermediate Domain Module for Domain Adaptive Person Re-ID
论文阅读:IDM: An Intermediate Domain Module for Domain Adaptive Person Re-ID(ICCV 2021)任务:UDA ReID核心思路文章提出了一种联合模态和模式对齐网络(MPANet)来发现可见红外人 Re-ID 不同模式中的跨模态细微差别,该网络引入了模态缓解模块(Modality Alleviation Module, MAM)和
论文阅读:IDM: An Intermediate Domain Module for Domain Adaptive Person Re-ID(ICCV 2021)
任务:UDA ReID
论文地址:https://arxiv.org/pdf/2108.02413.pdf
代码地址:https://github.com/SikaStar/IDM
核心思路
借助中间域进行行人重识别域自适应
1.IDM模块
对输入的特征做了类似channel attention的操作,最后乘回原始特征得到源域 G s G^{s} Gs和源域 G t G^{t} Gt,随后源域与目标域特征相加就得到中间域 G i n t e r G^{inter} Ginter
2.桥接损失(bridge losses)
距离计算:计算source、target到inter的距离,这里source到inter的距离域target到inter的距离应该是成比例的即 λ / 1 − λ \lambda / 1- \lambda λ/1−λ
分类计算:论文中使用中间域特征做了分类损失计算,使用来自MLP输出的分数lam作为权重混合source与target的ID来作为 G i n t e r G^{inter} Ginter的label分类损失计算,label混合计算方式: l a b e l = l a m ∗ l a b e l s + ( 1 − l a m ) ∗ l a b e l t label = lam * label_s + (1-lam)*label_t label=lam∗labels+(1−lam)∗labelt
3.多样性损失(diversity loss)
为了防止生成的中间域特征偏向源域或目标域,论文对 a s a^s as与 a t a^t at的标准差进行差异最大化计算
论文后续工作:Bridging the Source-to-target Gap for Cross-domain Person Re-Identification with Intermediate Domains
论文地址:https://arxiv.org/abs/2203.01682v1
改进点:在原基础上提出了MGM模块
在生成中间域的过程中因为对源域与目标域的特征做了混合,在身份上模糊了,借助AdaIN将中间域的风格转换到源域与目标域的特征上,得到 G s → i n t e r G^{s \rightarrow inter} Gs→inter和 G t → i n t e r G^{t \rightarrow inter} Gt→inter,然后再计算跨域一致损失,即将得到的 G s → i n t e r G^{s \rightarrow inter} Gs→inter和 G t → i n t e r G^{t \rightarrow inter} Gt→inter特征在分类上的预测与通过 G s G^{s} Gs与 G t G^{t} Gt的分类预测计算KL散度
更多推荐
所有评论(0)