对比学习 - 程序员宅基地

浅聊对比学习（Contrastive Learning）

点击上方“视学算法”，选择加"星标"或“置顶”重磅干货，第一时间送达作者丨parasol@知乎（已授权）来源丨https://zhuanlan.zhihu.com/p/521614413编辑丨极市平台导读本文通过解读对比学习的经典论文和综述，介绍...

对比学习、自监督学习的理解

标签：机器学习计算机视觉

自监督学习主要是利用辅助任务从大规模的无监督数据中挖掘自身的监督信息来提高学习表征的质量，通过这种构造监督信息对网络进行训练，从而可以学习到对下游任务具有价值的表征。辅助任务（pretext）：可以认为是...

推荐系统笔记（九）：SGL --利用自监督对比学习缓解推荐系统长尾效应

标签： python 推荐算法算法

SGL是模型不可知框架，采用用户项图上的自监督学习来弥补数据集稀疏和噪声影响的不足。论文中通过实验证明了SGL长尾推荐、训练收敛和抗噪声交互鲁棒性方面的优势。

对比学习的假负样本

标签：机器学习深度学习 python

负样本质量分析 Cai T T, Frankle J, Schwab D J, et al. Are all negatives created equal in contrastive instance discrimination?[J]. arXiv preprint arXiv:2010.06682, 2020. 最简单的 95% 的负样本是不必须...

Parametric Contrastive Learning：长尾问题中的对比学习

标签：机器学习深度学习计算机视觉

一、监督学习中的损失函数公式在监督学习中，上面公式是我们最常见的形式，其中，q为query representation，也就是特征，w_y...三、无监督对比学习MoCo 简单介绍一下这个著名的算法MoCo，即Momentum Contrast。首先

图解SimCLR框架，用对比学习得到一个好的视觉预训练模型

点击上方“AI公园”，关注公众号，选择加“星标“或“置顶”作者：amitness编译：ronghuaiyang正文共：3027字33图预计阅读时间：9分钟导读有点像词向量预训...

对比学习系列（三）-----SimCLR

标签：学习机器学习深度学习

SimCLR通过隐藏空间的对比损失最大化相同数据在不同增广下的一致性来学习表达。SimCLR框架有四个主要的组件，分别是：数据增广，encode网络，projection head网络和对比学习函数。

【对比学习超分辨】Blind Image Super-Resolution via Contrastive Representation Learning

标签：深度学习机器学习计算机视觉

对比学习超分辨率

关于对比学习在医学图像理解中两篇Paper的思考

标签：深度学习图像处理机器学习

成对图像和文本中医学视觉表征的对比学习创新点：只需要10% ImageNet的labeled data就能达到同样的或者更好的效果模型解释：提出了ConVIRT模型——一个通过利用图像和文本数据的自然配对来学习visual ...

无监督对比学习之左脚踩右脚的BYOL《Bootstrap your own latent A new approach to self-supervised ...

标签：深度学习

对比学习为了解决这个问题，将表示预测问题转换为了正负例判别问题，这样就迫使模型的输出是多样的，避免坍缩。灵感如何不用负例，也能学到好的表示呢？如果共用encoder，用MSE作为损失，缩小相同图像不同view的...

SIGIR 2022 | 港大、武大提出KGCL：基于知识图谱对比学习的推荐系统

标签：大数据 python 机器学习

©PaperWeekly 原创 ·作者 | 杨雨豪单位 | 香港大学研究方向 | 推荐系统研究背景知识图谱（Knowledge Graphs，KGs）通常包含丰富的实体语义关联，在推荐系统中已被广泛地用作提高用户表征学习质量，以及提升推荐...

推荐系统笔记（七）：自监督学习、对比学习的理解

对比学习应用广泛，可以被使用于CV、推荐系统、自然语言处理等多个领域之中，可以有效解决标记数据不足的网络训练困难、不准确的问题。httpshttpshttpshttpshttps。

超越GraphCL，GNN+对比学习的节点分类新SOTA

标签：深度学习机器学习推荐系统

拿捏了

华人博士提出原型对比学习，非监督学习效果远超MoCo和SimCLR

点上方蓝字视学算法获取更多干货在右上方···设为星标★，与你不见不散仅作分享，不代表本公众号立场，侵权联系删除转载于：新智元继MoCo和SimCLR之后非监督学习的又一里程碑！Sa...

基于对比学习的压缩单图像去雾(Contrastive Learning for Compact Single Image Dehazing-cvpr2021)

标签：人工智能深度学习

在本文中，提出了一种新的基于对比学习的对比正则化(CR)方法，将模糊图像和清晰图像的信息分别作为负样本和正样本来利用。CR保证了恢复后的图像在表示空间中向清晰图像拉近，向远离模糊图像的方向推远。此外，考虑到...

KDD2021 | 左右互搏：基于协同对比学习的自监督异质图神经网络

标签：神经网络 python 机器学习

点击蓝字关注我们AI TIME欢迎每一位AI爱好者的加入！论文解读者：北邮 GAMMA Lab 硕士生刘念题目：Self-supervised Heterogeneous Graph ...

对比学习 | 对比学习损失（InfoNCE loss）与交叉熵损失的联系温度系数的作用

标签：学习人工智能

唯一的区别是，在cross entropy loss里，k指代的是数据集里类别的数量，而在对比学习InfoNCE loss里，这个k指的是负样本的数量。温度系数τ虽然只是一个超参数，但它的设置是非常讲究的，直接影响了模型的效果。

自监督学习（十九）：对比学习方法综述

标签：人工智能深度学习

这里我们介绍一篇对比学习的综述文章。对比学习是最近非常热门的自监督表示学习方法，在很多的下游任务上都达到或超过了ImageNet预训练的效果。本文比较系统地总结了目前对比学习的几个常用的方法。文章地址：...

【对比学习】NCL：Improving Graph Collaborative Filtering with Neighborhood-enriched Contrastive ...

标签：线性代数算法深度学习

本文是在基于GNN的方法中提出的一种新的对比学习推荐模型。主要考虑了GNN的推荐模型中两种类型的自监督信息，structure-contrastive（结构对比）和prototype-contrastive（语义对比），两个对比学习信息，**使得相似...

Unsupervised Learning | 对比学习——MoCo

文章目录1. Introduction2. Related Work2.1 Loss functions2.2 Pretext tasks2.3 Contrastive learning & pretext task2.4 Unsupervised or Supervised3. MoCo Method3.1 Contrastive Learning as Dictionary ...