”对比学习“ 的搜索结果

ACL'22 | 使用对比学习增强多标签文本分类中的k近邻机制

标签：   算法  数据仓库  大数据

     每天给你送来NLP技术干货！来自：南大NLP01—研究动机多标签文本分类（简称MLTC）是自然语言处理领域中一个十分重要的任务，其旨在从一个给定的标签集合中选取出与文本相关的若干个标签。M...

图对比学习的应用（NCL，SimGRACE，ClusterSCL）

标签：   图神经网络  GNN  推荐系统

     博主以往已经整理过图神经网络用于推荐系统，整理过对比学习用于推荐系统。 图神经网络用于推荐系统问题（PinSage，EGES，SR-GNN） 图神经网络用于推荐系统问题（NGCF，LightGCN） 图神经网络用于推荐系统问题（IMP...

自监督学习之对比学习

标签：   监督学习  无监督学习  机器学习

     对比学习一般是自监督学习的一种方式 什么是自监督学习 自监督学习主要是利用辅助任务（pretext）从大规模的无监督数据中挖掘自身的监督信息，通过这种构造的监督信息对网络进行训练，从而可以学习到对下游...

Contrastive Learning（对比学习，MoCo，SimCLR，BYOL，SimSiam，SimCSE）

标签：   对比学习  MoCo  SimCLR

     很多大佬认为，深度学习的本质就是做两件事情：Representation Learning（表示学习）和 Inductive Bias Learning...生成方法往往会对像素级损失进行约束，而对比学习在表示学习上做的事情就是，其实模型不必要知道关于.

干货 | 带你理解对比学习损失函数的性质以及温度系数的作用

标签：   机器学习  人工智能  深度学习

     作者| Feng整理 | 对白的算法屋编者寄语：很多小伙伴都了解对比学习，但要说温度系数的作用可能就不太清楚了。卷友们好，我是对白。对比学习中的温度系数是一个神秘的参数，大部分论文都默认...

对比学习（一）简介

标签：   人工智能

     文章目录前言一、对比学习简介1.1 基本思想1.2 对齐性(alignment)和均匀性(uniformity)1.3 正负样例2.4 对比损失2.4.1 原始对比损失2.3.2 三元组损失（triplet loss）2.3.3 InfoNCE损失 前言 提示：这里可以添加...

对比学习综述：Contrastive Representation Learning: A Framework and Review（2020）论文地址附文末↓

标签：   人工智能  机器学习  计算机视觉

     本文主要概括了20年这篇对比学习综述所讲的几个方面：对比表示学习的概念及示例，对比学习中的分类【对比表示学习框架、相似性分类（多感官信号、数据变换、上下文实例关系、序列一致性、自然聚类）、编码器分类、...

自监督：对比学习contrastive learning

标签：   深度学习

     对比自监督学习 英文原文 对比自监督学习 导读 利用数据本身为算法提供监督。 对比自监督学习技术是一种很有前途的方法，它通过学习对使两种事物相似或不同的东西进行编码来构建表示。 自监督方法将取代深度学习中...

【论文笔记_对比学习_2021】Supervised Contrastive Learning

标签：   学习  机器学习  计算机视觉

     近年来，应用于自我监督表示学习的对比学习再次兴起，导致了深度图像模型的无监督训练中的艺术表现。现代批量对比方法包含或明显优于传统的对比损失，如三元组、最大余量和N对损失。在这项工作中，我们将自我监督的...

对比学习损失函数中超参数temperature的作用

标签：   深度学习  人工智能  pytorch

     对比学习损失函数中超参数温度temperature(tao)的作用

对比学习有多火？文本聚类都被刷爆了…

标签：   机器学习  人工智能  计算机视觉

     文 | 花小花Posy大家好，我是小花。对比学习的大火???? 越来越旺了，已然从CV蔓延到NLP了。今天给大家介绍的正是一篇将对比学习应用到文本聚类上的工作，NAACL21新鲜出炉的pa...

对比学习(Contrastive Learning) (1)

标签：   机器学习  深度学习  算法

     对比学习的思想起源于无监督学习，相比于监督学习算法，无监督学习由于没有标签的指导，训练过程学习样本的特征会更加困难。对比学习的核心思想就是通过数据增强构造原来样本的多样性，损失函数的

【论文笔记_对比学习_2021】CONTRASTIVE LEARNING WITH HARD NEGATIVE SAMPLES

标签：   学习  机器学习  人工智能

     如何才能为对比性学习提供好的负面例子？我们认为，就像度量学习一样，表征的对比性学习得益于硬性负面样本（即难以与锚点区分的点）。使用硬阴性样本的关键挑战是，对比性方法必须保持无监督状态，这使得采用现有的...

对比学习系列（二）---MoCo 系列

标签：   深度学习  对比学习  MoCo

     文章目录MoCo 系列自监督MoCo V1前言动量对比Dictionary as a queueMomentum update代理任务Shuffling BN实验MoCo V2MoCo V3参考 自监督 监督学习在视觉领域应用广泛且成熟，但是也存在着一些挑战：监督学习需要大量...

对比学习（一）-双塔模型-simCLR

标签：   学习  人工智能  深度学习

     对比学习中的双塔模型：通过学习simCLR的模型来学习对比学习的基本结构和原理。

CVPR2022：计算机视觉中长尾数据平衡对比学习

标签：   计算机视觉  机器学习  人工智能

     点击下方卡片，关注“自动驾驶之心”公众号ADAS巨...在这篇论文中，作者专注不平衡数据的表示学习。通过作者的理论分析，发现对于长尾数据，它无法形成理想的几何结构（在下文中解释该结构）。为了纠正 SCL（Supervi...

对比学习介绍Contrastive Learning

标签：   自监督学习  对比学习  pytorch代码

     Generative Methods（生成式方法）这类方法以自编码器为代表，主要关注...与生成式学习比较，对比式学习不需要关注实例上繁琐的细节，只需要在抽象语义级别的特征空间上学会对数据的区分即可，因此模型以及其优化...

对比学习系列（四）---BYOL

标签：   深度学习  机器学习  对比学习

     MoCo，SimCLR等对比学习方法都依赖于负样本，BYOL不需要负样本也能在ImageNet上取得74.3%的top-1分类准确率。BYOL使用两个神经网络，online网络和targets网络。online网络的参数设为θ\thetaθ，由三部分组成，编码...

在文本和图像上的对比学习小综述~

标签：   网络  计算机视觉  机器学习

     点击下面卡片，关注我呀，每天给你送来AI技术干货！作者：李明达来自：哈工大SCIR1.引言近两年，对比学习（Contrastive Learning）在计算机视觉领域（CV）掀起了一波浪潮...

理解对比学习(contrasive learning)

标签：   学习  深度学习  人工智能

     对比学习

Pytorch实现有监督对比学习损失函数

标签：   深度学习  人工智能  神经网络

     Pytorch实现有监督对比学习损失函数关于对比损失Pytorch实现有监督对比损失END 关于对比损失 无监督对比损失，通常视数据增强后的图像与原图像互为正例。而对于有监督对比损失来说，可以将同一batch中标签相同的视为...

Google提出用对比学习解决推荐系统长尾问题

标签：   计算机视觉  人工智能  深度学习

     本文主要分享一下Google今年提出的《Self-supervised Learning for Large-scale Item Recommendations》如何采用对比学习解决推荐长尾问题 。一、 定义长尾效应：20%的热门item占据了80%的曝光量，剩下80%的...

图对比学习入门 Contrastive Learning on Graph

标签：   图嵌入  机器学习  人工智能

     目录对比学习(Contrastive Learning)Gelato Bet （冰淇淋赌注）与何凯明组的MoCo模型监督学习vs自监督学习生成式学习与对比学习对比学习的工作方式对比学习范例从DIM(Deep InfoMax)到DGI(Deep Graph InfoMax)Deep ...

有监督对比学习的一个简单的例子

标签：   深度学习  机器学习  计算机视觉

     点击上方“AI公园”，关注公众号，选择加“星标“或“置顶”因公众号更改了推送规则，记得读完点“在看”~下次AI公园的新文章就能及时出现在您的订阅列表中作者：Dimitre Oliveira...

带你理解对比学习损失函数的性质以及温度系数的作用

标签：   面试  职场和发展  java

     对比学习中的温度系数是一个神秘的参数，大部分论文都默认采用小的温度系数来进行自监督对比学习（例如0.07，0.2）。然而并没有对采用小温度系数的解释，以及温度系数是如何影响学习过程的，即温度系数这个角色的...

基于历史对比学习的时序知识图谱推理

标签：   知识图谱  人工智能  自然语言处理

     知识图谱（KGs）作为人类知识的集合，在自然语言处理、推荐系统和信息检索等领域显示展现了很好的前景。传统的KG通常是一个静态知识库，它使用图结构数据拓扑，并以三元组（s, p, o）的形式集成事实（也称为事件），...

对比学习&自监督学习（视频资料&PDF资料）.zip

标签：   对比学习 深度学习 人工智能 自监督学习 数据增强

     这是对比学习&自监督学习（含视频资料&PDF资料），文字分析讲解已经在博客中记录。

对比学习的应用（SimCSE，CLEAR，DeCLUTR，DiffCSE）

标签：   对比学习  nlp  句子表征

     前已经有博文整理过了对比学习的概念，比较重要且流行的文章，和一些已经有的应用，主要是在image或者video上的应用： Contrastive Learning（对比学习，MoCo，SimCLR，BYOL，SimSiam） 对比学习的应用（CLCaption...

【文献阅读】用对比学习做弱监督语义分割（Sung-Hoon Yoon等人，ArXiv，2021）

标签：   弱监督分类  对比学习

     一、背景 文章题目：《Exploring Pixel-level Self-supervision for Weakly Supervised Semantic Segmentation》 文章下载地址：2112.05351.pdf (arxiv.org)https://arxiv.org/pdf/2112.05351.pdf 文献引用格式：...

对比学习用于推荐系统问题（SSL，S^3-Rec，SGL，DHCN，SEMI，MMCLR）

标签：   对比学习  推荐系统  SSL

     自监督学习在CV和NLP已经用的很多了，那很自然也会被迅速引进并占坑到推荐系统领域咯。而发掘推荐数据上的自监督信号，其实也是十分有利于推荐系统的，主要有以下优势： 舒缓数据稀疏。一般来说推荐系统的数据集，...

推荐文章