预训练 - 程序员宅基地

维基百科中文预训练数据

标签： BERT

用于BERT预训练，Bidirectional Encoder Representation from Transformers

预训练模型

一、bert 论文：BERT: Pre-training of ...提出一种双向语言模型，基于该预训练模型finetune后在各下游任务取得sota效果。模型结构图如下，包括两个任务，一个是MLM(mask language model)，另一个是NSP任务(next sente

零样本迁移？全新多语言预训练模型DeltaLM！

标签：大数据算法编程语言

作者|马树铭MSRA研究员整理 |DataFunSummit目前，多语言神经机器翻译受到越来越多的研究人员的关注，多语言预训练模型对神经机器翻译可以起到非常重要的作用。预训练模...

教程丨一文入门图像预训练模型

标签：人工智能 ai

作者：Dr. Dataman 译者：刘媛媛过去三十年来，研究学者在图像识别算法和图像数据...丨使用预训练模型去识别一张未知图像丨PyTorch 一、ImageNet的起源基于监督学习的卷积神经网络模型的训练依赖于图像数据。在200.

数据集和预训练模型-附件资源

PyTorch 加载预训练权重

标签： pytorch 深度学习 python

PyTorch 加载预训练权重

大模型训练流程（一）预训练

标签：自然语言处理大模型

入门大模型训练的第一步：预训练（从根上学透大模型）

facenet预训练模型

标签： facenet

facenet预训练的模型文件，用于人脸识别的模型调用，解压后，通过程序加载

多语言预训练模型通过在预训练阶段增加语言数量、采用MLM自监督训练等方式，使预训练模型具备了多语言和跨...

标签：自然语言处理语言模型

在自然语言处理领域中，预训练语言模型（Pre-trained Language Model, PLM）已成为重要的基础技术，在多语言的研究中，预训练模型的使用也愈加普遍。为了促进中国少数民族语言信息处理的研究与发展，哈工大讯飞联合...

TensorFlow VGG-16 预训练模型-vgg_16.ckpt

标签： TensorFlow vgg_16.ckpt

TensorFlow VGG-16 预训练模型，用于SSD-TensorFlow的Demo训练.

深入理解“预训练”

标签：算法自然语言处理机器学习

点击下面卡片，关注我呀，每天给你送来AI技术干货！知乎：潘小小职位：字节跳动AI Lab NLP算法工程师方向：多语言机器翻译深度学习自然语言处理公众号出品文本预训练系列是我的专栏《小小的...

人工智能-项目实践-预训练-机器阅读理解冠军亚军代码及中文预训练MRC模型.zip

标签：人工智能机器阅读理解中文预训练MRC

机器阅读理解冠军亚军代码及中文预训练MRC模型

预训练综述

标签： 1024程序员节自然语言处理

NLP领域预训练模型，采用自监督学习方法，将大量无监督文本送入模型中进行学习，得到可通用的预训练模型。NLP领域有大量的无监督学习数据。大量研究工作表明，大量的数据可以不断提高模型的性能表现，与此同时压缩...

当知识图谱遇上预训练语言模型

知识图谱与语言预训练是什么关系呢？本文就将从语言预训练模型开始，介绍知识对语言预训练模型的价值，并介绍几个前沿的知识图谱增强语言预训练模型。 01 知识图谱与语言预训练关于“知识”的话题有两条不同的技术...

深度学习笔记：利用预训练模型之特征提取训练小数据集上的图像分类器

标签：深度学习卷积神经网络预训练模型

前面两篇我们分别进行了在不用数据增强和用数据增强技术的条件下在一个小数据集上训练一个小的...本文我们将考虑如何在（已经在大数据集上训练过的）预训练模型的基础上，在小数据集上进一步训练得到最终模型的效果。

【自然语言处理】【多模态】多模态综述：视觉语言预训练模型

标签：自然语言处理计算机视觉多模态

多模态预训练模型综述、模型结构、损失函数、下游任务、CLIP

百分点认知智能实验室：关于预训练模型的介绍

标签：自然语言处理深度学习机器学习

最近要学生学习下预训练模型的使用和发展写了一篇学习笔记编者按：自然语言处理(NLP)是AI领域中的一项重要技术，它可以使机器模仿人类的思考方式，以具备阅读、解读且理解人类的语言，从而完成文本分类、情感分析...

pytorch最全预训练模型下载与调用

标签： pytorch 深度学习人工智能

pytorch预训练模型下载与调用 torchvision.models 官方预训练模型调用代码：https://github.com/pytorch/vision/tree/master/torchvision/models 官方文档地址：...

综述 | 推荐系统里预训练模型

标签：人工智能机器学习推荐系统

在科学研究中，从方法论上来讲，都应“先见森林，再见树木”。当前，人工智能学术研究方兴未艾，技术迅猛发展，可谓万木争荣，日新月异。对于AI从业者来说，在广袤的知识森林中，系统梳理脉络，才能更好地把握趋势。...

基于BERT预训练的中文命名实体识别TensorFlow实现-附件资源

ultralytics / yolov5，官方预训练权重yolov5l.pt

标签： yolo yolov5 目标检测

ultralytics / yolov5，官方预训练权重yolov5l.pt，从drive.google下载下来的

基于PaddlePaddle实现的密度估计模型CrowdNet预训练模型

标签： paddlepaddle 深度学习人工智能人流密度

基于PaddlePaddle实现的密度估计模型CrowdNet预训练模型

BERT（预训练Transformer模型）

标签： bert

Bert在18年提出，19年发表，Bert的目的是为了预训练Transformer模型encoder网络，从而大幅提高准确率Bert 的基本想法有两个，第一个想法：随机遮挡一个或者多个单词，让encoder网络根据上下文来预测被遮挡的单词。...

pytorch 预训练模型

标签： pytorch 深度学习人工智能

预训练模型

预训练模型专题_GPT2_模型代码学习笔记-附件资源

达摩院开源预训练数据微调框架UOT NeurIPS论文深入解读

标签：深度学习人工智能预训练

达摩院开源利用预训练数据增强微调泛化性框架UOT。在这项工作中，我们使用学习理论中流行的超额风险界限，从泛化分析的角度重新审视了这一现象。当下游数据有限时，我们提出利用预训练数据进行微调。使用预训练数据...

跨模态预训练

标签：计算机视觉深度学习人工智能

1.LXMERT，LXMERT: Learning Cross-Modality Encoder Representations from Transformers[EMNLP2019]。[code]（https://github.com/airsplay/lxmert）

[NLP] LLM---训练中文LLama2(三)＞对LLama2进行中文预料预训练

标签：自然语言处理人工智能

由于第一阶段预训练会冻结transformer参数，仅训练embedding模型，因此，收敛速度较慢，如果不是有特别充裕的时间和计算资源，建议跳过该阶段。第二阶段预训练使用LoRA技术，为模型添加LoRA权重（adapter），训练...

【LLM】优化预训练模型：参数高效微调 (PEFT) 指南

标签：自然语言处理人工智能

参数高效微调（PEFT）是自然语言处理（NLP）中使用的一种技术，用于提高预训练语言模型在特定下游任务上的性能。它涉及重用预训练模型的参数并在较小的数据集上对其进行微调，与从头开始训练整个模型相比，这可以...

”预训练“ 的搜索结果

维基百科中文预训练数据

预训练模型

零样本迁移？全新多语言预训练模型DeltaLM！

教程丨一文入门图像预训练模型

数据集和预训练模型-附件资源

PyTorch 加载预训练权重

大模型训练流程（一）预训练

facenet预训练模型

多语言预训练模型通过在预训练阶段增加语言数量、采用MLM自监督训练等方式，使预训练模型具备了多语言和跨...

TensorFlow VGG-16 预训练模型-vgg_16.ckpt

深入理解“预训练”

人工智能-项目实践-预训练-机器阅读理解冠军亚军代码及中文预训练MRC模型.zip

预训练综述

当知识图谱遇上预训练语言模型

深度学习笔记：利用预训练模型之特征提取训练小数据集上的图像分类器

【自然语言处理】【多模态】多模态综述：视觉语言预训练模型

百分点认知智能实验室：关于预训练模型的介绍

pytorch最全预训练模型下载与调用

综述 | 推荐系统里预训练模型

基于BERT预训练的中文命名实体识别TensorFlow实现-附件资源

ultralytics / yolov5，官方预训练权重yolov5l.pt

基于PaddlePaddle实现的密度估计模型CrowdNet预训练模型

BERT（预训练Transformer模型）

pytorch 预训练模型

预训练模型专题_GPT2_模型代码学习笔记-附件资源

达摩院开源预训练数据微调框架UOT NeurIPS论文深入解读

跨模态预训练

[NLP] LLM---训练中文LLama2(三)＞对LLama2进行中文预料预训练

【LLM】优化预训练模型：参数高效微调 (PEFT) 指南

推荐文章