笔记内容来自多本书籍、学术资料、白皮书及ChatGPT等工具,经由自己阅读后整理而成。
相关研究表明,联邦迁移学习不需要主服务器作为各参与方间的协调者,旨在让模型具备举一反三能力,在各参与方样本空间以及特征空间均存在较少交叉信息的情况下,使用迁移学习算法互助地构建模型,可解决标签样本少和数据集不足的问题,例如,某国电商平台与其他国家银行间的数据迁移场景,联邦迁移学习可以很好地解决数据交流问题。联邦迁移学习模式使用某参与方在当前迭代中已训练好的模型参数,迁移到另外一个参与方上,协助其进行新一轮模型训练。联邦迁移学习的主要步骤如下:
(1)参与方根据自身数据集,构建本地模型,获得数据表征,以及一组中间结果,加密后发送给其他参与方;
(2)其他参与方利用接收到的中间结果计算模型的加密梯度和损失值,加入掩码后发给原参与方,解密并更新各自的模型。
不断重复以上的步骤,直至损失函数收敛。在此过程中,相当于每个参与方都利用了其他参与方的当前模型和数据潜在的表征来更新各自的本地模型,买现了迁移学习的联邦模式,即联邦迁移学习。一般而言,联邦迁移学习还可以分为以下几种:
基于样本的联邦迁移学习
各参与方通过有选择地调整用于训练的样本权重来减少不同参与方样本之间分布的差异性,协同地训练得到一个联邦迁移模型。
基于特征的联邦迁移学习
通过最小化不同参与方之间的样本分布差异性或特征差异性来协同学习一个共同的特征空间,并以此特征空间来降低分类类别数或回归误差来实现联邦迁移模型的构建。
基于参数的联邦迁移学习
各参与方利用其他参与方的模型信息或先验关系来初始化或更新本地模型,以此借鉴其他参与方的数据表征和知识。
基于相关性的联邦迁移学习
对不同参与方的知识或特征空间进行相关性映射,并按照相关性顺序来利用其他参与方的知识映射更新本地模型,以此借鉴更多的知识。
总之,相较于传统的迁移学习,联邦迁移学习最大的特点是:基于多参与方的数据表征进行建模,但各参与方的原始数据不允许流向其他参与方,有效保护用户数据的隐私性和安全性。
除此之外,还有基于 Python 实现的视觉横向联邦开源框架 FedVision、基于 TensorFlow 的 TFF 框架、百度公司的 PaddleFL 框架、华控青交的 PrivPy 隐私计算平台、MesaTEE 安全计算平台 Teaclave、Conclave 查询系统、……
上面所述的横向联邦学习,典型案例是手机的输入法预测技术和视觉目标检测技术。纵向联邦学习中,典型案例则是银行和电商平台联合训练的推荐系统。企业之间多以纵向联邦学习的方式为主。
总的来说,联邦学习未来的发展可着眼于以下几个方面:
面向资源受限场景的应用研究
联邦学习的本质是一个分布式机器学习框架,网络通信是分布式节点间共同训练机器学习模型的重要基础,然而以边缘计算为代表的资源受限生产环境普遍存在。网络连接状态直接影响通信效率,需要设计灵活的本地模型更新方式、部分联邦学习参与方的选择机制、负载容错机制、模型压缩方法、模型协同训练方式,以解决存储、计算、网络连接、续航能力等资源受限带来的应用问题。
面向云边端一体化的联邦学习
由于 5G 通信、边缘计算等技术的发展,云边端一体化架构已成为信息技术服务的趋势;同时,泛在连接的终端促使大量异构终端接入联邦学习体系;如何高效融合资源,改进联邦学习的架构、机制、模式是重要的研究方向。
联邦学习的数据建模
数据联邦学习面临大量跨设备、非均匀、非独立同分布数据,需要在保证准确性和公平性前提下解决异构数据建模的非凸优化问题;同时,深入研究元学习和多任务学习等方法有助于数据的统计异质性建模。此外,基于异构数据的联邦学习要提升共享模型训练过程的收敛性。
严格的隐私安全
造成数据孤岛的一个重要原因就是数据隐私安全限制,而联邦学习可为各参与方提供数据隐私保护,将私有数据保留在本地。然而这需要在更精细级别上定义隐私,例如,本地或全局级别的隐私,以保证不同场景下联邦学习模型的准确性。此外,可以通过区块链的共识机制解决联邦学习参与方间的信任问题,建立最小信任模型。
合理的激励机制
在企业之间的联邦学习合作落地进程中,设计一个合理的、被广泛认可的纵向联邦学习激励机制,让参与到联邦建模的设备能获得额外的汇报,是迫切的需求,有着重要的商业意义。
与区块链联合
联邦学习旨在创造价值,而区块链旨在表示和转移价值。有以下两种基本结合方式,即攻击溯源和收益分配。第一种结合是利用区块链的记录不可被篡改的特性,对联邦学习合作方可能面临的恶意攻击进行追溯和惩罚。例如,多个参与方进行联邦学习的同时,部署区块链用于记录联邦学习的数据指纹(包括建模样本、推理样本、交互信息),而对应的原始数据存储于参与方本地。当发现有样本遭受恶意攻击时,由参与方或者第三方组成调查组,依据区块链记录的指纹对原始数据进行核验。第二种结合是利用区块链的价值表示和转移功能,对联邦学习服务所创造的价值进行记账和收益分配。例如,多个参与方进行联邦学习的同时,部署区块链用于记录服务的接口调用日志指纹、各个参与方的贡献、该服务所产生的收益,并通过智能合约自动将收益分配给各个参与方。
关于联邦学习,除了以上提及的横向联邦学习、纵向联邦学习和联邦迁移学习,还可以扩展延伸以下两个方向:
2023年10月份新开了一个GitHub账号,里面已放了一些密码学,隐私计算电子书资料了,之后会整理一些我做过的、或是我觉得不错的论文复现、代码项目也放上去,欢迎一起交流!Ataraxia-github
文章浏览阅读3.2k次。本文研究全球与中国市场分布式光纤传感器的发展现状及未来发展趋势,分别从生产和消费的角度分析分布式光纤传感器的主要生产地区、主要消费地区以及主要的生产商。重点分析全球与中国市场的主要厂商产品特点、产品规格、不同规格产品的价格、产量、产值及全球和中国市场主要生产商的市场份额。主要生产商包括:FISO TechnologiesBrugg KabelSensor HighwayOmnisensAFL GlobalQinetiQ GroupLockheed MartinOSENSA Innovati_预计2026年中国分布式传感器市场规模有多大
文章浏览阅读1.1k次,点赞2次,收藏12次。常用组合逻辑电路结构——为IC设计的延时估计铺垫学习目的:估计模块间的delay,确保写的代码的timing 综合能给到多少HZ,以满足需求!_基4布斯算法代码
文章浏览阅读3.3k次,点赞3次,收藏5次。OpenAI Manager助手(基于SpringBoot和Vue)_chatgpt网页版
文章浏览阅读2.2k次。USACO自1992年举办,到目前为止已经举办了27届,目的是为了帮助美国信息学国家队选拔IOI的队员,目前逐渐发展为全球热门的线上赛事,成为美国大学申请条件下,含金量相当高的官方竞赛。USACO的比赛成绩可以助力计算机专业留学,越来越多的学生进入了康奈尔,麻省理工,普林斯顿,哈佛和耶鲁等大学,这些同学的共同点是他们都参加了美国计算机科学竞赛(USACO),并且取得过非常好的成绩。适合参赛人群USACO适合国内在读学生有意向申请美国大学的或者想锻炼自己编程能力的同学,高三学生也可以参加12月的第_usaco可以多次提交吗
文章浏览阅读394次。1.1 存储程序1.2 创建存储过程1.3 创建自定义函数1.3.1 示例1.4 自定义函数和存储过程的区别1.5 变量的使用1.6 定义条件和处理程序1.6.1 定义条件1.6.1.1 示例1.6.2 定义处理程序1.6.2.1 示例1.7 光标的使用1.7.1 声明光标1.7.2 打开光标1.7.3 使用光标1.7.4 关闭光标1.8 流程控制的使用1.8.1 IF语句1.8.2 CASE语句1.8.3 LOOP语句1.8.4 LEAVE语句1.8.5 ITERATE语句1.8.6 REPEAT语句。_mysql自定义函数和存储过程
文章浏览阅读188次。半导体二极管——集成电路最小组成单元。_本征半导体电流为0
文章浏览阅读2.8k次,点赞3次,收藏18次。游戏水面特效实现方式太多。咱们这边介绍的是一最简单的UV动画(无顶点位移),整个mesh由4个顶点构成。实现了水面效果(左图),不动代码稍微修改下参数和贴图可以实现岩浆效果(右图)。有要思路是1,uv按时间去做正弦波移动2,在1的基础上加个凹凸图混合uv3,在1、2的基础上加个水流方向4,加上对雾效的支持,如没必要请自行删除雾效代码(把包含fog的几行代码删除)S..._unity 岩浆shader
文章浏览阅读5k次。广义线性模型是线性模型的扩展,它通过连接函数建立响应变量的数学期望值与线性组合的预测变量之间的关系。广义线性模型拟合的形式为:其中g(μY)是条件均值的函数(称为连接函数)。另外,你可放松Y为正态分布的假设,改为Y 服从指数分布族中的一种分布即可。设定好连接函数和概率分布后,便可以通过最大似然估计的多次迭代推导出各参数值。在大部分情况下,线性模型就可以通过一系列连续型或类别型预测变量来预测正态分布的响应变量的工作。但是,有时候我们要进行非正态因变量的分析,例如:(1)类别型.._广义线性回归模型
文章浏览阅读69次。环境保护、 保护地球、 校园环保、垃圾分类、绿色家园、等网站的设计与制作。 总结了一些学生网页制作的经验:一般的网页需要融入以下知识点:div+css布局、浮动、定位、高级css、表格、表单及验证、js轮播图、音频 视频 Flash的应用、ul li、下拉导航栏、鼠标划过效果等知识点,网页的风格主题也很全面:如爱好、风景、校园、美食、动漫、游戏、咖啡、音乐、家乡、电影、名人、商城以及个人主页等主题,学生、新手可参考下方页面的布局和设计和HTML源码(有用点赞△) 一套A+的网_垃圾分类网页设计目标怎么写
文章浏览阅读614次,点赞7次,收藏11次。之前找到一个修改 exe 中 DLL地址 的方法, 不太好使,虽然能正确启动, 但无法改变 exe 的工作目录,这就影响了.Net 中很多获取 exe 执行目录来拼接的地址 ( 相对路径 ),比如 wwwroot 和 代码中相对目录还有一些复制到目录的普通文件 等等,它们的地址都会指向原来 exe 的目录, 而不是自定义的 “lib” 目录,根本原因就是没有修改 exe 的工作目录这次来搞一个启动程序,把 .net 的所有东西都放在一个文件夹,在文件夹同级的目录制作一个 exe._.net dll 全局目录
文章浏览阅读1.5k次。本文为转载,原博客地址:http://blog.csdn.net/hujingshuang/article/details/46910259简介 BRIEF是2010年的一篇名为《BRIEF:Binary Robust Independent Elementary Features》的文章中提出,BRIEF是对已检测到的特征点进行描述,它是一种二进制编码的描述子,摈弃了利用区域灰度..._breif description calculation 特征点
文章浏览阅读4.1k次,点赞21次,收藏79次。本文是《基于SpringBoot的房屋租赁管理系统》的配套原创说明文档,可以给应届毕业生提供格式撰写参考,也可以给开发类似系统的朋友们提供功能业务设计思路。_基于spring boot的房屋租赁系统论文