技术标签： 笔记
大数据4“V”：
数据量大（Volume）
数据类型繁多（Variety）
处理速度快（Velocity）
价值密度低（Value）
大数据对思维方式的影响：全样而非抽样、效率而非精确、相关而非因果。
大数据的基本处理流程：数据采集、存储、分析和结果呈现。
数据采集与预处理:
利用ETL工具将分布的、异构数据源中的数据，如关系数据、平面数据文件等，抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础；也可以利用日志采集工具（如Flume、Kafka等）把实时采集的数据作为流计算系统的输入，进行实时处理分析。
数据存储和管理:
利用分布式文件系统、数据仓库、关系数据库、NoSQL数据库、云数据库等，实现对结构化、半结构化和非结构化海量数据的存储和管理。
数据处理与分析:
利用分布式并行编程模型和计算框架，结合机器学习和数据挖掘算法，实现对海量数据的处理和分析；对分析的结果进行可视化呈现，帮助人们更好地理解数据、分析数据。
数据安全和隐私保护:
在从大数据中挖掘潜在的巨大商业价值和学术价值的同时，构建隐私数据保护体系和数据安全体系，有效保护个人隐私和数据安全。
云计算3种典型的服务模式：
基础设施层：
IaaS（基础设施即服务）
平台层：
PaaS（平台即服务）
应用层：
SaaS（软件即服务）
云计算的3种类型：公有云、私有云和混合云。
云计算的关键技术：虚拟化、分布式存储、分布式计算、多租户等。
云计算的概念：云计算实现了通过网络提供可伸缩的、廉价的分布式计算能力，用户只需要在具备网络接入条件的地方，就可以随时随地获得所需的各种IT资源。云计算代表了以虚拟化技术为核心、以低成本为目标的、动态可扩展的网络应用基础设施，是近年来最有代表性的网络计算技术与模式。
物联网的概念：物联网是物物相连的互联网，是互联网的延伸，它利用局部网络或互联网等通信技术把传感器、控制器、机器、人员和物等通过新的方式连在一起，形成人与物、物与物相连，实现信息化和远程管理控制。
文章浏览阅读601次。今天有空再度学习Struts1.3.9的源码，感觉对org.apache.commons.digester.Digester的认识还很少，上网看了一篇文章讲的比较好，特此转载！ 文章出处：http://www.onjava.com/pub/a/onjava/2002/10/23/digester.html?page=1 文章中的案例解释： //生成一个digester。主要
文章浏览阅读370次。自己封装的文件服务苹果手机无法播放视频
文章浏览阅读987次。1. shenyue2题目分析这是一道RSA相关的密码学题目，给出了RSA相关的公钥(n,e)(n,e)(n,e)，并且给出了额外的两个参数：一个已知素数rrr以及kkk，并且有如下关系： k=(p−r)dk=(p−r)dk=(p-r)d 其实这是一道2018 CodeGate CTF 的原题，直接按照CTF-WIKI中介绍的解法就可以求出来。而我写这篇文章的目的是向大家介绍另外一种方法，..._ctf shenyue2
文章浏览阅读1k次，点赞20次，收藏20次。先根据node版本先锁定node-sass版本 然后再来回切换sass-loader版本 这玩应你就试吧 一试一个一个不吱声_node-sass 升级
文章浏览阅读6.7k次。这种问题是因为sheet名称有问题，一般是名字两边有空格？解决：新建一个sheet，然后查看代码，输进去这些，一运行就出来了Sub listSheetName()i = 1For Each sSheet In Application.SheetsCells(i, 1).Value = sSheet.Namei = i + 1NextsSheetEndSub获取到所有..._valueerror: value does not match pattern ^[$]?([a-za-z]{1,3})[$]?(\d+)(:[$]?
文章浏览阅读1k次，点赞2次，收藏2次。pthread库不是Linux系统默认的库，连接时需要使用库libpthread.a,在编译中要加-lpthreadgcc xxx.c.pp -lpthread 针对直接编译的target_link_libraries(thread libpthread.so) 针对cmake的这里thread是我的二进制文件..._linux 中pthread_create()未定义
文章浏览阅读842次。【CSharp 学习笔记】关于ManualResetEvent的用法解决方案：利用ManualResetEvent，使用方面见上面链接 ManualResetEvent mre = new ManualResetEvent(false); var result=""; mre = new ManualRe..._webrequest 代理 超时没用
文章浏览阅读5k次，点赞3次，收藏18次。文章目录背景ImportBeanDefinitionRegistrar1.定义注解2.启动注解3.实现接口4.扫描器5.使用Bean6.使用注解7.启动类总结背景@Configuration 注解的类会被spring自动的扫描注入为Bean,如果想自己定义一个注解实现相同的功能如何来实现ImportBeanDefinitionRegistrar熟悉spring源码的同学应该知道，注册bean实际上就是注册beandefinition这个类刚好有接口可以实现default void regis
文章浏览阅读1.6k次，点赞2次，收藏8次。用Qt实现TCP服务器与客户端的信息收发_qt tcpserver
文章浏览阅读1.1k次。一、前言最近需要统计一张hbase表的条数，网上的很多案例都是使用MR的方式来进行统计，所以我们也采用这个方式。但是在实施过程中，遇到一些问题。使用MR去统计时，如果不指定队列，那么就会使用默认的YARN队列，而我们的默认队列是完全没有资源的。网上关于指定YARN队列的文章也比较少，这里整理并记录一下。二、准备这里我们使用 hbase.RowCounter包执行MR的任务。[hbase@bi-hadoop02 ~]$ hbase org.apache.hadoop.hbase.mapreduce_org.apache.hadoop.hbase.mapreduce.rowcounter 增加参数
文章浏览阅读1.8k次。FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:org.apache.hadoop.hbase.client.RetriesExhaustedException: Can't get the locations at org.apache.hadoop.hbase.client.RpcRetryingCallerWithReadReplicas_failed: execution error, return code 1 from org.apache.hadoop.hive.ql.exec.d
文章浏览阅读518次，点赞6次，收藏10次。在数据库管理工具的选择上，使用了Navicat 11，这是一个用户友好且功能强大的数据库管理软件，它支持多种数据库系统，包括MySQL，并提供了图形化界面，使得数据库的管理和维护工作更加便捷。开发环境方面，我们选择了PyCharm作为主要的集成开发环境（IDE），它提供了丰富的Python开发工具和插件，支持Django框架，有助于提高开发效率和代码质量。此外，系统还可以记录操作人员的操作记录，便于追踪和审计。提高物资利用率：通过对医用物资的有效管理，可以避免物资的浪费和积压，提高物资利用率。