大数据分析与挖掘-Part2-数据预处理_大数据挖掘与处理 数据预处理-程序员宅基地

技术标签: spark  数据挖掘  

大数据分析与挖掘-Part2-数据预处理

为什么要进行数据预处理?

  • 初始数据集的准备与变化是数据挖掘的过程中重要步骤

  • 包含大量不完整,含噪声和不完整的数据是大数据应用中的典型特点

  • 数据的预处理能够有效提高数据质量,节约大量的时间和空间

  • 大部分数据挖掘算法对输入数据的格式,质量以及规模有一定的要求

  • 现实世界的数据是“脏的”

  • 随着数据规模的增加,会出现很多数据质量问题:

    不完整

    • 缺失值:缺乏某些重要属性,仅包含聚集数据

    噪声

    • 包含错误值,离群点

    不一致

    • 由于重复存放的数据未能进行一致性地更新造成的
    • 多用户系统,更新操作未能同步进行而引起
    • 由于各种故障,错误造成的
  • 没有有质量的数据,就没有有质量的挖掘结果(No quality data,No quality mining result!

评价数据质量的指标

完整性(Completeness)

记录的缺失,一个对象遗漏一个或多个属性值,有实体完整性,域完整性,参照完整性

一致性(Consistency)

多个数据间更新的同步,包括数据记录的规范和数据逻辑的一致性

时效性(Timeliness)

是否及时更新

可信性(Believability)

解释性(Interpretability)

数据的汇总统计

为量化的,用单个数或小集合捕获可能很大的值集的各种特征

描述数据集中趋势的度量

平均数
  • 优点:能够利用所有数据的特征,而且比较好算
  • 缺点:平均数容易受极端数据的影响。
中位数
  • 按数序排列的一组数据中居于中间位置的数据。
  • 它不受最大,最小两个极端数值的影响,部分数据的变动对中位数没有影响,当一组数据中的个别数据变动较大时,常用于描述这组数据的集中趋势。
众数
  • 在一组数据中出现次数最多的数据。
  • 适合数据量较多时使用,且不受极端值的影响
  • 当数值或被观察者没有明显次序(常发生于非数值性资料)时特别有用,因为这类数据无法很好地定义算数平均数和中位数。
集中趋势到分布形态度量——偏度
  • 偏度是统计数据分布偏斜方向和程度的变量

在这里插入图片描述

描述数据离散程度的度量

极差
  • 极差是指一组测量值内最大值与最小值之差,又称范围误差或全距,以R表示
  • 优点:能够体现一组数据波动的范围,极差越大,离散程度越大
  • 缺点:未能 利用全部测量值的信息
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/IncWu/article/details/118496776

智能推荐

openssl 编译-程序员宅基地

文章浏览阅读1k次,点赞40次,收藏8次。make。openssl compile

MySQL 5.7.27详细下载安装配置教程_mysql5.7下载-程序员宅基地

文章浏览阅读10w+次,点赞1.1k次,收藏3.2k次。本文详细介绍了Win 10下MySQL 5.7.27的安装及配置步骤,也列举出了一些常见的问题及解决方案_mysql5.7下载

【LeetCode】【Java】38. 外观数列-「外观数列」是一个整数序列,从数字 1 开始,序列中的每一项都是对前一项的描述。前五项....-程序员宅基地

文章浏览阅读1.2k次。38. 外观数列「外观数列」是一个整数序列,从数字 1 开始,序列中的每一项都是对前一项的描述。前五项如下:1. 12. 113. 214. 12115. 1112211 被读作 “one 1” (“一个一”) , 即 11。11 被读作 “two 1s” (“两个一”), 即 21。21 被读作 “one 2”, “one 1” (“一个二” , “一个一”) , 即 1211。给定一个正整数 n(1 ≤ n ≤ 30),输出外观数_外观数列

n&(n-1)位运算的妙用_n与n-1-程序员宅基地

文章浏览阅读2.2w次,点赞24次,收藏37次。做oj遇到一道题,求二进制中1的个数。发现有大佬用来(n&n-1)。觉得很神奇。有空下来细想。确实是这么个道理。记录一下自己的分析过程一、n-1发生了什么①、二进制数n,n-1后,如果最后一位是0,将向前一位借2,2-1=1。最后一位为1。如果前一位为0,将继续向前一位借2,加上本身少掉的1.则变为1。一直遇到1。减为0.所以 二进制 xxxx10000-1 = xxxx01..._n与n-1

fatal: could not read Username for 解决方案-程序员宅基地

文章浏览阅读4w次,点赞7次,收藏12次。fatal: could not read Username for 'http:// 解决方案在部署drone(CICD软件)后,触发提交时,drone-runner执行拉取仓库代码(在自己部署的gogs上)时出现该问题Initialized empty Git repository in /drone/src/.git/+ git fetch origin +refs/heads/master:fatal: could not read Username for 'http://ip:port'_fatal: could not read username for

支付宝「银行卡绑定流程」设计资源分享-程序员宅基地

文章浏览阅读1.4k次。对于涉及电子商务交易的平台,支付系统的重要性是不言而喻的。支付系统中一个最重要的环节是绑定银行卡,因为银行卡的绑定直接影响后续的支付和现金提取服务。当用户执行诸如实名认证和支付密码恢复的敏感操作时,绑定的银行卡可以提供身份信息验证的一个凭证。这次分享的支付宝“银行卡绑定过程”界面资源包括绑定国内银行卡绑定国外银行卡两个重要的过程,以及核心页面,...

随便推点

MAC风扇问题-程序员宅基地

文章浏览阅读142次。http://www.pc6.com/mac/113140.html转载于:https://www.cnblogs.com/yc5518/p/8276798.html_mac风扇不会自己启动

十个糟糕的程序员的行为-程序员宅基地

文章浏览阅读66次。之前本站发表过《优秀程序员的十个习惯》以及《程序员需要具备的基本技能》,那是我们需要去学习和培养的。这里,我们主要讨论十个糟糕程序员的特征,主要是需要让我们去避免和小心的。1) 情绪化的思维如果你开始使用不同颜色的眼光来看待这个世界的话,那么你可能会成为一个很糟糕的程序员。情绪化的思维或态度很有可能会把自己变成一个怪物。相信你经常可以看到很多很糟糕的程序会使用下面的这些语句:..._程序员工作态度负面案例

【附源码】JAVA计算机毕业设计校园设备巡检管理系统(源码+mysql+文档)-程序员宅基地

文章浏览阅读288次,点赞3次,收藏5次。从宏观角度来看,该系统能够提高校园设备管理的标准化和科学化水平,确保设备状态良好,及时预防和排除故障,从而为师生提供更加稳定和安全的学习环境。从微观角度而言,系统可以减轻管理人员的工作负担,通过自动化巡检减少人力资源的浪费,同时利用数据分析帮助管理者做出更合理的维护和更新决策。良好的设备管理还能延长设备的使用寿命,节约成本,对于推动校园资源的合理配置和可持续发展具有重要作用。综上所述,设计并实施校园设备巡检管理系统,不仅提升了设备管理的效率和质量,而且有助于构建智慧校园,促进教育资源的优化利用。

qq号的正则表达式html,js正则表达式用法实例:验证邮箱格式、密码复杂度、手机号码、QQ号码...-程序员宅基地

文章浏览阅读544次。没啥要描述的,直接上代码吧。其中引用了jquery~ 希望大家自行引用。只贴出验证部分代码,其余代码自行添加。如果属于初学者,请寻找有经验者指点。$(function () {$("input[name='sub']").on("click", function () {if (!isEmail($("input[name='email']").val())) {$("span[name='ema..._webqq号的正则表达式是什么

python输入出生日期和当前日期计算年龄_根据当前日期及出生日期,计算当前年龄(function)...-程序员宅基地

文章浏览阅读4.6k次。create or replace function F_GET_NL_BY_CSRQ(csrq date, v_date date)return number/** 根据出生日期和日期,计算当时的年龄*/asv_yr1 char(4);v_yr2 char(4);beginbeginv_yr1 := to_char(v_date,'mmdd');if csrq is not null thenv..._创建子vi计算年龄,出生日期和当前日期作为输入。用三个独立的整形控件来输入日期:

关于layuiAdmin 后台管理模板购买授权的问题_layuiadmin怎么购买-程序员宅基地

文章浏览阅读1.4w次,点赞3次,收藏2次。购买授权之前,建议认真阅读下述 “解惑”,以免造成不必要的困惑。另外也可以阅读 《layui 付费产品服务条款》注意:layuiAdmin 受国家计算机软件著作权保护(登记号:2018SR410669),不得恶意分享产品源代码、二次转售等,违者必究。应该如何选择版本?通常我们推荐您选择“套餐版”,它同时包含了“单页版”和“iframe版“”,你随时可根据项目需求和团队情况,自由切换。但如果你..._layuiadmin怎么购买

推荐文章

热门文章

相关标签