为什么脏数据要提前进行数据预处理?

随着大数据技术掀起的计算机领域的新浪潮,无论是数据分析、数据挖掘还是机器学习、人工智能,都离不开数据这一主题。

在实际应用中,初始数据一般是多数据源且格式多样化的数据,这些数据的质量通常是良莠不齐的,或多或少存在问题,不能直接被使用到数据分析或数据挖掘工作中,直接使用会造成低质量的分析或挖掘结果。

为什么脏数据要提前进行数据预处理?

初始数据在进行分析或挖掘之前需要经过一定的处理,调整成符合分析或挖掘需求的数据。而从初始数据到得出分析或挖掘结果的整个过程中对数据经过的一系列操作称为数据预处理。

数据预处理是数据分析或数据挖掘前的准备工作,也是数据分析或数据挖掘中必不可少的一环,它主要通过一系列的方法来处理“脏”数据、精准地抽取数据、调整数据的格式,从而得到一组符合准确、完整、简洁等标准的高质量数据,保证该数据能更好地服务于数据分析或数据挖掘工作。

据统计发现,数据预处理的工作量占据整个数据挖掘工作的60%,由此可见,数据预处理在数据挖掘中扮演着举足轻重的角色。

举一个简单的例子,摩拜单车在经过数据预处理前。户编号、单车编号、单车类型是一些冗余的属性,对分析目标而言没有任何意义;骑行时长是对分析目标起关键作用的属性,但该列中有若干个空缺。

为什么脏数据要提前进行数据预处理?

经过预处理后,城市和骑行时长列的数据比较完整,也根据城市名称进行了归类,方便用户快速地得出各城市用户的平均骑行时长。

为什么脏数据要提前进行数据预处理?

显而易见若使用预处理前的摩拜单车数据对各城市用户的平均骑行时长进行分析,会导致分析结果存在一些偏差,相反地,使用预处理后的摩拜单车数据进行分析,会得到一个较为准确的分析结果。

免责声明:文章内容来自互联网,本站仅作为分享,不对其真实性负责,如有侵权等情况,请与本站联系删除。
转载请注明出处:为什么脏数据要提前进行数据预处理? https://www.dachanpin.com/a/cyfx/11661.html

赞 (0)
求助帖:转行1年,薪资多少才算高?
上一篇 2023-05-12 03:32:00
Python爬虫有哪些应用场景?
下一篇 2023-05-12 03:33:05

相关推荐

  • 创业板改革应优化入口 适度降低IPO门槛

      王骥跃   今年是创业板开板十周年,2009年10月23日创业板正式开板,10月30日首批28家创业板公司集体挂牌,开启创业板市场交易。十年来创业板上市公司达到773家,总市值超过5.5万亿元,成为中国证券市场的重要板块,创业板指数也早已成为A股重要指数。   然而,已经十岁的创业板也面临着各种问题,市场各方多有不满,创业板改革早已提上日程。在中央支持深…

    创业分享 2023-05-12
  • 1.6万余名留学回国人员汇聚成都创新创业

    成都提供一站式人才服务,营造“拴心留人”的良好环境 目前,成都市创新创业留学回国人员达1.6万余人——汇聚海内外高层次人才,聚天下英才而用之,成都给出了这组亮眼的数据。 这也在全球化智库(CCG)与智联招聘发布的《2017中国海归就业创业调查报告》(以下简称《报告》)中得到有力印证。《报告》显示,海归创业选择的城市中,北京、上海、成都分别以24.3%、8.1…

    创业分享 2023-05-22
  • 广西桂平打工仔龙积盛立志创业 跨地种养喜致富

    龙积盛初中毕业后外出务工。20多年的打工生涯中,他做过多种工作,特别是掌握了沙糖桔种植技术,积累了生产管理经验。长年累月为人打工,收入微薄,尝尽人间冷暖,让他萌生了自己创业的想法。凭着经验,他看好沙糖桔市场,决定转型种植沙糖桔。 第一次创业,他把地点选在距“中国柑桔之乡”的广东肇庆市四会市不远、沙糖桔生产初具规模的梧州市苍梧县。2011年,经朋友介绍,通过多…

    创业分享 2023-05-27
  • 老板跑路、创业失败、资金链断裂,你的房贷怎么办?

        本文转载自公众号:“郑州楼市”   满仓加杠杆,寅吃卯粮,将阶层跃级的希望,重仓ALLIN在房子上的人,想象过断供的绝望吗?   1   小鹏长这么大也没有想到,自己也有打着白条幅上访讨薪的那一天。   时间回到1个月前,小鹏所在公司开发的APP终于完工,正式上线运行。   当天晚上,老板是何等的意气风发,频频举杯,兴致…

    2023-05-12
  • 迎接老龄化、消费升级 看股权投资机构如何布局

    瑞信研究院2016年上半年发布的第6份全球财富报告——《2015年度财富报告》,让中国人在全世界面前“露了富”。报告显示,2015年,中国中产阶层的财富为7.34万亿美元,同时,百万富翁数量超133万人,位居世界第二。另外,全球超高净值人群(资产在5000万美元及以上)中的8%来自中国。兜里有了钱,中国人也终于不再省吃俭用,医疗、居住、旅游、娱乐样样与国际接…

    创业分享 2023-05-28

发表回复

登录后才能评论

联系我们

在线咨询: QQ交谈

邮件:362039258@qq.com

工作时间:周一至周五,9:30-16:30,节假日休息