思考 | 如何拉近数据和信息之间的距离

2017-06-22 11:06 来源:大数据文摘
浏览量: 收藏:0 分享

互联网时代,推动了消费升级与信息整合。每个互联网用户不仅仅是一个信息的被动接受者,同时还是一个信息的创造者。微信、微博、网站和购物平台等都可以创造大量的用户数据。麻省理工的ErikBrynjolfsson教授曾经说过:“有数据支持的(商业)决策才是更好的决策。”商家都已经开始重视大数据的价值,但是现在的大部分企业都面临着一个尴尬的境地——Drowningindata.Thirstingforinformation.(数据丰富,信息匮乏。)  

IBM提出大数据的大量化(Volume)、多样化(Variety)和快速化(Velocity)“三V”特征。随着大数据对于商业“价值”的重要性提升,“价值(Value)”成为了大数据的第四个重要特征,同时得到了社会的广泛关注与研究。  

大数据,成为了企业的核心资产,资产得以高效利用,得到效益的高度转化才是大数据的价值体现,这就需要通过数据挖掘来进行。  

一个数据挖掘项目的生命周期在不同的场景下并不是完全一样的。CRISP-DM是官方标准之一,也是对数据挖掘过程的全面评述,它包含有6个阶段: 

QQ截图20170622114159.jpg

1、商业理解  

最初的阶段集中在理解项目目标和从业务的角度理解需求,同时将这些转化为数据挖掘问题的定义和完成目标的初步计划。  

2、数据理解  

数据理解阶段是从初始的数据收集开始的,目的是熟悉数据,识别数据的质量问题,首次发现数据的内部属性,或是探测引起我们产生兴趣的子集从而形成隐含信息的假设。  

3、数据准备  

在数据准备阶段包括从未处理的数据中构造最终数据集的所有活动。这些数据将是模型工具的输入值。这个阶段的任务有的能执行多次,没有任何规定的顺序。任务包括选择表、记录和属性,以及为模型工具转换和清洗数据。  

4、数据模型  

在这个阶段,可以选择和应用不同的模型技术,模型参数被调整到最佳的数值。一般,有些技术可以解决一类相同的数据挖掘问题。有些技术在数据形成上有特殊的要求,因此需要经常跳回到数据准备阶段。  

5、评估  

在开始部署模型之前,重要的事情彻底地评估模型,检查构造模型的步骤,确保模型可以完成业务目标。这个阶段的关键目的是确定是否有重要的业务问题没有被充分考虑。在这个阶段结束后,对于一个数据挖掘结果使用的决定必须达成。  

6、发布  

通常,模型的创建不是项目的结束。模型的作用是从数据中找到知识,并且所获得的知识要以便于用户使用的方式重新组织和展现。根据需求,在这个阶段可以产生简单的报告,或是实现一个比较复杂、可重复的数据挖掘过程。  

数据是做一切决定的前提。美国西北大学的MarkJeffery在他2011年的著作中曾提到,根据他的调查显示,80%的公司做市场运营是不基于数据的,而其他20%基于数据做市场运营的公司中大多数都成了各自领域的领跑者。  

数据挖掘的存在是为了填补数据和信息之间的鸿沟。只有通过处理和分析的数据才能转化成信息,进而转化为商业效益,企业的思维习惯要改成“数据驱动做决定”。

标签:

责任编辑:admin
在线客服