如何利用数据仓库优化数据分析?

2016-11-07 00:00 来源:毕马威大数据挖掘
浏览量: 收藏:0 分享

  在整个数据分析流程中,数据处理的时间往往要占据70%以上!这个数字有没有让你震惊呢?为了提高分析效率和质量,借用数据仓库进行数据分析是一个很好的选择,详细的工作方法本文都有所介绍。

  首先,我们来了解一下数据仓库吧!数据仓库是一个面向主题的、集成的、相对稳定的、反应历史变化的数据集合。那数据分析又是干什么的呢?笔者凭借个人的经验认为,基于业务需求,结合历史数据,利用相关统计学方法和某些数据挖掘工具对数据进行整合、分析,并形成一套最终解决某个业务场景的方案就是数据分析的过程。

  数据分析大致包括以下流程:

  业务理解 – 数据理解 – 数据准备 – 建模 – 评估 – 部署

  由于数据分析对数据质量、格式的要求天然就比较高,对数据的理解也必须非常深刻,使得数据契合业务需求也要一定的过程,这样,根据我们的经验,在整个数据分析流程中,用于数据处理的时间往往要占据70%以上。

  因此,如何高效、快速地进行数据理解和处理,往往决定了数据分析项目的进度和质量。而数据仓库具有集成、稳定、高质量等特点,基于数据仓库为数据分析提供数据,往往能够更加保证数据质量和数据完整性。

  利用数据仓库进行数据分析无疑能够给我们的工作带来很大便利,那么,究竟要如何操作呢?我们首先需要了解数据仓库的优势,数据仓库至少可以从如下三个方面提升数据分析效率:

  1.数据理解

  数据仓库是面向主题的,所以其自身与业务结合就相对紧密和完善,更方便数据分析师基于数据理解业务。下图是Teradata关于金融行业的成熟模型:


164.png

  我们可以看到,整个数据仓库被分为十大主题,而金融行业所有的数据、业务都会被这十大主题涵盖。当我们需要找某个信用卡账户信息时,我们就去协议(AGREEMENT)主题,需要某次存款交易信息时就去探寻事件(EVENT)主题,需要某个理财产品相关信息就挖掘产品(PRODUCT)主题,如此类推,我们就会发现十大主题将整个金融行业的数据划分得非常清晰,我们需要做的就是拿到业务需求,理解数据仓库的模型,数据理解也就水到渠成了。

  2.数据质量

  数据分析要求数据是干净、完整的,而数据仓库最核心的一项工作就是ETL过程,流程如下:

165.png

  而数据仓库已经对源系统的数据进行了业务契合的转换,以及脏数据的清洗,这就为数据分析的数据质量做了较好的保障。

166.png


标签:

责任编辑:admin
在线客服