Tempo大数据分析平台——数据挖掘平台

2016-04-19 13:04
浏览量: 收藏:0 分享
  • 方案类别: 生命周期

一、产品概述

  Pluto平台设计严格遵循国际数据挖掘标准CRISP-DM(跨行业数据挖掘过程标准)。Pluto强大的数据挖掘功能将复杂的统计方法和机器学习技术应用到业务数据当中,帮助客户揭示隐藏在业务系统和企业资源计划、结构数据库和普通文件等信息中的模式和趋势,让客户始终站在行业发展的前端。

  Pluto具有完备的数据准备、数据处理、模型构建、模型评估、模型管理和结果展现功能,具有系统性、开放性、流程性和服务性等特征。可以帮助企业从业务数据中挖掘规律,并对关键问题做出预测,并可以应用模型部署到业务流程中,提高决策效率和执行力。目前已经成功应用于智能电网、制造业、航空航天、政府及公共服务业、电信业务和证券金融等众多领域。

二、产品特点

  Pluto为多种商业问题和研究问题提供了基本的分析功能,架构如下图示:

1458615992514566.png

  Pluto以数据挖掘过程为基础,提供对数据文件、数据库等数据源的支持。数据挖掘平台通过数据的清理准备工作,用科学的数据挖掘方法建立模型,最终以图形或者表格等可视化的方式将数据挖掘的结果展示给用户,并支持模型参数调优。业务模型可发布为多种服务,供外部系统集成调用。

  1.平台框架

  平台框架是Pluto数据挖掘平台的基础运行环境,主要包括:算法动态注册、消息通知、数据传输、数据存储、数据缓存等功能。

  1)算法动态注册

  算法动态注册基于OSGI机制,可以在软件不停止运行、不重新对源代码进行编译的状态下,将新增算法动态注册到平台中,具有良好的扩展性与开放性。

  2)大数据支撑

  一方面平台数据加载与处理采用内存映射文件机制,另一方面平台算法利用增量学习和优化内存结构的矩阵模型,不仅增强对大数据的处理规模,而且提高了数据挖掘算法的处理效率。

  3)数据缓存

  平台数据预处理节点和模型节点都实现了数据处理结果的缓存功能,从而可以根据需要指定流程从最后一个有缓存数据的节点开始运行,极大的提高了数据挖掘流程的运行效率。

  2.数据源

  Pluto数据源支持文件和数据库,文件支持文本文件(*.txt,*.csv)和Excel文件(*.xls,*.xlsx),数据库支持oracle(9i、10g、11g)、SqlServler(2005、2008)、DB2、MySql等常用类型,同时支持列式数据库的接入。

  3.数据预处理

  数据预处理主要实现数据的清理准备工作,包括样本处理和属性操作。样本处理包括条件抽样、简单抽样、平衡、汇总和样本排序等功能,属性操作包括指定因变量、属性选择、属性变换、离散化、数据集拆分、分箱和数据降维等功能。

  4.领先的数据挖掘算法

  Pluto包含经典算法20个和高效的自主算法10个。

  其中国内独有的L1/2稀疏迭代算法、视觉聚类算法分别在长流程制造工艺分析和图形处理方面具有特殊优势。用户可以从多种算法中选择来进行预测、聚类、关联、分类等操作。Pluto算法支持主流云计算技术框架(Hadoop、Enomalism、Euclyptus等),实现海量数据的分析与挖掘。

  5.模型构建与评估

  模型构建是指训练并得到数据挖掘模型,模型评估帮助用户对数据挖掘模型的结果进行准确度分析,用户可根据模型评估结果的满意度对模型参数进行调优。

  6.丰富的数据可视化

  平台提供了10余种图形化技术和输出报告,帮助用户理解数据间的关键性信息,并指导用户以最便捷的途径找到问题的最终解决办法。

  7.模型流程发布

  模型流程发布是将数据挖掘模型流程发布为服务,包括Webservice服务和JMS服务,支撑外部系统的数据挖掘分析功能。同时,平台支持模型流程jar包导出,提供Java Jar API便于将模型流程直接集成到外部系统的开发环境。

  8.模型流程服务管理

  模型流程服务管理用于对平台发布的数据挖掘模型流程服务进行管理,包括服务的权限管理、版本管理和预测评估任务管理等功能。

  9.服务访问接口

  第三方(或外部)系统可以通过调用Webservice服务、JMS服务或直接调用Java Jar API进行数据挖掘分析功能的构建。


标签:

责任编辑:管理员
在线客服