浪潮天梭K1系统基于DB2的数据仓库解决方案

2016-02-25 10:02
浏览量: 收藏:0 分享
  • 方案类别: 推荐服务

方案背景

  近十几年来,国内各行业在企业信息化技术方面取得了飞速发展,业务规模和信息化程度不断发展、提高并积累了大量的历史数据。这些历史数据中往往包含着大量的客户特征和业务规律,可以帮助企业制定合理的业务发展和经营策略。在此背景下,各厂商纷纷推出了很多数据仓库和数据挖掘的解决方案,很多企业也对自身的历史数据进行整合并建立了数据仓库,用于支持企业的经营管理和决策系统。

  由于数据仓库业务以查询为主,侧重业务的高并发需求,因此系统更加强调业务在各计算节点上的均衡分布及系统的灵活扩展。为满足业务需要,浪潮公司推出了基于浪潮天梭K1系统的数据仓库解决方案。

浪潮天梭K1系统数据仓库解决方案

  浪潮数据仓库解决方案由数据库服务器、存储、数据库软件和应用服务器组成,实现了各业务系统数据的汇总、清洗和整理,为企业管理和决策系统提供定制化数据查询,为企业经营和发展提供决策依据。其中方案核心是数据库服务器集群,而存储和应用服务器属于可选设备。该数据库集群由浪潮K1系统和DB2数据库软件共同组成,采用业界流行的Share-Nothing结构,降低了I/O瓶颈的产生,实现了集群内服务器节点的按需扩展,满足性能线性增长;DB2数据库所提供的BLU功能,基于数据库的列式存储,轻松实现了海量数据压缩;此外结合浪潮HA软件实现了数据库服务器集群的高可用,满足业务的持续运行的需要。

拓扑.jpg

  在上图中,由浪潮天梭K1系统数据库服务器、存储、DB2软件和应用服务器组成的经营分析系统即是浪潮推荐的数据仓库解决方案。在浪潮方案中采用多台浪潮天梭K1系统作为数据库服务器,数据库软件采用IBM DB2数据库,通过DB2 DPF功能模块(Data Partitioning Feature)可以将数据库分布在多台浪潮天梭K1系统之上,每台浪潮天梭K1系统作为数据库的1个分区节点,管理员可以根据实际需要将数据仓库数据分布保存在所有节点或某个指定节点。同时系统架构采用领先的Share-Nothing结构,实现了数据库节点的按需扩展,特别适合数据仓库、BI等需要大规模数据处理、高并发数据访问的业务场景。

  方案中另外一个亮点是采用了浪潮K-HA高可用软件,在不同K1系统之间组成高可用集群,当其中1台K1系统出现故障导致系统宕机时,可以迅速将其所承担的业务切换至备机运行,彻底解决了早期数据仓库解决方案中高可用功能缺失的难题,确保数据仓库系统的持续运行。

  在实际应用中,根据企业各自情况的不同,某些情况下需要在数据仓库层部署应用服务器来运行各类分析应用系统。在方案中,浪潮推荐采用浪潮8路服务器作为此类应用服务器,虚拟化技术组成应用服务器资源池,可进一步提高整体系统的高可用性。

  浪潮数据仓库解决方案特别适用于商业智能分析、大数据应用等联机事务分析业务场景,已在多个行业取得了应用。浪潮数据仓库解决方案将国外优秀软件功能与国产自主可控的硬件平台相结合,使客户可以轻松面对大数据时代的挑战。

方案优势

  浪潮数据仓库解决方案具有以下优势

  强大的并行处理能力

  DB2 DPF技术提供了inter-partition parallelism节点间的并行机制,通过hash算法将数据库请求分成多个任务在不同的分区上并行执行,同时,还可通过intra-partition parallelism节点内的并行机制,将任务分解成不同的子任务,在节点内不同的CPU上并行执行,通过以上这两种机制可以显著提高系统的并行处理能力。

  灵活的扩展性

  整个系统采用Share-Nothing架构,可同时满足纵向扩展与横向扩展,杜绝了传统Share-Disk架构存在的“集群内节点增加,性能不升反降”的缺陷。

优秀.jpg

  数据高效压缩

  在浪潮方案中除了采用DB2 DPF技术之外,还采用了DB2的新技术BLU Acceleration。BLU提供列式存储技术,并采用Huffman、Offset Coding等压缩算法对数据进行深度压缩,较之传统数据保存方法最多可以节省90%以上的存储空间。在实际应用中,客户的数据类型大多属于混合类型数据,采用BLU Acceleration技术可以节省50%~90%的存储空间。这意味着保存相同的数据量只需要采用平常50%或更小的存储设备,对于海量数据业务而言将大大缓解存储设备的采购和维护成本。

  稳定可靠

  K1系统的稳定性并结合浪潮K-HA高可用集群软件,杜绝了单点故障对系统的影响,具备极高的可靠性和稳定性。

为什么选择浪潮天梭K1系统

  浪潮天梭K1系统是我国首款自主研发的关键应用主机,打破了国外厂商的垄断,使中国成为继美国、日本之后全球第三个掌握关键应用主机技术的国家。

  浪潮天梭K1系统总共申请了包括3项国际专利在内的346项专利及软件著作权,突破了多项核心技术,建立了完整的自主化技术体系。浪潮K-UX是中国唯一通过Unix 03标准认证的Unix操作系统,并且是唯一通过国内等保三级的Unix操作系统。

  2015年1月9日,浪潮天梭K1系统被授予国家科技进步一等奖,是近年来计算机领域获得的第一个国家科技大奖,表彰其在推进国家信息化建设和保障关键信息安全方面起到的关键性作用。

  目前浪潮天梭K1系列具有包含K1 910、K1930、K1950的完善的产品线,满足客户从低端到高端的全部需求。系统最大支持32颗处理器,256个计算核心,4TB内存,凭借独特的体系结构、监控系统、散热系统、热插拔冗余设计及容错操作系统完美展现了极高的可靠性、可扩展性、灵活性、可用性、安全性和可管理性,整体性能达到国际先进水平,可完全满足关键行业应用的需求,并已在政府、金融、电信、能源、公安、企业、交通等13大关键行业实现广泛应用。


标签:

责任编辑:管理员
在线客服