互联网行业大数据处理系统解决方案

　　行业概述

　　近年来互联网发生了巨大的变化，移动互联网、社交网络、电子商务大大扩展了互联网的疆界和应用领域。互联网行业在大数据技术浪潮中的异军突起，也将为整个信息技术产业带来新的机遇。一方面，大数据会催生对IT产品与解决方案更多的需求，将涵盖从硬件、软件到信息服务等多个层面；另一方面，越来越多的互联网公司正在通过云交付的模式，将自身对于大数据集的存储、计算与分析能力开放给第三方，使得数据即服务（Data as a Service）成为影响产业格局的新一代业务模式。"

　　方案架构

　　曙光互联网大数据平台解决方案从逻辑上分为硬件层、存储层、计算层和其上支持的各种业务模型。其中硬件平台统一为整合计算和存储能力的存储服务器，服务器之间通过以太网互相连接。这种不再需要门类繁多的存储设备和服务器类型的设计可以大大简化管理和建设的复杂程度。存储层存储上层业务中的结构化数据和非结构化数据。结构化数据保存在关系数据库中，网页信息等非结构化数据已Key-Value的形式保存在NoSql存储系统中。计算层负责将存储层中管理的数据转化为上层应用所需要的数据集，包括数据存储、关键字快速检索等。业务层则可以利用大数据平台提供的存储和计算资源，这些资源都可以以资源池的方式呈现，以多租户的形式提供给上层的应用。

　　曙光互联网大数据平台逻辑结构示意图如下所示：

　　方案优势

　　曙光互联网大数据平台解决方案采用ParaStor分布式文件系统、Hadoop大数据处理平台于一体。该平台可以根据所需资源进行横向扩展，并且可以以插件的形式扩展各种应用的检索系统。同时大数据平台还提供通过分析，不断改进业务水平的能力；也可以对系统进行升级、维护提出预警等。