大数据管控——数据交换平台

产品介绍

　　数据交换平台是一个面向复杂异构大数据环境的数据高速交换服务。支持几乎所有常用操作系统和数据库平台，在异构的数据存储架构之间，以一致的标准化协议高速传输、同步数据。最大限度的利用有限数据资源，实现数据商业价值最大化。

产品优势

　　● 面向复杂异构大数据环境的数据高速交换服务；

　　● 可以支持几乎所有常用操作系统和数据库平台；

　　● 以一致的标准化协议高速传输、同步数据；

　　● 具备可控的统一异构数据管理功能；

　　● 数据传输过程在单进程内完成，全内存操作，不读写磁盘。具备高吞吐量的数据传输能力；

　　● 统一的配置页面、统一管理、统一监控、统一调度；

　　● 任务状态的实时汇报，运行模式的透明管控；

　　● 采用"框架+插件"的结构，插件的灵活性极大的增强了平台的适用性，可快速支持任意数据在新的数据库和文件系统之间互导。

产品定位

　　目前成熟的数据导入导出工具比较多，但是一般都只能用于数据导入或者导出，并且只能支持一个或者几个特定类型的数据库，随着数据库/文件系统的多样化，工具数目成线性增长，不同程度的为数据中转带来额外开销，效率差别非常大。

　　北京东方国信科技股份有限公司的数据交换平台（BONC Data Exchange简称 BDE）是一个面向复杂异构大数据环境的数据高速交换服务。支持几乎所有常用操作系统和数据库平台，在异构数据存储架构之间，以一致的标准化协议高速传输、同步数据。BDE使得各企业应用无需逐一开发自定义数据访问程序，而能够自由使用任何位置任何存储方式的数据，最大限度的利用有限数据资源，实现数据商业价值最大化。

产品架构

　　本产品采用先进的架构构建，支持高速交换数据、模块自动插拔和替换、统一管理交换数据。降低转换数据开销，提升工作和运营效率，真正实现各地各级部门业务应用系统的互联互通。

主要功能

　　分布式文件消息队列

　　数据网关的核心是一个分布式文件消息队列，其提供了高吞吐、低延迟、异步请求、高可靠、自动负载均衡的数据传输，能够同时支持批处理与实时的使用模式，支持数据持久化。使用队列语义，实现O(1)的数据访问，并做到读写分离。传输的数据允许进行数据压缩（使用gzip），以减少IO开销。

　　高吞吐量的数据传输功能

　　数据交换平台提供高吞吐量的数据传输能力。数据传输过程在单进程内完成，全内存操作，不读写磁盘，也没有IPC，实现大量数据在异构数据库、文件系统、分布式文件系统之间的高速交换。

　　多运行模式透明使用

　　分布式功能兼容已有作业运行模式。异构数据交换平台支持在单进程、单机多进程、多机多进程各种模式下对用户透明使用，仅仅提供配置参数用户即可实现不同模型运行环境的切换，完成运行机制的平滑迁移。

　　任务实时状态汇报

　　保证任务原子性，对于一个在集群运行的任务，需要保证同步作业成功失败的原子性。支持任务实时状态汇报，保证分布式模式下，用户能够观察到单个作业整体进度、速度、吞吐量。

　　可追溯的统一管理

　　异构数据交换平台统一管理数据的导入导出格式，支持全程日志记录。通过统一的信息资源目录体系建立数据交换和共享机制，实现异构数据交换页面的统一调度配置，实现异构数据交换的统一监控管理。

　　插件自动插拔和替换

　　针对新增的数据源，开发者可以在极短的时间开发的一套Reader/Writer插件，即可快速支持任意数据在新的数据库和文件系统之间的互导。插件的灵活性极大的增强了平台的适用性。