大数据抓取系统

2016-05-17 15:05
浏览量: 收藏:0 分享

大数据;抓取;可视化操作

产品优势

  大规模抓取:先进的分布式架构,可以抓取海量的网页,消除单点抓取瓶颈。集群的日抓取能力达到1亿以上。并且通过抓取流量控制,

  IP资源池等策略,可有效防止屏蔽。

  智能化调度:智能的调度机制,可自动调整抓取周期,优先抓取更新频繁的网页,并且支持增量抓取,最大程度地避免资源浪费,提升抓取效率。

  可视化操作:通过可视化操作,即可完成抓取的配置,不需要专业的技能也能方便地抓取数据,降低使用门槛。

产品功能

  任务调度:针对不同类型的网站,如新闻、电商、论坛、行业网站等,采用不同的调度策略,实现增量抓取。通过设定抓取优先级,可自动调整抓取周期。

  模板配置:用户可自定义模型和页面类型,准确定义想要抓取数据。通过可视化的模板配置页面,标定需要解析的数据节点参数。同时,还可通过编写插件抓取动态数据。

  统计报表:从不同维度对抓取流程各节点数据进行统计分析,让用户直观跟进整个抓取过程,实时掌握抓取过程运行的健康程度。

标签:

责任编辑:管理员
在线客服