前言：
大数据是一个事关我国经济社会发展全局的战略性产业，大数据技术为社会经济活动提供决策依据，提高各个领域的运行效率，提升整个社会经济的集约化程度，对于我国经济发展转型具有重要的推动作用！2016年，由中国首席数据官联盟与网加时代网发起并承办，北京大学信息化与信息管理研究中心、中国新一代IT产业推进联盟、数邦客协办的"影响中国大数据产业进程100人"大型人物专访活动全面启动，被采访对象分别来自政府、产、学、研、企各个领域，他们将从不同角度，不同层面向大家阐述当前大数据产业热点、难点、疑点问题，为中国大数据产业健康、持续发展探索经验、保驾护航，敬请关注！
第二十七期专访人物：中国首席数据官联盟专家组成员，瀚思(HanSight) 联合创始人兼首席执行官 高瀚昭
高瀚昭，中国首席数据官联盟专家组成员，瀚思(HanSight) 联合创始人兼首席执行官，信息安全与大数据领域的连续创业者和全球资深技术领导者，多年来一直致力于将前沿的大数据技术应用于信息安全相关领域，帮助企业和云上的用户实现从"被动防御"到 "主动智能"的转变。曾任天云趋势首席执行官，曾在趋势科技全球多个国家的研发和技术团队担任管理工作，也是趋势科技中国研发中心的早期核心成员之一。
本期特邀嘉宾中国首席数据官联盟发起人鲁四海，就大数据与安全向高瀚昭先生发起提问。
鲁四海：安全问题近几年备受国家和企业重视，在您看来所有企业面临的安全问题有哪些变化？
高瀚昭：近年来，整个安全市场都有着比较大的变化，不管是Gartner、IDC，还是RSA，我们都能感受到目前的安全问题已经从传统"攻防"越来越多的转变成"快速侦测和响应（Detection and Response）"。
传统的安全，我们人为的将信息网络分割成了内网和外网，中间靠防火墙等边界设备把内网与外网隔离开，隔开以后通过很多样的设备和软件，比如杀毒软件、DLP、IPS等等手段进行防御，通过黑名单或白名单的方式将所有的流量、文件、URL等与名单做对比，继而判断好与坏、防或是不防。实际上，这就是整个在IT领域，在安全，信息安全领域，在过去30年都一直做的事儿。
然而近年来，我们发现信息安全领域信息泄漏以及被入侵、被欺诈的事件越来越多。JP Morgan，Target，Sony影业等数据泄漏等事件在国际上影响颇深。而在中国CSDN、天涯、12306、网易、携程事件也让每个人谈起安全即胆战心惊。
为什么会这样呢？传统的方式为什么不再有效呢？为什么全行业都认为防已经防不住了呢？这里我们从两个维度来谈：
第一，传统的模式，不管是什么设备，几乎全部匹配黑名单，利用规则来进行防护。这样的方式好处显而易见--即效率高。但坏处也显而易见--试想如果有黑客利用新的威胁绕过了黑名单的特征库，那么设备几乎透明，而可以被黑客任意为之。因此在这种情况下，名单的规则的方式所能发挥的效果越来越差。同时，维护和更新规则库也是异常痛苦的。我们的一个客户，过去3年，用了几十个工程师，才积累出上百条规则。
第二，传统的模式更的是基于签名和认证，但是后来慢慢发现黑客会找一些弱口令、弱帐户，辅以社会工程（Social Engineering）来进行逐步的渗透，最终提取关键信息。经调查发现，被黑的企业百分之百装了最新的杀毒软件和防木马软件，而且这些软件的签名已经是最新的了，即便如此依旧不能抵挡黑客。再加上很多内部人员搞鬼等人为因素，是根本不经过防火墙的，这个时候问题就更大了。
所以信息安全是在不断演化的：传统的安全1.0，是三十年前的事情了，即单机PC的安全。发展到有了网络时代以后，从90年代至今，那就是整个网络上的攻防，把这个安全从那个单台的设备，变成了全网络的事情。但是近几年我们从种种环节上看其实这个2.0的时代其实已经过去了，现在已经进入到了安全3.0的时代。
什么是安全3.0的时代？新兴的攻防已经产生，更多的问题已经不再是病毒，而是欺诈和APT攻击，也就是说不再是恶作剧了，而是以获取核心代码、商业利益为驱使的网络攻击与犯罪了。。
鲁四海：大数据与安全的结合，在您看来这个现状是怎样的？技术难点是什么？
高瀚昭：由于刚才我们提到的网络安全环境的改变，如果解决这些安全问题的方法也发生了变化。实际上Gartner在三年前就说过传统安全设备，尤其是IDS已经死了。那么未来又是什么样的思路呢？数据为王，我们更多时候需要收集全量的数据，要掌握所有的数据，无论是终端的，还是主机的，还是应用的，还是网络设备的，还是安全设备的，还是第三方来自云上，来自互联网的，这些所有的全量数据，都要进行统一的储存、分析和展现，我们要拿这个数据分析本身，来找到里面的网络流量的异常，用户行为的异常，从而进一步找到未知的安全威胁。这也就成为了大数据和安全结合的初衷也是能有效解决安全问题的根本方法。而这个思路已经是全球主流的安全厂商公认的未来安全的一个主要思路。
两年前，Gartner在一份报道中提到： 2016年，也就是今年，会有1/4的大型企业将用大数据分析信息安全，尤其是分析与欺诈、攻击相关事情，并且他们认为部署很快，而部署6个月就能看到相应的结果呈现。同时，60%的安全预算将从防御转变为侦测与响应。
IDC2015年发布报告指出：基于大数据先进技术产生的价值将会是传统安全产品增长价值的10倍。这也再次证实了大数据安全分析市场的举足轻重的地位。
我们坚信"数据驱动安全"，这是我们愿景和贯彻始终的目标。我们通过收集海量的数据，收集、分析和展现海量的数据，帮助企业可以获得更好的全局可见性和安全洞察力。
大数据安全分析说难也并不是很难，实际上是大数据的跨界，也是安全业务知识、机器学习与算法跨界，整个过程，这三点缺一不可。
这就意味着如果没有大数据和机器学习的能力，那么他还是一个传统的安全厂商，但如果只有大数据的能力，也是不行的，因为我们还需要去分析。分析什么？能解决什么问题？这都是需要在安全领域有多年经验才能知道的。比如我们的安全分析团队，都是10几年的老兵了，在趋势科技等多家顶级安全公司常年从事分析工作。
同时我们一直坚信，未来做安全这件事还得靠机器，不能光靠人去完成。人是排查不过来的，银行每天十几亿条数据怎么可能靠人来看呢？得靠机器来看，用机器来解放人，将这些安全事件能够优先级排出来，因此大数据技术本身的和有效的安全分析、以及在机器学习方面的能力综合才有能力来成就一个有效的大数据安全分析平台。
举个例子，我们有一个专利叫"日志降噪"，可以依靠算法自动将来自不同设备、不同源的同一安全日志和事件做归并，可以几何数量级的简化运维工作量。我们也在美国申请了专利，一定程度上是和美国SumoLogic公司的LogReduce竞争的。我们的一个客户，原来每天要处理30万条设备告警，通过使用"日志降噪"和我们产品内建的事件优先级评价器，最终实现每天只需处理100条左右的事件即可。
另外说到难点，举例机器学习来说，利用机器学习进行大数据分析，其系统是很不容易调整的，通常只有专家才能掌握，实施起来比较困难。通常情况下，机器学习系统得出的结果是一串数字，普通用户很难理解它所代表的意思，因此就需要厂商运用图计算、图数据库，并结合拓扑结构，将数字转化为直观的图形呈现给用户，比如用一个点的大小来表示安全问题是否严重。
鲁四海：您认为一个有效的大数据安全分析平台应该是怎样流程？
高瀚昭：从我们HanSight的角度来第一步还是数据采集。不管是来自哪里的日志，这都是我们主要的数据来源。应用日志、主机的日志、设备日志等等，还包括安全事件，防火墙，IDS/IPS产生一系列的倒记忆，一切的事件，还包括一些网络的流量，我们全都汇总到大数据平台，我们以一个全量存储的一个形式，把它放置，然后在这上面再不断的再做不同的模型来做一些新的威胁的匹配，包括我们也在上面，我们是基于spark做了很多传统的算法，运行化的改进让那些算法能够更多的支撑到在并行化的spark环境中，能够高性能的来跑，这样的话可以提高一个整个安全分析的性能。当然在安全分析领域，还需要有一些以威胁为导向，以资产为导向，以链条为导向的一些分析方法，将这些东西快速的展现出来，并且做决策。
同时，外部安全情报（Threat Intelligence）也是非常重要的数据源，在这方面，HanSight做了很多的工作，比如我们实时获取全互联网每天新注册的域名，并且预测哪些会是恶意域名；我们自身也积累了最新的千万级的安全情报库，涉及恶意域名、IP、病毒/木马行为等，可以帮助客户第一时间发现安全问题。
鲁四海：大数据安全分析平台会成为哪些行业的刚需？
高瀚昭：实际上安全问题并不分行业，任何行业，任何企业每天都在面临安全威胁。但是从目前来看需要用到大数据安全分析平台更多则是一些大型企业，也就是说其已经具备了一定的数据量。
举例来说，银行现在都在做数据大集中，因为通常情况下银行一天的网银日志数据量就达数TB，而这么庞大的数据以前从来没有得到过有效分析。现在有了趁手的大数据分析工具，银行非常积极地利用这些日志数据进行业务分析、运维分析和安全分析。
因此像像银行、电力、运营商、公安等行业的客户，在其业务发展到一定规模后，深知安全性对其业务发展的重要性，所以对大数据安全有强烈的需求。而这项技术也一定会率先被这些行业客户有效利用起来。
联系我们请点击：
数邦客
