据国际知名咨询公司麦肯锡的报告显示：在大数据应用综合价值潜力方面，信息技术、金融保险、政府及批发贸易四大行业潜力最高。具体到行业内每家公司的数据量来看，信息、金融保险、计算机及电子设备、公用事业四类的数据量最大。
以色列历史学家、现象级畅销书作家尤瓦尔·赫拉利推出最新作品《今日简史：人类命运大议题》，提出人工智能和生物技术正在颠覆原有的社会结构和分配方式，数据成为21世纪最重要的资产。数据巨头们现在评估APP和产品的标准已经不是能赚多少钱，而是能收集到多少数据。有些产品哪怕不赚钱，甚至短期内亏损，但只要能获得数据，就价值连城。所以，不管数据有什么用，最好先有了再说，因为这可能就是控制和塑造未来生活的关键。
一。大数据的定义及特点
业界（IBM 最早定义）将大数据的特征归纳为4个“V”（量Volume，多样Variety，价值Value，速Velocity）：
数据量（Volume）
海量性也许是与大数据最相关的特征。
多样性（Variety）
数据类型繁多。比如，网络日志、视频、图片、地理位置信息等等。大数据既包括以事务为代表的传统结构化数据，还包括以网页为代表的半结构化数据和以视频、语音信息为代表的非结构化数据。
数据价值（Value）
大数据的体量巨大，但数据中的价值密度却很低。
动态性（Velocity）
大数据要求能够快速处理数据，时效性强，要进行实时或准实时的处理。
“互联网+”之后，随着世界正快速兴起“大数据+”，大数据特征增加到“5个V”。在数量（Volume）、速度（Velocity）、种类（Variety）基础上，进一步完善了价值（Value）和真实性（Veracity），真实性包括数据的可信性、来源和信誉、有效性和可审计性等。
大数据是什么？投资者眼里是金光闪闪的两个字：资产。比如，Facebook上市时，评估机构评定的有效资产中大部分都是其社交网站上的数据。如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。
Viktor Mayer-Schonberge and Kenneth Cukier《Big Data》 有诸多例子都在说明一个道理，在大数据时代已经到来的时候要用大数据思维去发掘大数据的潜在价值。Google如何利用人们的搜索记录挖掘数据二次利用价值，比如预测某地流感爆发的趋势;Amazon如何利用用户的购买和浏览历史数据进行有针对性的书籍购买推荐，以此有效提升销售量;Farecast如何利用过去十年所有的航线机票价格打折数据，来预测用户购买机票的时机是否合适。Target 超市以20多种怀孕期间孕妇可能会购买的商品为基础，将所有用户的购买记录作为数据来源，通过构建模型分析购买者的行为相关性，能准确的推断出孕妇的具体临盆时间，这样Target的销售部门就可以有针对的在每个怀孕顾客的不同阶段寄送相应的产品优惠卷。
二。大数据在金融领域的应用
金融行业犹如国民经济的血脉，渗入市场的各个环节，与宏观经济和微观经济生活都密切相关，而中国拥有14亿的庞大人口，社会生活多元化，需求多元化。国务院颁布的《推进普惠金融发展规划（2016—2020年）》提到，鼓励金融机构运用大数据、云计算等新兴信息技术，打造互联网金融服务平台。金融行业是大数据的先行者，国内监管部门、金融机构经过多年发展与积累，已经拥有海量数据，而且数据量还在不断增长。随着大数据技术和应用的日趋深入，大数据理念渐入人心。
摘自《推进普惠金融发展规划（2016—2020年）》
大数据能够充分利用金融市场形成的海量数据来挖掘用户需求、评价用户信用、管理融资风险等。金融大数据主要运用于金融监管、经营管理、投资操作等三大领域。金融行业的大数据运用能力更是能够帮助监管机构、经营机构及投资者在多个方面得到有效提升。
金融监管
大数据时代的金融监管将是一个精确化的金融监管，大数据为金融监管部门提供了全新的风险管理方式。传统的监管方式通常是监管部门制定系列的监管规定、规范，并按照各规定的要求，定期或不定期对金融机构进行检查，或通过各类线索对违规行为进行调查，从而约束经营机构的行为。不过传统的监管方式存在滞后性，通常是一种事后监管，不能非常好的实现事前预防。此外，传统的监管方式很难做到个性化、差异化监管，不可避免会出现“一刀切”的问题。
而金融大数据可以让金融监管发挥更大的效力。先进的信息系统可以及时检测金融市场与企业的动态大数据。多渠道的信息数据来源可以降低监管面对的信息不对称难题。通过机器学习可以构建智能监管监测系统，从而提高监管的有效性、及时性、低成本性。
经营管理
在金融业融合发展与大数据时代背景下，经营机构都重点关注如何运用大数据提升经营管理能力。金融大数据的运用可以为经营机构提升客户管理、产品管理、营销管理、系统管理、风险管理、内部管理及优化等诸多方面。
利用大数据提升经营管理的另一个表现是智能投顾的发展。在精准分析客户的基础上，结合金融大数据分析，可以对金融市场上的投资标的风险性、流动性、复杂性、收益预判等进行综合分析，从而为客户快速匹配投资标的，分散投资风险，并实现个性化的投资策略定制。
投资操作
程序化交易的运用可以说是投资者对金融大数据运用的一个最重要体现。程序化交易是一种将交易策略交给计算机进行处理、判断和执行的交易方式。随着交易行情和交易数据的快速增长，数据的体量和来源不断增多，从如此巨大、繁杂的数据筛选、分析和进一步判断已然成为难题，而机器人的数据挖掘和学习则可以有效地解决这一难题，从而为投资者提升数据分析和交易处理能力。
2017年5月，中国人民银行成立金融科技委员会，旨在加强金融科技工作的研究规划和统筹协调。在未来，金融将是数据驱动型的金融，大数据技术的广泛应用，对我国金融生态和金融格局必然会产生深刻的影响，大数据时代催生了众多新的金融服务模式，将大大推动我国金融行业的发展，金融行业一定要紧抓时代机遇，拥抱大数据时代的金融创新与变革。
摘自《搜狐财经》
三。挖掘数据的价值及应用的技术难点
Viktor Mayer-Schonberge and Kenneth Cukier《Big Data》中指出，基于大数据形成决策的模式已经为不少的企业带来了盈利和声誉。从大数据的价值链条来分析，存在三种模式：
1.手握大数据，但是没有利用好；比较典型的是金融机构，电信行业，政府机构等。
2.没有数据，但是知道如何帮助有数据的人利用它；比较典型的是IT咨询和服务企业，比如，埃森哲，IBM，Oracle等。
3.既有数据，又有大数据思维；比较典型的是Google，Amazon，Mastercard等。
摘自《Big data》
在金融企业天然具有海量数据，也纷纷重金投入到自身“数据仓储”的建设中，但是在数据的价值挖掘和应用上痛点很多。由于基础数据没有进行大数据化处理，无法进行数据分析；因数据维度不全，无法进行精准的客户画像；内部数据与外部数据难以打通等。因此，很多金融企业虽然拥有海量数据，但是无法使用，或者不知如何使用。
摘自《经济参考报》
搜集到的数据并不代表都是大数据，还要看你如何来分析利用。即便AI和机器人拥有了大量数据，它们得出的结论也不一定能反映真实世界的情况。关于这一点，前谷歌数据科学家赛斯·戴威维茨在他2017年的畅销书《人人说谎》中谈到，数据应用有一个最大的陷阱，叫 The curse of dimensionality，翻译过来叫做“维数灾难”。
简单来说，就是当一个数据受到非常多变量影响的时候，总有那么一两个变量能和这个数据的结果相吻合。但结论往往是，这两个变量和你想研究的数据并没有任何因果关系。比如，研究股市的时候，有人曾发现某些Twitter关键词完全符合股市的走向；或者在研究遗传基因的时候，发现高智商人的某个基因与别人不同。但经过长期的观察，却发现这些因素是千万种数据排列组合中的巧合。所以，人类并不能用
Twitter来预测股市的走势，或者用某个基因来预测人类的智商。对于股市或智商等极度复杂的问题，利用数据来预测因果关系的方法还远远不够成熟。而且，数据主义背后的逻辑是实证主义，也就是根据已知现象来认识现实。从这个角度来说，就算AI和机器人收集了全球所有的数据，它们仍难以洞察人心的复杂与深邃。前谷歌数据科学家赛斯·斯蒂芬斯大卫德维茨指出，“大数据具备四种不同寻常的力量”，能够彻底改写微观经济学、社会学、政治学以及计量心理学等学科的研究方式。
大数据渐渐向人们展现了它为学术、工业和政府带来的巨大机遇。与此同时，大数据也向参与的各方提出了巨大的挑战，首先是大数据技术面临的三个重要问题：
一、如何利用信息技术等手段处理非结构化和半结构化数据
大数据中，结构化数据只占 15%左右，其余的 85%都是非结构化的数据，它们大量存在于社交网络、互联网和电子商务等领域。另一方面，也许有 90%的数据来自开源数据，其余的被存储在数据库中。大数据的不确定性表现在高维、多变和强随机性等方面。
值得注意的是，大数据每一种表示形式都仅呈现数据本身的侧面表现，并非全貌。如果把通过数据挖掘提取 “粗糙知识” 的过程称为 “一次挖掘” 过程，那么将粗糙知识与被量化后主观知识，包括具体的经验、常识、本能、情境知识和用户偏好，相结合而产生“智能知识”过程就叫做“二次挖掘”。从“一次挖掘”到“二次挖掘”类似事物“量”到“质” 的飞跃。
由于大数据所具有的半结构化和非结构化特点，基于大数据的数据挖掘所产生的结构化的 “粗糙知识”（潜在模式）也伴有一些新的特征。这些结构化的粗糙知识可以被主观知识加工处理并转化，生成半结构化和非结构化的智能知识。寻求 “智能知识” 反映了大数据研究的核心价值。
二、如何探索大数据复杂性、不确定性特征描述的刻画方法及大数据的系统建模
这一问题的突破是实现大数据知识发现的前提和关键。大数据的复杂形式导致许多对 “粗糙知识” 的度量和评估相关的研究问题。已知的最优化、数据包络分析、期望理论、管理科学中的效用理论可以被应用到研究如何将主观知识融合到数据挖掘产生的粗糙知识的 “二次挖掘” 过程中。这里人机交互将起到至关重要的作用。
三、数据异构性与决策异构性的关系对大数据知识发现与管理决策的影响
由于大数据本身的复杂性，这一问题无疑是一个重要的科研课题，对传统的数据挖掘理论和技术提出了新的挑战。在大数据环境下，管理决策面临着两个 “异构性” 问题：“数据异构性” 和 “决策异构性”。传统的管理决定模式取决于对业务知识的学习和日益积累的实践经验，而管理决策又是以数据分析为基础的。
大数据已经改变了传统的管理决策结构的模式。研究大数据对管理决策结构的影响会成为一个公开的科研问题。除此之外，决策结构的变化要求人们去探讨如何为支持更高层次的决策而去做 “二次挖掘”。无论大数据带来了哪种数据异构性，大数据中的 “粗糙知识” 仍可被看作 “一次挖掘” 的范畴。通过寻找 “二次挖掘” 产生的 “智能知识” 来作为数据异构性和决策异构性之间的桥梁是十分必要的。探索大数据环境下决策结构是如何被改变的，相当于研究如何将决策者的主观知识参与到决策的过程中。
摘自《搜狐财经》
四。美好未来的隐患
我们先看看大数据在当下有怎样的杰出表现：
大数据帮助政府实现市场经济调控、公共卫生安全防范、灾难预警、社会舆论监督;
大数据帮助城市预防犯罪，实现智慧交通，提升紧急应急能力;
大数据帮助医疗机构建立患者的疾病风险跟踪机制，帮助医药企业提升药品的临床使用效果，帮助艾滋病研究机构为患者提供定制的药物;
大数据帮助航空公司节省运营成本，帮助电信企业实现售后服务质量提升，帮助保险企业识别欺诈骗保行为，帮助快递公司监测分析运输车辆的故障险情以提前预警维修，帮助电力公司有效识别预警即将发生故障的设备;
大数据帮助电商公司向用户推荐商品和服务，帮助旅游网站为旅游者提供心仪的旅游路线，帮助二手市场的买卖双方找到最合适的交易目标，帮助用户找到最合适的商品购买时期、商家和最优惠价格;
大数据帮助企业提升营销的针对性，降低物流和库存的成本，减少投资的风险，以及帮助企业提升广告投放精准度;
大数据帮助娱乐行业预测歌手，歌曲，电影，电视剧的受欢迎程度，并为投资者分析评估拍一部电影需要投入多少钱才最合适，否则就有可能收不回成本;
大数据帮助社交网站提供更准确的好友推荐，为用户提供更精准的企业招聘信息，向用户推荐可能喜欢的游戏以及适合购买的商品。
其实，这些还远远不够，未来大数据的身影应该无处不在，就算无法准确预测大数据，因大数据而产生的变革浪潮也会淹没地球的每一个角落。
比如，Amazon的最终期望是：“最成功的书籍推荐应该只有一本书，就是用户要买的下一本书。”
Google也希望当用户在搜索时，最好的体验是搜索结果只包含用户所需要的内容，而这并不需要用户给予Google太多的提示。
某种程度上说，大数据创造了一种新业态和新模式，给人们提供了前所未有的便捷，甚至在网络政务方面创造众多奇迹，然而这些并不意味着大数据就是无可指责的。
大数据收集和利用没有规范，表面上看，有企业不够自律的原因。但这也是他们处于灰色地带有关。目前，无论是《网络安全法》，还是政府对个人信息的司法解释，虽然明确大力惩治关于公民个人信息的犯罪活动，但是更多还是集中在数据买卖环节的“灰色产业链”上面，对大数据一笔带过。相对来说，大数据还有很多细节需要界定，比如从采集到应用的各个关节上，包括数据质量、数据隐私以及数据采集范围等多个方面。
在欧盟制定的对于专门保护个人数据权利的法律中，提出了“被遗忘权”的概念，体现在某种事实层面上。也就是说，用户在软件上可以选择注销，然后让企业删除数据，把你遗忘。但是在中国，遗忘是件极其困难的事情，很少软件提供注销功能。这些并没有什么技术难度，而是企业愿不愿意做的问题，由此可见，大众对隐私意识的匮乏以及法律惩戒力的不足。
随着互联网和社会的发展，越来越多的企业加入竞争，大数据已经被当作一种核心资产和商业模式，被程度不一的进行挖掘着。这里既有创新力的表现，也意味着复杂的挑战，除了希望企业形成良好的自律意识外，还需要相关法律法规进行有效的引导和管理。今年全国两会，多名代表委员提出的“个人信息安全法”是一个很好的办法。企业对于个人信息的使用究竟该遵循哪些强制规定，信息泄漏后的相关追责机制如何完善，最终还是需要依赖于建立起完善的个人信息安全监管机制。
联系我们请点击：
数邦客
