实际上，与数据的规模相比，数据的质量、价值和多样性更值得关注，即数据的“深度”重于“广度”。本文从四个角度思考了大数据时代的问题并提出了一些建议的做法以改善这些问题。
作为国内最大的电商平台之一，苏宁每天要处理数量巨大的数据。为了更快速高效地处理这些数据，苏宁调度平台采取了哪些措施呢？
本文是苏宁大数据离线任务开发调度平台实践系列文章之上篇，详解苏宁的任务调度模块。
在机器学习领域一直有一个基础性的误解，即更大的数据会产生更好的学习效果。然而，更大的数据并不一定意味着能发现更深刻的信息。实际上，与数据的规模相比，数据的质量、价值和多样性更值得关注，即数据的“深度”重于“广度”。本文从四个角度思考了大数据时代的问题并提出了一些建议的做法以改善这些问题。
最近一段时间，对大数据的炒作正在减弱。云计算，Hadoop 及其他类似的工具已经有效地解决了大数据的处理问题。但是，仍有大部分人愿意在基础设施上加大投资力度，以期望处理、保存和组织这些大型数据库。一味的地追求“大”，会在基础设施和人力资源方面产生一定程度上的不必要成本。
而现在，是时候将热点从“大数据”改为“深数据”了。如今，我们对待数据应当更加深思熟虑，而不是不加筛选地收集所有可获得的数据来实现“大数据”。我们现在需要让一些数据落实到位，并寻求数量和质量的多样性。这一举措将带来许多长期利益。
四种大数据神话
要理解从“大”到“深”的这种转变，首先让我们看一下对大数据的一些错误观念。以下是一些严重夸大的大数据神话：
所有数据都可以并且应当被捕获和存储。
更多的数据总是有助于建立更准确的预测模型。
储存更多数据的成本几乎为零。
计算更多数据的成本几乎为零。
然而：
来自物联网和网络流量的数据显然超过了我们的捕获能力。很多数据都需要在获取时进行预处理以便储存和管理。我们需要依照其价值对数据进行分类与筛选。
重复使用一千次相同的数据进行训练并不会提高预测模型的准确性。
存储更多数据的成本不仅仅是亚马逊网络服务向您收取的以 TB 计费的美元。同时也包括系统在查找和管理多个数据源的额外复杂性，以及员工移动和使用该数据的“虚拟重量”。这些成本通常高于存储和计算费用。
人工智能算法对计算资源的需求会快速超越弹性云基础设施所能提供的算力。在没有专业的管理策略的情况下，计算资源会呈线性增长，而计算需求则会出现超线性增长，甚至指数级增长。
如果轻信了这些神话，你所构建的信息系统可能看起来会像是纸上谈兵，或从长期角度看起来很好，但在即时性的框架中实现起来则是复杂且低效的。
四种大数据问题
以下是在数据方面盲目相信“越多越好”会导致的四个问题：
重复的数据对模型无益。在为 AI 构建机器学习模型时，训练样本的多样性至关重要。原因是模型试图确定概念边界。例如，如果您的模型试图通过年龄和职业来定义“退休工人”的概念，那么像“32 岁的注册会计师”这样的重复样本对该模型并没有什么价值，因为这些人大都没有退休。在 65 岁的概念边界中获得样本并了解退休如何随职业而变化则更具有价值。
低质量数据会对模型有害。在 AI 试图学习两个概念之间边界的过程中，如果新数据是不精确的，或存在错误，那么它会混淆这个边界。在这种情况下，更多数据无济于事，并且还有可能会降低现有模型的准确性。
大数据增加了时间成本。对于不同学习算法，在 TB 级的数据上构建模型可能会比在数 GB 的数据上构建模型多花费约千倍、甚至万倍的时间。数据科学本就是快速实验，虽不完美却轻量的模型更具有前景。数据科学一旦失去了速度，则失去了未来。
大数据环境下易于实现的模型。任何预测模型的最终目的都是创建一个可用于商业部署的高度准确的模型。有时使用来自数据库深处阴暗面的模糊数据可能会产生更高的准确性，但所使用的数据对于实际部署可能是有风险的。使用一个不太准确却可以快速部署和运行的模型往往更好。
四种更好的措施
您可以采取一些措施来对抗大数据的“阴暗面”并转为深度数据思维：
学会在准确性和执行性之前权衡。数据科学家普遍喜欢将目标定为更准确的模型。实际上，你应当根据准确性和部署速度，计算合理的 ROI 期望，然后再开始你的项目。
使用随机样本构建每个模型。如果你已经获得了大数据，那么没有理由不使用它。如果可以使用好的随机抽样方法，那么你可以先使用小样本建立模型，然后在整个数据库上进行训练和调试以获得更准确的预测模型。
丢弃一些数据。如果您对来自物联网设备和其他来源的流数据感到不知所措，请抛弃一些数据，不要有太大的负担。如果你无法购买足够的磁盘来存储多余的数据，它会破坏你在数据科学生产线后期的所有工作。
寻找更多数据源。人工智能最近的许多突破并不是因为更大的数据集，而是能够将机器学习算法成功的运用于这些数据，这在之前是无法实现的。例如，如今普遍存在的大型文本，图像，视频和音频数据集在二十年前并不存在。你应当不断寻找新的数据以找到更好的机会。
四种得到的改善
如果您专注于深度数据而不仅仅是数据的广度，您将享受到许多好处。以下是一些关键问题：
一切都会更快。使用较小的数据，您的数据迁移、实验、训练和模型测试都会快得多。
更少的存储和计算需求。专注于深度数据意味着您将更加智能地使用更小的磁盘以及云平台占用空间。这将为你节省一笔可观的基础设施成本，用你节省的资金聘请更多数据科学家和 AI 专家吧！
低压的 IT 人员和更高幸福感的数据科学家。凭借深厚的数据文化，您的 IT 团队将不会愿意听从数据科学家的意见行事，或者不得不终止所有因沉浸于云资源而失控的作业。同样，当数据科学家花费更多时间构建和测试模型，而不是将这些时间消耗在迁移数据或等待长时间的训练过程时，他们会更加高兴。
更难的问题可以解决。构建 AI 模型并不是一种神奇的体验，只能由类似巫师的研究人员执行。事实上，逻辑远比魔术更重要。这类似于一位艺术老师的故事，他告诉半个班级，他们的成绩将取决于他们制作的艺术品的数量，另一半的成绩将根据他们最好的作品的质量进行评分。很多学生都创造了大量的艺术品，并且令人震惊的是，这些艺术品的质量也都不差。数量和质量很多时候并不矛盾。这则例子是想说明：在相同资源约束下尝试的更多模型可能意味着可以获得质量更高的模型。
许多公司的决策过程都在逐渐转变为数据驱动的方式，这与大数据及其技术方面的突破密不可分。随着人工智能的兴起以及对这些强大资源的处理能力的饱和，我们现在需要更加精确地根据我们的数据需求建立一种理解深度数据而不仅仅是广度数据的文化。实际上，与数据的规模相比，数据的质量、价值和多样性更值得关注，即数据的“深度”重于“广度”。本文从四个角度思考了大数据时代的问题并提出了一些建议的做法以改善这些问题。
作为国内最大的电商平台之一，苏宁每天要处理数量巨大的数据。为了更快速高效地处理这些数据，苏宁调度平台采取了哪些措施呢？
本文是苏宁大数据离线任务开发调度平台实践系列文章之上篇，详解苏宁的任务调度模块。
在机器学习领域一直有一个基础性的误解，即更大的数据会产生更好的学习效果。然而，更大的数据并不一定意味着能发现更深刻的信息。实际上，与数据的规模相比，数据的质量、价值和多样性更值得关注，即数据的“深度”重于“广度”。本文从四个角度思考了大数据时代的问题并提出了一些建议的做法以改善这些问题。
最近一段时间，对大数据的炒作正在减弱。云计算，Hadoop 及其他类似的工具已经有效地解决了大数据的处理问题。但是，仍有大部分人愿意在基础设施上加大投资力度，以期望处理、保存和组织这些大型数据库。一味的地追求“大”，会在基础设施和人力资源方面产生一定程度上的不必要成本。
而现在，是时候将热点从“大数据”改为“深数据”了。如今，我们对待数据应当更加深思熟虑，而不是不加筛选地收集所有可获得的数据来实现“大数据”。我们现在需要让一些数据落实到位，并寻求数量和质量的多样性。这一举措将带来许多长期利益。
四种大数据神话
要理解从“大”到“深”的这种转变，首先让我们看一下对大数据的一些错误观念。以下是一些严重夸大的大数据神话：
所有数据都可以并且应当被捕获和存储。
更多的数据总是有助于建立更准确的预测模型。
储存更多数据的成本几乎为零。
计算更多数据的成本几乎为零。
然而：
来自物联网和网络流量的数据显然超过了我们的捕获能力。很多数据都需要在获取时进行预处理以便储存和管理。我们需要依照其价值对数据进行分类与筛选。
重复使用一千次相同的数据进行训练并不会提高预测模型的准确性。
存储更多数据的成本不仅仅是亚马逊网络服务向您收取的以 TB 计费的美元。同时也包括系统在查找和管理多个数据源的额外复杂性，以及员工移动和使用该数据的“虚拟重量”。这些成本通常高于存储和计算费用。
人工智能算法对计算资源的需求会快速超越弹性云基础设施所能提供的算力。在没有专业的管理策略的情况下，计算资源会呈线性增长，而计算需求则会出现超线性增长，甚至指数级增长。
如果轻信了这些神话，你所构建的信息系统可能看起来会像是纸上谈兵，或从长期角度看起来很好，但在即时性的框架中实现起来则是复杂且低效的。
四种大数据问题
以下是在数据方面盲目相信“越多越好”会导致的四个问题：
重复的数据对模型无益。在为 AI 构建机器学习模型时，训练样本的多样性至关重要。原因是模型试图确定概念边界。例如，如果您的模型试图通过年龄和职业来定义“退休工人”的概念，那么像“32 岁的注册会计师”这样的重复样本对该模型并没有什么价值，因为这些人大都没有退休。在 65 岁的概念边界中获得样本并了解退休如何随职业而变化则更具有价值。
低质量数据会对模型有害。在 AI 试图学习两个概念之间边界的过程中，如果新数据是不精确的，或存在错误，那么它会混淆这个边界。在这种情况下，更多数据无济于事，并且还有可能会降低现有模型的准确性。
大数据增加了时间成本。对于不同学习算法，在 TB 级的数据上构建模型可能会比在数 GB 的数据上构建模型多花费约千倍、甚至万倍的时间。数据科学本就是快速实验，虽不完美却轻量的模型更具有前景。数据科学一旦失去了速度，则失去了未来。
大数据环境下易于实现的模型。任何预测模型的最终目的都是创建一个可用于商业部署的高度准确的模型。有时使用来自数据库深处阴暗面的模糊数据可能会产生更高的准确性，但所使用的数据对于实际部署可能是有风险的。使用一个不太准确却可以快速部署和运行的模型往往更好。
四种更好的措施
您可以采取一些措施来对抗大数据的“阴暗面”并转为深度数据思维：
学会在准确性和执行性之前权衡。数据科学家普遍喜欢将目标定为更准确的模型。实际上，你应当根据准确性和部署速度，计算合理的 ROI 期望，然后再开始你的项目。
使用随机样本构建每个模型。如果你已经获得了大数据，那么没有理由不使用它。如果可以使用好的随机抽样方法，那么你可以先使用小样本建立模型，然后在整个数据库上进行训练和调试以获得更准确的预测模型。
丢弃一些数据。如果您对来自物联网设备和其他来源的流数据感到不知所措，请抛弃一些数据，不要有太大的负担。如果你无法购买足够的磁盘来存储多余的数据，它会破坏你在数据科学生产线后期的所有工作。
寻找更多数据源。人工智能最近的许多突破并不是因为更大的数据集，而是能够将机器学习算法成功的运用于这些数据，这在之前是无法实现的。例如，如今普遍存在的大型文本，图像，视频和音频数据集在二十年前并不存在。你应当不断寻找新的数据以找到更好的机会。
四种得到的改善
如果您专注于深度数据而不仅仅是数据的广度，您将享受到许多好处。以下是一些关键问题：
一切都会更快。使用较小的数据，您的数据迁移、实验、训练和模型测试都会快得多。
更少的存储和计算需求。专注于深度数据意味着您将更加智能地使用更小的磁盘以及云平台占用空间。这将为你节省一笔可观的基础设施成本，用你节省的资金聘请更多数据科学家和 AI 专家吧！
低压的 IT 人员和更高幸福感的数据科学家。凭借深厚的数据文化，您的 IT 团队将不会愿意听从数据科学家的意见行事，或者不得不终止所有因沉浸于云资源而失控的作业。同样，当数据科学家花费更多时间构建和测试模型，而不是将这些时间消耗在迁移数据或等待长时间的训练过程时，他们会更加高兴。
更难的问题可以解决。构建 AI 模型并不是一种神奇的体验，只能由类似巫师的研究人员执行。事实上，逻辑远比魔术更重要。这类似于一位艺术老师的故事，他告诉半个班级，他们的成绩将取决于他们制作的艺术品的数量，另一半的成绩将根据他们最好的作品的质量进行评分。很多学生都创造了大量的艺术品，并且令人震惊的是，这些艺术品的质量也都不差。数量和质量很多时候并不矛盾。这则例子是想说明：在相同资源约束下尝试的更多模型可能意味着可以获得质量更高的模型。
许多公司的决策过程都在逐渐转变为数据驱动的方式，这与大数据及其技术方面的突破密不可分。随着人工智能的兴起以及对这些强大资源的处理能力的饱和，我们现在需要更加精确地根据我们的数据需求建立一种理解深度数据而不仅仅是广度数据的文化。
联系我们请点击：
数邦客
