计算机的基本工作就是处理数据，包括磁盘文件中的数据，通过网络传输的数据流或数据包，数据库中的结构化数据等。分布式环境中进行大数据处理，除了与存储系统打交道外，还涉及计算任务的分工，计算负荷的分配，计算机之间的数据迁移等工作，并且要考虑计算机或网络发生故障时的数据安全，情况要复杂得多。
分布式文件系统是大型分析非常重要的一环。即使你是在使用Spark，你仍然需要将大量的数据快速的存入内存，所以文件系统一定要可以是高速率的。但是，HDFS并不像它标榜的那样好，它是大数据分析的薄弱环节。
了解更多信息请关注官方微信
数邦客
