本节书摘来自华章计算机《Spark与Hadoop大数据分析》一书中的第2章，第2.5节,作者：文卡特·安卡姆（Venkat Ankam） 更多章节内容可以访问云栖社区“华章计算机”公众号查看。

2.5　小结

Apache Hadoop 提供了一个用于大数据存储的可靠且可扩展的框架（HDFS），以及一个用于运行和管理多个大数据应用程序的强大集群资源管理框架（YARN）。Apache Spark 提供了大数据处理的内存级性能，以及用于交互式探索性分析、实时分析、机器学习和图分析的库和 API。虽然 MR 是 Hadoop 上的主要处理引擎，但它有很多缺点，例如性能较差和设计应用程序时不够灵活。Apache Spark 是 MR 的替代品。所有基于 MR 的工具（如 Hive、Pig、Mahout 和 Crunch 等）已经开始把 Apache Spark 作为除 MR 之外的附加执行引擎。