Sparkの研究

Apache Sparkは、ビッグデータ分析に特化したAMPLab（UC Berkeley）で研究プロジェクトとして始まりました。

私たちの目標は、MapReduceよりもはるかに広範なクラスのアプリケーションをサポートし、かつ自動的な耐障害性を維持するプログラミングモデルを設計することでした。特に、MapReduceは、複数の並列操作間で低レイテンシのデータ共有を必要とするマルチパスアプリケーションには非効率的です。これらのアプリケーションは分析において一般的であり、以下のようなものを含みます。

• 反復アルゴリズム。多くの機械学習アルゴリズムやPageRankのようなグラフアルゴリズムを含みます。
• インタラクティブなデータマイニング。ユーザーがクラスター全体にわたってデータをRAMにロードし、繰り返しクエリを実行したい場合。
• ストリーミングアプリケーション。時間の経過とともに集計状態を維持するもの。

従来のMapReduceとDAGエンジンは、非巡回データフローに基づいているため、これらのアプリケーションには最適ではありません。アプリケーションは一連の個別のジョブとして実行する必要があり、各ジョブは安定ストレージ（例：分散ファイルシステム）からデータを読み取り、安定ストレージに書き戻します。各ステップでデータをロードし、レプリケートされたストレージに書き戻すことにかなりのコストがかかります。

Sparkは、これらのアプリケーションを効率的にサポートするために、弾力性分散データセット（RDD）と呼ばれる抽象化を提供します。RDDは、レプリケーションを必要とせずに、クエリ間でメモリに格納できます。代わりに、RDDは lineage を使用して障害発生時に失われたデータを再構築します。各RDDは、他のデータセットからどのように構築されたか（`map`、`join`、`groupBy`などの変換によって）を記憶しており、それ自体を再構築できます。RDDにより、Sparkはマルチパス分析において既存のモデルよりも最大100倍高速に実行できます。RDDは、さまざまな反復アルゴリズム、インタラクティブなデータマイニング、および非常に効率的なSQLエンジン（Shark）をサポートできることを示しました。

Sparkの背後にある研究の詳細については、以下の論文を参照してください。

• SparkR: Scaling R Programs with Spark, Shivaram Venkataraman, Zongheng Yang, Davies Liu, Eric Liang, Hossein Falaki, Xiangrui Meng, Reynold Xin, Ali Ghodsi, Michael Franklin, Ion Stoica, and Matei Zaharia. SIGMOD 2016. June 2016.
• MLlib: Machine Learning in Apache Spark, Xiangrui Meng, Joseph Bradley, Burak Yavuz, Evan Sparks, Shivaram Venkataraman, Davies Liu, Jeremy Freeman, DB Tsai, Manish Amde, Sean Owen, Doris Xin, Reynold Xin, Michael J. Franklin, Reza Zadeh, Matei Zaharia, and Ameet Talwalkar. Journal of Machine Learning Research (JMLR). 2016.
• Spark SQL: Relational Data Processing in Spark. Michael Armbrust, Reynold S. Xin, Cheng Lian, Yin Huai, Davies Liu, Joseph K. Bradley, Xiangrui Meng, Tomer Kaftan, Michael J. Franklin, Ali Ghodsi, Matei Zaharia. SIGMOD 2015. June 2015.
• GraphX: Unifying Data-Parallel and Graph-Parallel Analytics. Reynold S. Xin, Daniel Crankshaw, Ankur Dave, Joseph E. Gonzalez, Michael J. Franklin, Ion Stoica. OSDI 2014. October 2014.
• Discretized Streams: Fault-Tolerant Streaming Computation at Scale. Matei Zaharia, Tathagata Das, Haoyuan Li, Timothy Hunter, Scott Shenker, Ion Stoica. SOSP 2013. November 2013.
• Shark: SQL and Rich Analytics at Scale. Reynold S. Xin, Joshua Rosen, Matei Zaharia, Michael J. Franklin, Scott Shenker, Ion Stoica. SIGMOD 2013. June 2013.
• Discretized Streams: An Efficient and Fault-Tolerant Model for Stream Processing on Large Clusters. Matei Zaharia, Tathagata Das, Haoyuan Li, Scott Shenker, Ion Stoica. HotCloud 2012. June 2012.
• Shark: Fast Data Analysis Using Coarse-grained Distributed Memory (demo). Cliff Engle, Antonio Lupher, Reynold S. Xin, Matei Zaharia, Haoyuan Li, Scott Shenker, Ion Stoica. SIGMOD 2012. May 2012. Best Demo Award.
• Resilient Distributed Datasets: A Fault-Tolerant Abstraction for In-Memory Cluster Computing. Matei Zaharia, Mosharaf Chowdhury, Tathagata Das, Ankur Dave, Justin Ma, Murphy McCauley, Michael J. Franklin, Scott Shenker, Ion Stoica. NSDI 2012. April 2012. Best Paper Award.
• Spark: Cluster Computing with Working Sets. Matei Zaharia, Mosharaf Chowdhury, Michael J. Franklin, Scott Shenker, Ion Stoica. HotCloud 2010. June 2010.