Spark リリース 1.3.1

Spark 1.3.1 は、安定性修正を含むメンテナンスリリースです。このリリースは、Spark の branch-1.3 メンテナンスブランチに基づいています。すべての 1.3.0 ユーザーに、この安定版リリースへのアップグレードを推奨します。このリリースには 60 人の開発者が貢献しました。

Spark 1.3.1 をダウンロードするには、ダウンロードページをご覧ください。

修正点

Spark 1.3.1 には、Spark SQL のいくつかのバグ修正と、その他のコンポーネントのさまざまな修正が含まれています。以下に、より重要な修正の一部をハイライトします。完全な修正リストについては、Spark の課題追跡システムをご覧ください。

Spark SQL

• DDL で予約語を使用できない (SPARK-6250)
• Parquet がメタデータをキャッシュしなくなる (SPARK-6575)
• 2 つの Parquet テーブルを結合する際のバグ (SPARK-6851)
• Spark 1.1.1 によって生成された Parquet データを読み込めない (SPARK-6315)
• Parquet データソースで誤った Hadoop FileSystem が使用される可能性 (SPARK-6330)

Spark Streaming

• WAL 回復中のデータ損失の可能性 (SPARK-6222)

PySpark

• collect を呼び出す際のプログラムハングの可能性 (SPARK-6667)

Spark Core

• Netty シャッフルでのスレッドセーフティの問題 (SPARK-6578)
• 出力コミッターマップでのメモリリーク (SPARK-6737)
• ローカルディレクトリが NFS で実行されている場合にファイルを取得できない (SPARK-6313)
• ジョブグループの混合を使用しながらキャンセルすると NPE が発生する (SPARK-6414)

貢献者

このリリースには以下の開発者が貢献しました

• Adam Budde – SQL のバグ修正
• Andrew Or – Core のバグ修正
• Andrey Zagrebin – SQL の改善
• Bill Chambers – Core のドキュメンテーション
• Cheng Lian – SQL のバグ修正と改善
• Chet Mancini – Core および SQL の改善
• Christophe Preaud – Core および YARN のドキュメンテーション
• Daoyuan Wang – SQL の新機能
• Davies Liu – PySpark および SQL の改善。テスト、PySpark、SQL のバグ修正。SQL の改善。
• Dean Chen – Core のバグ修正
• Doing Done – Core および SQL のバグ修正
• Hung Lin – スケジューラにおけるバグ修正
• Ilya Ganelin – Core の改善
• Imran Rashid – Core のバグ修正
• Iulian Dragos – Core のバグ修正
• Jayson Sunshine – Core のドキュメンテーション
• Jeremy Freeman – Streaming および MLlib のバグ修正
• Jongyoul Lee – Mesos の改善。Core のバグ修正。
• Joseph K. Bradley – PySpark、Streaming、SQL、MLlib、Core のドキュメンテーション
• Josh Rosen – Core の改善。Java API、Core、スケジューラ、Streaming のバグ修正。
• Kai Sasaki – Core および MLlib のドキュメンテーション。MLlib および PySpark のバグ修正。
• Kalle Jepsen – PySpark の改善
• Kamil Smuga – Core および PySpark のバグ修正
• Kay Ousterhout – Core、テスト、Web UI のバグ修正
• Kevin (Sangwoo) Kim – Core のバグ修正
• Kousuke Saruta – Streaming およびテストの改善
• Lev Khomich – Core の改善
• Liang-Chi Hsieh – SQL のバグ修正
• Liangliang Gu – spark submit のバグ修正
• Lomig Megard – Core のドキュメンテーション
• Marcelo Vanzin – Core および YARN のバグ修正
• Matt Aasted – EC2 のバグ修正
• Michael Armbrust – SQL の改善。Core のドキュメンテーション。SQL のバグ修正。Core および SQL の改善。
• Michael Griffiths – Windows および Core のバグ修正
• Milan Straka – PySpark のバグ修正
• Nan Zhu – Core および SQL のバグ修正
• Nathan McCarthy – Core におけるバグ修正
• Pei-Lun Lee – SQL のバグ修正
• Peter Parente – Core の改善
• Peter Rudenko – Core のドキュメンテーション
• Reynold Xin – Core の改善。Core のドキュメンテーション。Core のバグ修正。SQL の改善。
• Sean Owen – Core、テスト、SQL のバグ修正
• Shixiong Zhu – Core のバグ修正
• Tathagata Das – Core および Streaming の改善。Streaming のバグ修正。
• Thomas Graves – Core におけるバグ修正
• Tijo Thomas – Core および SQL のバグ修正
• Venkata Ramana Gollamudi – SQL のバグ修正
• Vinod KC – Core および SQL のバグ修正
• Volodymyr Lyubinets – SQL の改善とバグ修正
• Xiangrui Meng – MLlib および PySpark の新機能。PySpark、MLlib、SQL のバグ修正。Core および MLlib のドキュメンテーション。
• Yadong Qi – SQL の改善
• Yanbo Liang – MLlib および SQL のバグ修正
• Yash Datta – SQL の改善
• Yin Huai – SQL の改善とバグ修正
• Yp Cat – SQL のバグ修正
• Yu ISHIKAWA – MLlib の改善
• Yuri Saito – SQL のバグ修正
• Zhang, Liye – Core および Web UI のバグ修正
• Zhichao Li – Streaming および Web UI のバグ修正
• Zhichao Zhang – Core のドキュメンテーション

貢献してくださった皆様、ありがとうございました！

Spark ニュースアーカイブ