Spark リリース 0.9.2

Spark 0.9.2 は、バグ修正を含むメンテナンスリリースです。このリリースは、Spark の branch-0.9 maintenance branch に基づいています。すべての 0.9.x ユーザーに、この安定版リリースへのアップグレードをお勧めします。このリリースには 28 名の開発者が貢献しました。

Spark 0.9.2 は、ソースパッケージ (6 MB tgz) または、Hadoop 1 / CDH3 (156 MB tgz)、CDH4 (161 MB tgz)、または Hadoop 2 / CDH5 / HDP2 (168 MB tgz) 用の事前ビルド済みパッケージとしてダウンロードできます。リリース署名とチェックサムは、公式の Apache ダウンロードサイトで入手できます。

修正点

Spark 0.9.2 には、いくつかのコンポーネントにおけるバグ修正が含まれています。以下に、より重要な修正の一部をハイライトします。修正の全リストについては、Spark 課題トラッカーを参照してください。

Spark Core

ExternalAppendOnlyMap が一致するキーを常に見つけられない。( SPARK-2043 )
akka のフレームサイズ設定により、ジョブがハングする。( SPARK-1112, SPARK-2156 )
HDFS FileSystems が FS キャッシュに継続的に蓄積される。( SPARK-1676 )
ShuffleMapTask.deserializeInfo に不要なロックがある。( SPARK-1775 )
YARN 用に、セカンダリ jar が executor クラスパスに追加されない。( SPARK-1870 )

PySpark

IPython がスタンドアロン Python スクリプトを実行しない。( SPARK-1134 )
partitionBy が使用するハッシュメソッドは、None を正しく処理しない。( SPARK-1468 )
タスクが急速に完了しすぎると PySpark がクラッシュする。( SPARK-2282 )

MLlib

MLlib が Python 2.6 で動作するようにする。( SPARK-1421 )
PySpark の Naive Bayes 実装を修正する。( SPARK-2433 )

ストリーミング

SparkFlumeEvent で 1020 バイトを超えるボディが正しく読み取られない。( SPARK-1916 )

GraphX

GraphX の triplets が正しく動作しない。( SPARK-1188 )

貢献者

このリリースには以下の開発者が貢献しました

Aaron Davidson - バグ修正と最適化
Anant Daksh Asthana - 改善
Daniel Darabos - バグ修正
David Lemieux - バグ修正
Davis Shepherd - バグ修正
DB Tsai - バグ修正
Diana Carroll - バグ修正
Erik Selin - バグ修正
Gabriele Nizzoli - バグ修正
Guoqiang Li - バグ修正
John Zhao - 改善
Mark Hamstra - バグ修正
Matei Zaharia - バグ修正と改善
Nan Zhu - バグ修正
Nick Lanham - バグ修正
Ori Kremer - バグ修正
Patrick Wendell - バグ修正
Prashant Sharma - 新機能
Sam Sun - バグ修正
Sandeep Singh - バグ修正
Shuo Bai - 改善
Sujeet Varakhedi - 改善
Tathagata Das - バグ修正とドキュメント修正
Thomas Graves - バグ修正
Uri Laserson - バグ修正
Wenchen Fan - バグ修正
Xiangrui Meng - バグ修正とリリース管理
Yin Huai - バグ修正

貢献してくださった皆様、ありがとうございました！

Spark ニュースアーカイブ