Spark リリース 0.6.1

Spark 0.6.1 は、いくつかの重要なバグ修正とパフォーマンス改善を含むメンテナンスリリースです。ソースパッケージ (2.4 MB tar.gz) または プリビルドパッケージ (48 MB tar.gz) としてダウンロードできます。

このバージョンでの修正と機能改善は以下の通りです。

• ワーカーがクラスターから切断される原因となっていた、過度に攻撃的なメッセージタイムアウトを修正しました。
• HDFS のローカリティに影響を与える、スケジューラにホスト名を公開していなかったスタンドアロンデプロイモードのバグを修正しました。
• シャッフルの接続再利用を改善し、小規模なシャッフルを大幅に高速化できるようにしました (Reynold Xin 氏提供)
• ブロックマネージャーの潜在的なデッドロックをいくつか修正しました (Tathagata Das 氏提供)
• Mesos から失敗したホストの ID を取得する際のバグを修正しました (Imran Rashid 氏提供)
• スポットインスタンスのより良い処理など、いくつかの EC2 スクリプトを改善しました (Josh Rosen 氏提供)
• Spark がバインドするローカル IP アドレスをカスタマイズ可能にしました (Mikhail Bautin 氏提供)
• Hadoop 2 ディストリビューションのサポート (Thomas Dudziak 氏提供)
• Debian ディストリビューションで Scala を配置するサポート (Thomas Dudziak 氏提供)
• ジョブに関するより多くの情報を表示するように、スタンドアロンクラスターの Web UI を改善しました。
• スタンドアロンクラスターで、ジョブを少数のノードに集中させるのではなく、分散させるオプションを追加しました (spark.deploy.spreadOut)

すべての Spark 0.6 ユーザーに、このメンテナンスリリースへのアップデートを推奨します。

Spark ニュースアーカイブ