Spark Release 0.6.2
Spark 0.6.2 は、いくつかのバグ修正とユーザビリティの向上を含むメンテナンスリリースです。ソースパッケージ (2.5 MB tar.gz) または プリビルドパッケージ (48 MB tar.gz) としてダウンロードできます。
すべての Spark 0.6 ユーザーに、このメンテナンスリリースへのアップデートを推奨します。
このバージョンでの修正と機能改善は以下の通りです。
- デッドノードの検出、マップ出力フェッチの欠落の処理、および失敗したノードのクラスタへの再参加を可能にするための耐障害性修正
- スタンドアロンモードの設定を明確にし、クイックスタートの説明を改善するドキュメント修正
- シャッフルのパフォーマンスを向上させる接続再利用のバグ修正
- EC2スクリプトでの複数のアベイラビリティゾーンにまたがるクラスタの起動サポート
- EC2クラスタが終了したときにセキュリティグループを削除するサポート
- スタンドアロンデプロイクラスタデーモンのメモリ設定の改善: 以前はメモリに
SPARK_MEM を使用しており、意図したよりも多くのメモリを割り当ててしまうことが多かったのですが、新しい SPARK_DAEMON_MEMORY という別の変数を使用し、デフォルト値は 512 MB という妥当な値になっています。
- Spark の Windows 実行スクリプトの修正
- マシンの外部IPアドレスの検出精度の向上
- いくつかの小さな最適化とバグ修正
合計で11名がこのリリースに貢献しました。
- Stephen Haberman (バグ修正)
- Shane Huang (シャッフルの修正)
- Fernand Pajot (バグ修正)
- Andrew Psaltis (バグ修正)
- Imran Rashid (スタンドアロンクラスタ、バグ修正)
- Charles Reiss (耐障害性回復修正、ノード再登録、テスト)
- Josh Rosen (耐障害性回復、Java API 修正、デプロイメントスクリプト)
- Peter Sankauskas (EC2スクリプト)
- Lee Moon Soo (バグ修正)
- Patrick Wendell (バグ、ドキュメント)
- Matei Zaharia (耐障害性回復、UI、ドキュメント、バグ修正)
Spark ニュースアーカイブ