Spark リリース 1.1.1

Spark 1.1.1 は、バグ修正を含むメンテナンスリリースです。このリリースは、Spark の branch-1.1 メンテナンスブランチに基づいています。すべての 1.1.0 ユーザーに、この安定版リリースへのアップグレードを推奨します。このリリースには 55 人の開発者が貢献しました。

Spark 1.1.1 をダウンロードするには、ダウンロードページをご覧ください。

修正点

Spark 1.1.1 には、いくつかのコンポーネントでのバグ修正が含まれています。より重要な修正の一部を以下に示します。修正の全リストについては、Spark の課題追跡システムをご覧ください。

Spark Core

• 外部データ構造での多数の小さなスピルを回避 (SPARK-4480)
• 接続マネージャーのタイムアウトスレッドでのメモリリーク (SPARK-4393)
• チャネル読み取り戻り値の誤りにより、データが切り捨てられる可能性 (SPARK-4107)
• ソートベースのシャッフルでストリーム破損例外が発生 (SPARK-3948)
• ソートベースのシャッフルキー比較での整数オーバーフロー (SPARK-3032)
• Spark での Hadoop 設定使用におけるスレッドセーフティの欠如 (SPARK-2546)

SQL

• 左辺にリテラルを持つすべての不等号述語に対して、間違った Parquet フィルターが作成される (SPARK-4468)
• エイリアスでバッククォートをサポート (SPARK-3708 および SPARK-3834)
• Spark の行と Hive の行で ColumnValue の型が一致しない (SPARK-3704)

PySpark

• 空の RDD での sortByKey の修正 (SPARK-4304)
• すべてのパーティションで同じ乱数シードを使用しない (SPARK-4148)
• 空のパーティションで take() が実行された際の OOM を回避 (SPARK-3211)

MLlib

• PySpark での ALS.trainImplicit による KryoException (SPARK-3990)

ストリーミング

• ターゲットがダウンしている場合、ブロックレプリケーションが継続的に失敗する (SPARK-3495)
• ブロックレプリケーションがドライバーをターゲットとして選択する可能性 (SPARK-3496)

GraphX

• VertexRDD.apply が mergeFunc を使用するようにする (SPARK-2062)

貢献者

このリリースには以下の開発者が貢献しました

• Andrew Ash - Core のドキュメントおよびバグ修正
• Andrew Or - Core の改善。Windows, Core, Block Manager, Shuffle のバグ修正
• Aniket Bhatnagar - Core および Streaming のバグ修正
• Benjamin Piering - GraphX の改善
• Bertrand Bossy - Core のバグ修正
• Brenden Matthews - Mesos のバグ修正
• Chao Chen - Core のドキュメント
• Cheng Hao - SQL のテスト
• Cheng Lian - PySpark, MLlib, SQL のバグ修正
• Chirag Aggarwal - SQL のバグ修正
• Chris Cope - YARN のバグ修正
• Davies Liu - PySpark の改善。Core, SQL, PySpark のバグ修正
• Eric Eijkelenboom - Core のバグ修正
• Eric Liang - Core および SQL のバグ修正
• Eugen Cepoi - Core の改善
• Fei Wang - Core および SQL の改善。Core のバグ修正。Streaming のドキュメント
• Grega Kespret - Core のドキュメント
• Guoqiang Li - Web UI のバグ修正
• Henry Cook - Core のドキュメント
• Hossein Falaki - Web UI のバグ修正
• Ian Hummel - Core の改善
• Jakub Dubovsky - Core のバグ修正
• Jerry Shao - Shuffle のバグ修正
• Jongyoul Lee - Core および Mesos のバグ修正
• Josh Rosen - Core の改善。Streaming および Core のバグ修正
• Kousuke Saruta - Core および Web UI の改善。Core, Web UI, PySpark のバグ修正
• Larry Xiao - GraphX のバグ修正
• Lianhui Wang - GraphX のバグ修正
• Liang-Chi Hsieh - Core のバグ修正
• Lu Lu - GraphX の改善
• Ma Ji - Streaming のバグ修正
• Marcelo Vanzin - YARN のバグ修正
• Mark Hamstra - Core のバグ修正
• Masayoshi Tsuzuki - Core, Shell, PySpark の改善。Windows および PySpark のバグ修正
• Michael Armbrust - Core のドキュメント
• Michael Griffiths - PySpark のバグ修正
• Min Shen - YARN のバグ修正
• Mubarak Seyed - Streaming の改善
• Nicholas Chammas - Core のドキュメント
• Niklas Wilcke - Core のバグ修正
• Oded Zimerman - GraphX のバグ修正
• Reynold Xin - Core の新機能。Core および SQL のバグ修正
• Rongquan Su - Streaming の改善
• Sandy Ryza - Core のバグ修正
• Sean Owen - Java API, Core, Streaming のバグ修正
• Shane Knapp - Core のバグ修正
• Shixiong Zhu - Web UI の改善。Core および YARN のバグ修正
• Shuo Xiang - MLlib のバグ修正
• Tal Sliwowicz - Core および Block Manager のバグ修正
• Tao Wang - Core の改善およびバグ修正
• Tathagata Das - Streaming の改善。Core, Block Manager, Streaming のバグ修正
• Xiangrui Meng - Web UI および PySpark の改善。Core, MLlib, PySpark のバグ修正
• Yantang Zhai - Core および Web UI のバグ修正
• Yash Datta - SQL の改善
• Yin Huai - Core のドキュメント

貢献してくださった皆様、ありがとうございました！

Spark ニュースアーカイブ