Spark リリース 1.4.1

Spark 1.4.1 は、安定性修正を含むメンテナンスリリースです。このリリースは、Spark の branch-1.4 メンテナンスブランチに基づいています。すべての 1.4.0 ユーザーに、この安定版リリースへのアップグレードを推奨します。85 人の開発者がこのリリースに貢献しました。

Spark 1.4.1 をダウンロードするには、ダウンロードページをご覧ください。

修正点

Spark 1.4.1 には、Spark の DataFrame およびデータソースサポートにおけるいくつかのバグ修正と、その他のコンポーネントにおける様々な修正が含まれています。より重要な修正の一部を以下に示します。修正の全リストについては、Spark の課題追跡システムをご覧ください。

データソースと DataFrame

• SPARK-8804: 非 ASCII 文字が含まれている場合、UTF8String の順序が String と一貫しない
• SPARK-8406: Parquet ファイル書き込み時の競合状態
• SPARK-8329: DataSource オプションパーサーが「_」を受け入れなくなった
• SPARK-8368: map のクロージャでの ClassNotFoundException
• SPARK-8470: ScalaReflection でユーザー クラスに関する MissingRequirementError
• SPARK-8358: DataFrame の explode がエイリアスと * を伴う場合に失敗する

MLLib

• SPARK-8151: Pipeline コンポーネントが copy を正しく実装すべき
• SPARK-8468: RegressionEvaluator の一部のメトリクスに負の符号が必要
• SPARK-8736: GBTRegressionModel が予測を閾値処理しないべき
• SPARK-8563: IndexedRowMatrix.computeSVD() が U の numCols を誤って返す

PySpark

• SPARK-8202: 外部ソート中の無限ループ
• SPARK-8573: 無効な演算子が使用された場合に例外をトリガーする
• SPARK-8766: 列の非 ASCII 文字をサポートする

SparkR

• SPARK-8506: SparkR の初期化時の Spark パッケージのサポート
• SPARK-8085: データソースからの読み込み時にユーザー定義スキーマのサポート

貢献者

このリリースには以下の開発者が貢献しました

• Adam Roberts – Core およびテストにおけるバグ修正
• Ai He – PySpark の改善
• Alok Singh – Core におけるバグ修正
• Amey Chaugule – SQL の改善
• Andrew Or – Core、テスト、Shuffle、spark submit、および SQL におけるバグ修正。Web UI およびテストの改善
• Animesh Baranawal – SQL の改善
• Ben Fradet – Streaming および Web UI におけるバグ修正
• Brian Lockwood – Core のドキュメント
• Burak Yavuz – SQL のテスト、spark submit の改善、spark submit および SQL のバグ修正、SQL の改善
• Carson Wang – Core および Web UI におけるバグ修正
• Cheng Hao – SQL におけるバグ修正
• Cheng Lian – Core のドキュメント、SQL におけるバグ修正
• Cheolsoo Park – SQL の改善
• Chris Freeman – r におけるバグ修正
• Christian Kadner – SQL におけるバグ修正
• Cody Koeninger – Streaming の改善
• DB Tsai – MLlib の新機能
• Daniel Darabos – EC2 におけるバグ修正
• Daoyuan Wang – SQL におけるバグ修正
• Davies Liu – PySpark のバグ修正、SQL および PySpark の改善
• Devaraj K – YARN におけるバグ修正
• Dibyendu Bhattacharya – Streaming および Web UI におけるバグ修正
• Favio Vazquez – Core および MLlib のドキュメント
• Hari Shreedharan – Streaming および Core におけるバグ修正
• Holden Karau – Core のドキュメント、sparkr、Shuffle、および MLlib におけるバグ修正
• Hossein Falaki – sparkr の改善およびバグ修正
• Huang Zhaowei – Streaming および YARN におけるバグ修正
• Jean Lyn – SQL におけるバグ修正
• Joseph K. Bradley – MLlib の改善、MLlib のバグ修正、Core および MLlib の改善
• Josh Rosen – SQL の新機能、スケジューラおよび SQL におけるバグ修正、Core の改善
• Kevin Conor – PySpark におけるバグ修正
• Kousuke Saruta – Core のドキュメント
• Lars Francke – Core のドキュメント
• Lee – MLlib におけるバグ修正
• Liang-Chi Hsieh – SQL の改善、MLlib および SQL のバグ修正
• Lianhui Wang – Shuffle におけるバグ修正
• Luca Martinetti – Core のドキュメント
• Manoj Kumar – SQL の改善、MLlib および PySpark のバグ修正
• Marcelo Vanzin – Core の改善、Core および Web UI におけるバグ修正
• Mark Smith – EC2 におけるバグ修正
• Michael Armbrust – SQL におけるバグ修正
• Mike Dusenberry – PySpark、Core、SQL、および Streaming の改善
• Moussa Taifi – Core のドキュメント
• Nathan Howell – SQL におけるバグ修正
• Navis Ryu – SQL におけるバグ修正
• Neelesh Srinivas Salian – Core および YARN のドキュメント
• Oleksiy Dyagilev – Core および MLlib におけるバグ修正
• Paavo Parkkinen – Streaming および MLlib におけるバグ修正
• Patrick Wendell – Core の改善
• Punya Biswal – Core におけるバグ修正
• Qian Huang – sparkr の新機能
• Radek Ostrowski – Core のドキュメント
• Ram Sriharsha – MLlib および PySpark の新機能
• Rekha Joshi – Web UI の改善
• Reynold Xin – SQL のバグ修正および改善
• Rosstin Murphy – Core のドキュメント
• Ryan Williams – Core におけるバグ修正
• Saisai Shao – Core および Streaming におけるバグ修正
• Scott Taylor – PySpark のテスト
• Sean Owen – Core の改善およびバグ修正
• Sephiroth Lin – YARN の改善
• Shiming Fei – Core におけるバグ修正
• Shivaram Venkataraman – Core、EC2、および sparkr の改善、sparkr および EC2 におけるバグ修正
• Shixiong Zhu – Streaming、テスト、および Core のテスト、Streaming および Core の改善、Core、テスト、PySpark、および Streaming のバグ修正
• Simon Hafner – EC2 におけるバグ修正
• Sun Rui – Core および sparkr におけるバグ修正
• Tao Li – YARN におけるバグ修正
• Tathagata Das – Core および Streaming の改善、Core におけるバグ修正
• Ted Blackman – PySpark におけるバグ修正
• Ted Yu – SQL におけるバグ修正
• Tim Ellison – Core におけるバグ修正
• Timothy Chen – Web UI および Mesos におけるバグ修正
• Tingjun Xu – Core の改善
• Tom Graves – Core におけるバグ修正
• Vinod K C – SQL の改善およびバグ修正
• Vyacheslav Baranov – Core におけるバグ修正
• Wang Tao – Core および YARN におけるバグ修正
• Wenchen Fan – SQL の改善
• Xiangrui Meng – MLlib におけるバグ修正
• Yanbo Liang – Core、MLlib、および PySpark の改善
• Yin Huai – Core、テスト、および SQL の改善、テストおよび SQL におけるバグ修正、テストおよび SQL の改善
• Yu ISHIKAWA – PySpark の改善、sparkr の改善
• Yuhao Yang – MLlib におけるバグ修正
• Yuming Wang – Web UI の GitHub 連携
• Yuri Saito – PySpark におけるバグ修正

貢献してくださった皆様、ありがとうございました！

Spark ニュースアーカイブ