Spark リリース 1.2.1

Spark 1.2.1 は、安定性修正を含むメンテナンスリリースです。このリリースは、Spark の branch-1.2 メンテナンスブランチに基づいています。すべての 1.2.0 ユーザーに、この安定版リリースへのアップグレードを推奨します。このリリースへの貢献は 69 名の開発者から寄せられました。

Spark 1.2.1 をダウンロードするには、ダウンロードページをご覧ください。

修正点

Spark 1.2.1 には、いくつかのコンポーネントにおけるバグ修正が含まれています。より重要な修正の一部を以下に示します。完全な修正リストについては、Spark issue tracker をご覧ください。

セキュリティ

• 一時ファイルストレージのファイルパーミッションをロックダウン

Spark Core

• Netty shuffle が spark.blockManager.port を無視する (SPARK-4837)
• MetricsServlet が正しく初期化されない (SPARK-4595)
• Repl と YARN の依存関係が Maven に公開されない (SPARK-5289)
• SparkConf はスレッドセーフではない (SPARK-5355)
• Spark にリンクする際にバイトコードエラーが発生する (SPARK-2075)

SQL

• CACHE TABLE AS SELECT が Hive UDF で失敗する (SPARK-5187)
• プロジェクションからの SELECT クエリを使用する際に属性が大文字・小文字を区別する (SPARK-4959)
• Hive 13 用にビルドされた Spark SQL が同時メタデータクエリで失敗する (SPARK-4908)
• GROUP BY 句と SELECT 句で同じ式を使用すると「Expression not in GROUP BY」がスローされる (SPARK-4296)

ストリーミング

• ライトアヘッドログの適切なファイルクリーンアップ (SPARK-5147)
• チェックポイントリカバリ中の既存ファイルのエラー (SPARK-4835)
• Socket Receiver がストリーミングコンテキスト停止時に停止しない (SPARK-2892)

PySpark

• リストまたは配列の並列化が遅い (SPARK-5224)
• zip を使用する際のシリアライザーバグ (SPARK-4841)
• 辞書内の Vector 型のサポート (SPARK-5223)

貢献者

このリリースには以下の開発者が貢献しました

• Aaron Davidson – Core におけるバグ修正
• Alex Liu – Core および SQL における改善; SQL におけるバグ修正
• Andrew Ash – Core におけるドキュメンテーション
• Andrew Or – Core および YARN における改善; Core および YARN におけるバグ修正
• Bilna – Streaming におけるテスト
• Brennon York – Core におけるバグ修正
• Cheng Hao – Core および SQL におけるバグ修正
• Cheng Lian – Core におけるバグ修正
• Christophe Preaud – Core における改善
• Dale Richardson – Core における改善
• Davies Liu – Core、MLlib、PySpark におけるバグ修正
• Derek Ma – Shuffle におけるバグ修正
• Earne – Core および GraphX における改善
• GuoQiang Li – Core および YARN におけるバグ修正
• Hari Shreedharan – Streaming におけるバグ修正
• Ilayaperumal Gopinathan – Streaming におけるバグ修正
• Ilya Ganelin – Core および Shuffle におけるバグ修正
• Jacek Lewandowski – Core におけるバグ修正
• Jeremy Freeman – MLlib および PySpark におけるバグ修正
• Jongyoul Lee – Streaming におけるドキュメンテーション; Core および Mesos におけるバグ修正
• Joseph K. Bradley – Core、MLlib、PySpark におけるバグ修正
• Josh Rosen – Core および SQL における改善; Core における新機能; Streaming および PySpark におけるバグ修正
• Kanwaljit Singh – Core におけるバグ修正
• Kenji Kikushima – GraphX におけるバグ修正
• Kousuke Saruta – Core および Web UI におけるバグ修正
• Lianhui Wang – Core におけるバグ修正
• Madhu Siddalingaiah – Core におけるドキュメント
• Marcelo Vanzin – Core におけるバグ修正
• Michael Armbrust – Core における改善; SQL におけるバグ修正
• Michael Davies – SQL における改善
• Nan Zhu – Streaming における改善およびバグ修正
• Nathan Kronenfeld – Core におけるバグ修正
• Nicholas Chammas – Core におけるドキュメンテーション
• Patrick Wendell – Core における改善およびドキュメンテーション
• Peter Klipfel – Core におけるドキュメンテーション
• Peter Vandenabeele – Core におけるドキュメンテーション
• Ryan Williams – Core における改善、バグ修正、およびドキュメンテーション
• SaintBacchus – Core および YARN におけるバグ修正
• Saisai Shao – Core におけるバグ修正
• Saisai Shao – Streaming における改善; Streaming および SQL におけるバグ修正; Streaming における改善
• Sandy Ryza – Core における改善
• Sean Owen – Core における改善; Core における要望; Core におけるドキュメンテーション; Java API、Core、SQL におけるバグ修正
• Shixiong Zhu – Streaming および Shuffle における改善; Core および Streaming におけるバグ修正; Core および YARN におけるドキュメンテーション
• Su Yan – Core における改善; Core および Web UI におけるバグ修正
• Takeshi Yamamuro – GraphX における改善およびバグ修正
• Tathagata Das – Streaming における改善および改善
• Timothy Chen – Core におけるドキュメンテーション
• Tingjun Xu – YARN におけるバグ修正
• Tsuyoshi Ozawa – Core および YARN におけるドキュメンテーション
• UncleGen – Web UI における改善; Core におけるバグ修正
• Venkata Ramana Gollamudi – Core におけるバグ修正
• Wang Tao – Core におけるバグ修正
• Xiangrui Meng – MLlib におけるドキュメンテーション
• Xiaohua Yi – SQL におけるバグ修正
• Xiaojing Wang – Core におけるドキュメンテーション
• Yash Datta – SQL におけるバグ修正
• Ye Xianjin – Core におけるバグ修正
• Yuhao Yang – MLlib における改善およびバグ修正
• Zhang, Liye – Web UI における改善

貢献してくださった皆様、ありがとうございました！

Spark ニュースアーカイブ