Spark リリース 2.4.1

Spark 2.4.1 は、安定性修正を含むメンテナンスリリースです。このリリースは Spark の branch-2.4 maintenance branch に基づいています。すべての 2.4.0 ユーザーに、この安定版リリースへのアップグレードを強く推奨します。

Apache Spark 2.4.1 では、Scala 2.12 サポートが GA となり、実験的なものではなくなりました。Spark 3.0 では Scala 2.11 のサポートを廃止する予定ですので、フィードバックをお寄せください。

JIRA で 詳細な変更点 を確認できます。

Core および Spark SQL

• パフォーマンスと安定性
  • [SPARK-26266] Scala 2.12.8 に更新 (最近の Java 8 バージョンが必要)
  • [SPARK-26188] Spark 2.4.0 のパーティショニング動作が後方互換性を壊す
• その他の注目すべき変更
  • [SPARK-27198] ドライバとエグゼキュータ間のハートビート間隔の不一致

Windows

• パフォーマンスと安定性
  • [SPARK-26080] Windows で worker.py を実行できない

既知の問題

• CORE
  • [SPARK-27419]: `spark.executor.heartbeatInterval` が 1 秒未満の場合、常に 0 に設定され、タイムアウトが発生する。

このリリースにパッチを提供してくださったすべてのコミュニティメンバーに感謝いたします。

Spark ニュースアーカイブ