Spark Release 2.4.2

Spark 2.4.2 は、安定性修正を含むメンテナンスリリースです。このリリースは、Spark の branch-2.4 メンテナンスブランチに基づいています。すべての 2.4 ユーザーに、この安定版リリースへのアップグレードを強く推奨します。

Scala 2.11 のサポートは 2.4.1 以降非推奨であることに注意してください。2.4.2 時点では、プリビルドされた便利なバイナリは Scala 2.12 用にコンパイルされています。Spark は Maven Central で 2.11 と 2.12 の両方でクロス発行されており、ソースから 2.11 用にビルドすることも可能です。

主な変更点

• [SPARK-27419]: spark.executor.heartbeatInterval を 1 秒未満の値に設定すると、値が 0 に変換され、ハートビートが常にタイムアウトして最終的にエグゼキュータが終了するため、常に失敗します。
• [SPARK-25250] のリバート: ジョブが永遠にハングする可能性があり、2.4.2 でリバートされています。

JIRA で 詳細な変更点 を確認できます。

このリリースにパッチを提供してくださったすべてのコミュニティメンバーに感謝いたします。

Spark ニュースアーカイブ