Spark Release 3.1.3

Spark 3.1.3 は、安定性修正を含むメンテナンスリリースです。このリリースは Spark の branch-3.1 maintenance branch に基づいています。すべての 3.1.3 ユーザーに、この安定版リリースへのアップグレードを強く推奨します。

[SPARK-38075]: ORDER BY と LIMIT を使用した Hive スクリプト変換が偽の行を返す
[SPARK-37784]: CodeGenerator.addBufferedState() が UDT を正しく処理しない
[SPARK-37079]: DataFrameWriterV2.partitionedBy が引数を正しく JVM に送信するように修正
[SPARK-37049]: executorIdleTimeout が K8s の保留中の Pod に対して機能しない
[SPARK-36783]: ScanOperation が決定不能な Project を介して Filter をプッシュしないようにする
[SPARK-36782]: シャッフルブロックの移行時に map-output-dispatcher と dispatcher-BlockManagerMaster の間でデッドロックが発生する
[SPARK-36704]: Java 9 以降の起動時に InaccessibleObjectException が発生する
[SPARK-36740]: 配列操作における様々な NaN 問題。
[SPARK-36532]: CoarseGrainedExecutorBackend.onDisconnected でのデッドロック
[SPARK-36489]: グルーピングキーがない場合の集計関数が、単一バケットを持つテーブルで複数の行を返す
[SPARK-36339]: aggsBuffer がマップ範囲で AggregateExpression を収集するようにする
[SPARK-35391]: ExecutorAllocationListener のメモリリークが、高負荷下での動的アロケーションを妨げる

メンテナンスリリースですが、このリリースではいくつかの依存関係をアップグレードしました。それらは次のとおりです。

JIRA で詳細な変更点を確認できます。

このリリースにパッチを提供してくださったすべてのコミュニティメンバーに感謝いたします。