Spark リリース 3.2.4

Spark 3.2.4 は、安定性修正を含むメンテナンスリリースです。このリリースは Spark の branch-3.2 maintenance branch に基づいています。すべての 3.2 ユーザーに、この安定版リリースへのアップグレードを強く推奨します。

主な変更点

  • [SPARK-38173]: quotedRegexColumnNames が true の場合、引用符で囲まれた列が正しく認識されない
  • [SPARK-39399]: cluster deploy mode で k8s 上の Spark に対して proxy-user が機能しない
  • [SPARK-40817]: cluster mode で Kubernetes 上の Spark に対してリモート spark.jars URI が無視される
  • [SPARK-40819]: Parquet INT64 (TIMESTAMP(NANOS,true)) が、LongType に自動変換される代わりに Illegal Parquet type をスローするようになる
  • [SPARK-41162]: 曖昧な述語を持つ集約の下にアンチ結合をプッシュすべきではない
  • [SPARK-41254]: YarnAllocator.rpIdToYarnResource マップが正しく更新されない
  • [SPARK-41360]: エグゼキューターが失われた場合に BlockManager の再登録を回避する
  • [SPARK-41376]: Executor netty への直接メモリチェックは spark.shuffle.io.preferDirectBufs を尊重すべき
  • [SPARK-41388]: getReusablePVCs は、前のバッチで最近作成された PVC を無視すべき
  • [SPARK-41415]: SASL リトライ
  • [SPARK-41554]: Decimal.changePrecision が ArrayIndexOutOfBoundsException を生成する
  • [SPARK-41732]: セッションウィンドウ: 解析ルール "SessionWindowing" がツリーパターンベースのプルーニングを適用しない
  • [SPARK-41952]: Zstd コーデックのオフヒープメモリリークを修正するために Parquet をアップグレードする
  • [SPARK-41989]: PYARROW_IGNORE_TIMEZONE 警告がアプリケーションのログ設定を壊す可能性がある
  • [SPARK-42071]: scala.math.Ordering$Reverse を KyroSerializer に登録する
  • [SPARK-42090]: RetryingBlockTransferor に sasl リトライ回数を導入する
  • [SPARK-42157]: `spark.scheduler.mode=FAIR` は FAIR スケジューラーを提供するべき
  • [SPARK-42168]: ウィンドウ関数を持つ CoGroup は、パーティションキーの順序が異なる場合に不正な結果を返す
  • [SPARK-42259]: ResolveGroupingAnalytics は Python UDAF を考慮すべき
  • [SPARK-42462]: `docker-image-tool.sh` が OCI マニフェストを発行するのを防ぐ
  • [SPARK-42478]: FileWriterFactory で非シリアライズ可能な JobID の代わりにシリアライズ可能な jobTrackerId を作成する
  • [SPARK-42596]: OMP_NUM_THREADS がデフォルトでエグゼキューターコア数に設定されない
  • [SPARK-42697]: /api/v1/applications が期間として 0 を返す
  • [SPARK-42747]: LoR と AFT の内部ステータスの誤りを修正する
  • [SPARK-42785]: `--deploy-mode` なしで spark submit すると、Kubernetes ケースで NPE に直面する
  • [SPARK-42906]: リソース名プレフィックスの先頭の数字を `x` に置き換える
  • [SPARK-42967]: タスクがキャンセルされたステージの後に開始された場合の SparkListenerTaskStart.stageAttemptId を修正する
  • [SPARK-43004]: ResourceRequest.equals() で vendor==vendor のタイプミス

依存関係の変更

メンテナンスリリースですが、このリリースではいくつかの依存関係をアップグレードしました。それらは以下の通りです。

  • [SPARK-41030]: Apache Ivy を 2.5.1 にアップグレードする

JIRA で 詳細な変更点 を確認できます。

このリリースにパッチを提供してくださったすべてのコミュニティメンバーに感謝いたします。


Spark ニュースアーカイブ

最新ニュース

アーカイブ