Spark リリース 3.5.6

Spark 3.5.6 は、セキュリティと正確性の修正を含む 6 回目のメンテナンスリリースです。このリリースは Spark の branch-3.5 maintenance branch に基づいています。すべての 3.5 ユーザーに、この安定版リリースへのアップグレードを強く推奨します。

主な変更点

  • [SPARK-51272]: DagScheduler における競合状態により、非決定的なパーティションキーのすべてのパーティションのリトライが失敗する可能性があります
  • [SPARK-51821]: UninterruptibleThread におけるデッドロックの可能性
  • [SPARK-51936]: ReplaceTableAsSelect は、新しいテーブルを追記するのではなく上書きする必要があります
  • [SPARK-51638]: 外部シャッフルサービス経由でのリモートディスク格納 RDD ブロックの取得が機能していません
  • [SPARK-51537]: Spark Connect 上でのサードパーティ Spark ML ライブラリの実行に失敗しました
  • [SPARK-49507]: Expected only partition pruning predicates 例外の修正
  • [SPARK-45994]: description-file を description_file に変更
  • [SPARK-50416]: load-spark-env.sh のターミナルまたはパイプのテストが壊れている / ポータブルではない
  • [SPARK-51281]: DataFrameWriterV2 は path オプションを尊重すべきです
  • [SPARK-51450]: BarrierCoordinator スレッドが Spark スタンドアロンモードで終了しない
  • [SPARK-43221]: ホストローカルブロック取得は、ディスクに格納されたブロックのブロックステータスを使用すべきです
  • [SPARK-48922]: 複雑な型挿入のパフォーマンスを最適化
  • [SPARK-51307]: CatalogStorageFormat の locationUri はデコードされるべきです
  • [SPARK-51344]: *.template の ENV キー値フォーマットの修正

依存関係の変更

メンテナンスリリースですが、このリリースではいくつかの依存関係をアップグレードしました。それらは以下の通りです。

JIRA で 詳細な変更点 を確認できます。

このリリースにパッチを提供してくださったすべてのコミュニティメンバーに感謝いたします。


Spark ニュースアーカイブ

最新ニュース

アーカイブ