Spark Release 3.5.4

Spark 3.5.4 は、セキュリティおよび正確性に関する修正を含む 3 番目のメンテナンスリリースです。このリリースは Spark の branch-3.5 メンテナンスブランチに基づいています。すべての 3.5 ユーザーに、この安定版リリースへのアップグレードを強く推奨します。

主な変更点

  • [SPARK-47702]: RDD ブロックがノードから削除されたときに、Shuffle サービスエンドポイントを locations リストから削除
  • [SPARK-48155]: join の AQEPropagateEmptyRelation は、残りの子ノードが BroadcastQueryStageExec だけかどうかを確認する必要がある
  • [SPARK-49261]: 集約式内のリテラルをグループ化式に置き換えない
  • [SPARK-49294]: シャッフル書き込み時間チェックボックスの width 属性を追加
  • [SPARK-49501]: テーブルロケーションの二重エスケープを修正
  • [SPARK-49595]: Spark Connect Scala Client の DataFrame.unpivot/melt を修正
  • [SPARK-49628]: ConstantFolding は、状態式を評価する前にコピーする必要がある
  • [SPARK-49695]: Postgres の xor プッシュダウンを修正
  • [SPARK-49699]: ストリーミングワークロードの PruneFilters を無効化
  • [SPARK-49743]: OptimizeCsvJsonExpr は、GetArrayStructFields をプルーニングする際にスキーマフィールドを変更しない
  • [SPARK-49782]: ResolveDataFrameDropColumns ルールは、子出力を持つ UnresolvedAttribute を解決する
  • [SPARK-49791]: DelegatingCatalogExtension をより拡張可能に
  • [SPARK-49804]: Executor コンテナの終了コードを常に使用するように修正
  • [SPARK-49816]: 参照されている外部 CTE リレーションのアウトゴーイング参照カウントのみを更新する
  • [SPARK-49819]: 集約に対するプロジェクションで相関サブクエリの CollapseProject を正しく無効化
  • [SPARK-49829]: ストリーム-ストリーム結合でステートストアに入力追加する最適化のバグを修正
  • [SPARK-49836]: ウィンドウ関数/セッションウィンドウ関数にウィンドウが提供された場合の、壊れる可能性のあるクエリを修正
  • [SPARK-49843]: char/varchar カラムのコメント変更を修正
  • [SPARK-49959]: ColumnarArray.copy() が正しいオフセットから NULL を読み取るように修正
  • [SPARK-49979]: 失敗したプランを 2 回収集した場合の AQE ハング問題を修正
  • [SPARK-50021]: UI が無効になっている場合に App UI リンクを非表示にするように ApplicationPage を修正
  • [SPARK-50022]: UI が無効になっている場合に App UI リンクを非表示にするように MasterPage を修正
  • [SPARK-50087]: MsSqlServer および将来のコネクタの CASE WHEN でのブール式を堅牢に処理
  • [SPARK-50176]: セッションが閉じられた後の再アタッチを禁止
  • [SPARK-50195]: StandaloneRestServer が spark.app.name を SparkSubmit に正しく伝播するように修正
  • [SPARK-50210]: SparkSubmit が REST API kill レスポンスを正しく表示するように修正
  • [SPARK-50235]: ColumnarToRowExec ですべての行を処理した後、ColumnVector リソースをクリーンアップ
  • [SPARK-50258]: AQE 最適化後に変更された出力カラム順序の問題を修正
  • [SPARK-50312]: SparkThriftServer の createServer パラメータ渡しエラー (kerberos が true の場合)
  • [SPARK-50421]: 複数のリソースプロファイルが機能した場合の Executor 関連メモリ設定の誤りを修正
  • [SPARK-50433]: Spark on YARN および UT の log4j2 設定ガイドドキュメントを修正
  • [SPARK-50463]: Columnar から Row への変換における ConstantColumnVector を修正
  • [SPARK-50483]: ignoreCorruptFiles が有効な場合でも BlockMissingException をスローする
  • [SPARK-50492]: dropDuplicatesWithinWatermark の後にイベントタイムカラムがドロップされた場合の java.util.NoSuchElementException を修正
  • [SPARK-50498]: listFunctions で不要な py4j 呼び出しを回避
  • [SPARK-50505]: spark.storage.replication.proactive のデフォルト値ドキュメントを修正
  • [SPARK-50510]: ReattachableExecuteSuite の断続的な失敗を修正
  • [SPARK-50545]: ignoreCorruptFiles が有効な場合でも AccessControlException をスローする

依存関係の変更

メンテナンスリリースですが、このリリースではいくつかの依存関係をアップグレードしました。それらは以下の通りです。

JIRA で 詳細な変更点 を確認できます。

このリリースにパッチを提供してくださったすべてのコミュニティメンバーに感謝いたします。


Spark ニュースアーカイブ

最新ニュース

アーカイブ