Spark Release 3.5.3

Spark 3.5.3 は、セキュリティおよび修正のバグ修正を含む3番目のメンテナンスリリースです。このリリースは、Spark の branch-3.5 メンテナンスブランチに基づいています。すべての 3.5 ユーザーは、この安定版リリースへのアップグレードを強く推奨します。

主な変更点

  • [SPARK-49176] - K8s を追加して spark.ui.custom.executor.log.url のドキュメントを修正
  • [SPARK-49182] - site/docs/{version}/api/python/_sources の公開を停止
  • [SPARK-49197] - launcher モジュールで Spark Command の出力を機密情報から除去
  • [SPARK-43242] - diagnoseCorruption は ShuffleBlockBatchId の予期しない BlockId 型をスローしないようにすべき
  • [SPARK-46037] - Left Join で Left をビルドした場合、ShuffledHashJoinExec が不正確な結果を生成する可能性
  • [SPARK-46632] - EquivalentExpressions が IllegalStateException をスロー
  • [SPARK-48965] - as[Product] で DecimalType 情報が失われた場合に toJSON が誤った値を生成
  • [SPARK-49038] - Spark UI で最小時間と中央値のタイミングメトリクスが誤って表示
  • [SPARK-49039] - Stages タブで executor メトリクスがロードされたときにチェックボックスをリセット
  • [SPARK-49179] - v2 マルチバケット内部結合が AssertionError をスローするのを修正
  • [SPARK-49183] - V2SessionCatalog.createTable は PROP_IS_MANAGED_LOCATION を尊重すべき
  • [SPARK-49193] - RowSetUtils.toColumnBasedSet のパフォーマンスを改善
  • [SPARK-49200] - null 型の非コード生成順序例外を修正
  • [SPARK-49300] - tokenRenewalInterval が設定されていない場合の Hadoop delegation token リークを修正
  • [SPARK-49333] - SparkExecuteStatementOperation のクリーンアップ中にシャットダウンタイムアウトスレッドを終了
  • [SPARK-49352] - 同一の式に対する冗長な配列変換を回避
  • [SPARK-49359] - StagedTableCatalog 実装で非アトミック書き込みにフォールバックできるようにする
  • [SPARK-49381] - SPARK-41388 テストケースを修正して結果をアサート
  • [SPARK-49385] - podAllocationDelay の代わりに podCreationTimeout を使用するように getReusablePVCs を修正
  • [SPARK-49402] - PySpark ドキュメントの Binder 統合を修正
  • [SPARK-49476] - Base64 の null 許容性の変更
  • [SPARK-49480] - SparkThrowableHelper.isInternalError メソッドからの NullPointerException
  • [SPARK-49509] - ByteBuffer.allocateDirect の代わりに Platform.allocateDirectBuffer を使用
  • [SPARK-49152] - V2SessionCatalog は V2Command を使用すべき
  • [SPARK-49211] - V2 Catalog も組み込みデータソースをサポート可能
  • [SPARK-49246] - TableCatalog#loadTable は書き込み用か否かを示すべき
  • [SPARK-49275] - xpath 式の戻り値の null 許容性を修正
  • [SPARK-49408] - ProjectingInternalRow のパフォーマンス低下

依存関係の変更

JIRA で 詳細な変更点 を確認できます。

このリリースにパッチを提供してくださったすべてのコミュニティメンバーに感謝いたします。


Spark ニュースアーカイブ

最新ニュース

アーカイブ