Spark リリース 3.5.5

Spark 3.5.5 は、セキュリティと正確性の修正を含む4回目のメンテナンスリリースです。このリリースは Spark の branch-3.5 メンテナンスブランチに基づいています。すべての 3.5 ユーザーに、この安定版へのアップグレードを強く推奨します。

主な変更点

  • [SPARK-45013]: taskId によって割り当てられたリソースを追跡する際の NPE を伴う不安定なテスト
  • [SPARK-48899]: K8s Dockerfile の ENV キー値フォーマットの修正
  • [SPARK-50091]: INサブクエリの左オペランドに集計式がある場合にクエリが失敗する問題の修正
  • [SPARK-50624]: ColumnarRow/MutableColumnarRow への TimestampNTZType の追加
  • [SPARK-50769]: HistogramNumeric での ClassCastException の修正
  • [SPARK-50784]: lint-scala が scalastyle エラーを無視しないように修正
  • [SPARK-50797]: HiveCharVarcharTestSuite を o/a/s/sql から o/a/s/sql/hive に移動
  • [SPARK-50853]: 一時シャッフルファイル書き込みチャネルのクローズ
  • [SPARK-50870]: DataSourceV2 リレーションが current_timestamp() を具体化した後に解決されていないキャスト式を含む可能性の修正
  • [SPARK-50890]: Spark Connect のみビルドでの test_take のスキップ
  • [SPARK-50946]: Java バージョン 17.0.14 を使用すると、UtilsSuite の SPARK-35907: createDirectory テストが失敗する問題の修正
  • [SPARK-50984]: JDK メッセージを正規表現で一致させることで ExpressionImplUtilsSuite を堅牢化
  • [SPARK-50987]: spark-connect-overview.md のバージョン文字列を最新の状態に更新
  • [SPARK-50998]: ドキュメントの spark.kubernetes.configMap.maxSize のデフォルト値の修正
  • [SPARK-51027]: テスト環境以外での HiveClient.runSqlHive の呼び出しを防止
  • [SPARK-51033]: 配列比較に sameElements を使用するように CryptoStreamUtilsSuite を修正
  • [SPARK-51039]: ルート pom.xml で hive.llap.scope を使用するように hive-llap-common 依存関係を修正
  • [SPARK-51042]: CalendarIntervals の読み書きを、get/putLong の1回の呼び出しで一貫して行う
  • [SPARK-51061]: REST Submission API での Jetty 情報の非表示
  • [SPARK-51071]: branch-3.5 CI を復旧するために upload-artifact を v4 にアップグレード
  • [SPARK-51093]: テストにおけるマイナーなエンディアンネス問題の修正
  • [SPARK-51104]: Spark ウェブサイトで自己ホスト JavaScript および CSS を使用
  • [SPARK-51128]: docsearch.min.css.map の自己ホスト
  • [SPARK-51129]: Spark ウェブサイトでのコードタブ切り替えの修正
  • [SPARK-51157]: Scala 関数 API のための不足している @varargs Scala アノテーションの追加
  • [SPARK-51164]: hadoop.caller.context.enabled を有効にすることで CallerContext テストを修正
  • [SPARK-51173]: configName Scalastyle ルールの追加
  • [SPARK-51185]: OOM のリスク増加により PartitionedFileUtil API の単純化を元に戻す
  • [SPARK-51187]: SPARK-49699 で導入された不正な設定の意図的な非推奨化を実装
  • [SPARK-51219]: 非 V2SessionCatalog が使用されている場合に、Catalog.listTables が一時テーブルで失敗する問題の修正
  • [SPARK-51244]: 左の Github Action イメージを ubuntu-20.04 から ubuntu-22.04 にアップグレードし、TPCDSQueryBenchmark の互換性問題を解決

依存関係の変更

メンテナンスリリースですが、このリリースではいくつかの依存関係をアップグレードしました。それらは以下の通りです。

詳細な変更については、JIRA を参照してください: 詳細な変更。

このリリースにパッチを提供してくださったすべてのコミュニティメンバーに感謝いたします。


Spark ニュースアーカイブ

最新ニュース

アーカイブ