Spark Release 2.4.4

Spark 2.4.4 は、安定性修正を含むメンテナンスリリースです。このリリースは Spark の branch-2.4 メンテナンスブランチに基づいています。すべての 2.4 ユーザーはこの安定版リリースへのアップグレードを強く推奨します。

主な変更点

  • [SPARK-26038]: long に収まらない Decimal の toScalaBigInt/toJavaBigInteger を修正
  • [SPARK-26812]: PushProjectionThroughUnion の null 許容の問題を修正
  • [SPARK-27798]: from_avro がローカルモードで他の行の変数を変更しないように修正
  • [SPARK-27907]: Spark 2.4.3 では HiveUDAF が 0 行の場合に誤って NPE が発生していました。他のすべてのリリースと同様に NULL を返すように修正しました。
  • [SPARK-27992]: PySpark ソケットサーバーが JVM 接続スレッドの future と同期するように修正
  • [SPARK-28015]: stringToDate() が yyyy および yyyy-[m]m フォーマットで入力をすべて消費する問題を修正
  • [SPARK-28308]: CalendarInterval のサブ秒部分は解析前にパディングされるべき
  • [SPARK-28489]: KafkaOffsetRangeCalculator.getRanges がオフセットをドロップする可能性がある問題を修正
  • [SPARK-28699]: 不定の RDD をキャッシュすると、ステージが再実行される際に不正確な結果につながる可能性がある問題を修正
  • [SPARK-28780]: Spark 2.2 で LinearSVCModel.setWeightCol メソッドが誤って導入されました。このメソッドは正しく機能しませんでした。2.4.4 で非推奨となり、3.0.0 で削除される予定です。

JIRA で 詳細な変更点 を確認できます。

このリリースにパッチを提供してくださったすべてのコミュニティメンバーに感謝いたします。


Spark ニュースアーカイブ

最新ニュース

アーカイブ