Spark リリース 2.2.1

Spark 2.2.1 は、安定性修正を含むメンテナンスリリースです。このリリースは、Spark の branch-2.2 メンテナンスブランチに基づいています。すべての 2.2.x ユーザーに、この安定版リリースへのアップグレードを強く推奨します。

詳細な変更点は JIRA で確認できます。

動作の変更

• コアおよび SQL
  • SPARK-22472: トップレベルのプリミティブ型に対する null チェックを追加しました。このリリースより前は、トップレベルのプリミティブ型を持ち、null 値が存在するデータセットの場合、予期しない結果が返される可能性がありました。例えば、スキーマが `<a: Int>` の Parquet ファイルがあり、それを Scala の Int に読み込むとします。列 a に null 値が存在する場合、変換が適用されると予期しない値が返される可能性がありました。

このリリースにパッチを提供してくださったすべてのコミュニティメンバーに感謝いたします。

Spark ニュースアーカイブ