Spark リリース 2.3.1

Spark 2.3.1 は、安定性修正を含むメンテナンス リリースです。このリリースは、Spark の branch-2.3 メンテナンス ブランチに基づいています。2.3.x ユーザーの皆様には、この安定版へのアップグレードを強くお勧めします。

詳細な変更点については、JIRA を参照してください。

動作の変更

• SQL
  • SPARK-23173: from_json() に提供されるスキーマのすべてのフィールドが、NULL 可能として強制されるようになりました。元の動作は、spark.sql.fromJsonForceNullableSchema=false を設定することで復元できます。

このリリースにパッチを提供してくださったすべてのコミュニティメンバーに感謝いたします。

Spark ニュースアーカイブ