Spark 4.0 プレビューリリース

近日公開予定の Spark 4.0 リリースの広範なコミュニティテストを可能にするため、Apache Spark コミュニティは Spark 4.0 のプレビューリリースを公開しました。このプレビューは、API および機能のどちらの観点からも安定版リリースではありませんが、コミュニティが Spark 4.0 となるコードを早期に試せるようにすることを目的としています。リリースをテストしたい場合は、ダウンロードして、メーリングリストまたは JIRA のいずれかを使用してフィードバックをお送りください。

Spark 4.0 には、デフォルトでの ANSI モード、Python データソース、ポリモーフィック Python UDTF、文字列照合サポート、新しい VARIANT データ型、ストリーミングステートストアデータソース、構造化ロギング、デフォルトでの Java 17 など、多くのエキサイティングな新機能が追加されています。

このリリースにご協力いただいた貢献者およびユーザーの皆様、そして早期のフィードバックに感謝いたします。皆様なくしてはこのリリースは実現できませんでした。

Spark 4.0.0-preview1 をダウンロードするには、ダウンロードページにお進みください。PyPI でも「4.0.0.dev1」というバージョン名で利用可能です。

Spark ニュースアーカイブ