Spark 1.1.0 リリース

API互換の1.Xラインにおける2回目のリリースとなる Spark 1.1.0 の提供開始を発表できることを嬉しく思います。Spark 1.1.0 は、171人の開発者からの貢献を含む、Spark史上最大のリリースです！

このリリースでは、Sparkコアにおける運用およびパフォーマンスの改善が行われています。これには、非常に大規模なワークロード向けに設計されたSparkシャッフルの新しい実装が含まれます。Spark 1.1 は、最新のSparkモジュールであるMLlibおよびSpark SQLに大幅な拡張を追加しています。Spark SQL は、JDBCサーバー、高速な式評価のためのバイトコード生成、公開型API、JSONサポート、その他の機能と最適化を導入しています。MLlib は、新しい統計ライブラリといくつかの新しいアルゴリズムおよび最適化を導入しています。Spark 1.1 は、SparkのPythonサポートも拡張し、Spark Streamingモジュールに新しいコンポーネントを追加しています。

新機能については、リリースノート をご覧ください。または、本日、ダウンロード してください。

Spark ニュースアーカイブ