アルゴリズム

MLlib には、多くのアルゴリズムとユーティリティが含まれています。

ML アルゴリズムには以下が含まれます。

• 分類: ロジスティック回帰、ナイーブベイズなど
• 回帰: 一般化線形回帰、生存回帰など
• 決定木、ランダムフォレスト、勾配ブースティング木
• レコメンデーション: 交互最小二乗法 (ALS)
• クラスタリング: k-means、ガウス混合モデル (GMM) など
• トピックモデリング: 潜在ディリクレ配分法 (LDA)
• 頻出アイテムセット、アソシエーションルール、シーケンシャルパターンマイニング

ML ワークフローユーティリティには以下が含まれます。

• 特徴量変換: 標準化、正規化、ハッシュ化など
• ML パイプライン構築
• モデル評価とハイパーパラメータチューニング
• ML 持続化: モデルとパイプラインの保存と読み込み

その他のユーティリティには以下が含まれます。

• 分散線形代数: SVD、PCA など
• 統計: 要約統計量、仮説検定など

使用例については、MLlib ガイドを参照してください。

コミュニティ

MLlib は Apache Spark プロジェクトの一部として開発されています。そのため、Spark の各リリースでテストおよび更新されます。

ライブラリに関する質問は、Spark メーリングリストにお寄せください。

MLlib は急速に成長しているプロジェクトであり、貢献を歓迎します。MLlib にアルゴリズムを提出したい場合は、Spark への貢献方法をお読みになり、パッチをお送りください。

はじめに

MLlib を使い始めるには

• Spark をダウンロードしてください。MLlib はモジュールとして含まれています。
• さまざまな使用例を含む MLlib ガイドをお読みください。
• 分散モードで実行したい場合は、クラスタへの Spark のデプロイ方法を学習してください。セットアップなしで、マルチコアマシン上でローカルに実行することもできます。