PySpark のテスト

PySpark のテストを実行するには、まず Maven または SBT を介して Spark 自体をビルドする必要があります。たとえば、

build/mvn -DskipTests clean package

build/sbt -Phive clean package

その後、`python/run-tests` を使用して PySpark のテストケースを実行できます。たとえば、

python/run-tests --python-executable=python3

Mac OS でテストを実行している場合は、`OBJC_DISABLE_INITIALIZE_FORK_SAFETY` 環境変数を `YES` に設定する必要がある場合があります。

Spark のビルド、モジュールのテスト、または個々のテストの実行 に関するガイダンスを参照してください。

個別の PySpark テストの実行

以下のように、`python/run-tests` を使用して特定のテストを実行できます。

python/run-tests --testnames pyspark.sql.tests.test_arrow

詳細については、PySpark のテスト を参照してください。

GitHub Actions を使用したテストの実行

数回のクリックで、フォークした GitHub リポジトリで GitHub Actions を使用して、完全な PySpark テストを実行できます。詳細については、GitHub Actions を使用してフォークしたリポジトリでテストを実行する を参照してください。

Spark Connect のテストの実行

Python クライアントのテストの実行

Protobuf 定義の変更をテストするには、たとえば `spark/sql/connect/common/src/main/protobuf/spark/connect` で、まず `dev/connect-gen-protos.sh` を実行して Python Protobuf クライアントを再生成する必要があります。

Python クライアントを使用した PySpark シェルの実行

以下のコマンドは、Spark Connect サーバーをローカルで自動的に起動し、サーバーに接続された Spark Connect クライアントを作成します。

bin/pyspark --remote "local[*]"