YARN クラスターモードで実行する場合、このファイルは依存関係解決のためにリモートドライバーにローカライズされ、SparkContext#addJar で使用されます。

• リクエストを転送する前にパスプレフィックスを削除する。
• Spark Master を直接指すリダイレクトを書き換える。
• http://mydomain.com/path/to/spark から http://mydomain.com/path/to/spark/ (パスプレフィックスの後の末尾のスラッシュ) へのリダイレクト。そうしないと、マスターページの相対リンクが正しく機能しません。

この構成は、イベントログの元のログ URL も置き換えることに注意してください。これは、履歴サーバーでアプリケーションにアクセスする場合にも有効になります。新しいログ URL は永続的である必要があります。そうでない場合、executor ログ URL のリンク切れが発生する可能性があります。

現在、YARN および K8s クラスターマネージャーのみがこの構成をサポートしています。

• ローカルモード: ローカルマシンのコア数
• その他: すべての executor ノードの合計コア数、または 2 のうち大きい方

アダプティブ最適化中（spark.sql.adaptive.enabled が true の場合）のシャッフルパーティションのアドバイザリサイズ（バイト単位）。これは、Spark が小さなシャッフルパーティションを結合したり、スキューしたシャッフルパーティションを分割したりする場合に有効になります。

結合を実行する際に、すべてのワーカーノードにブロードキャストされるテーブルの最大サイズ（バイト単位）を設定します。この値を -1 に設定すると、ブロードキャストを無効にできます。デフォルト値は spark.sql.autoBroadcastJoinThreshold と同じです。この設定はアダプティブフレームワークでのみ使用されることに注意してください。

'spark.sql.adaptive.enabled' が true で、true に設定されている場合、Spark は、ターゲットサイズ（'spark.sql.adaptive.advisoryPartitionSizeInBytes' で指定）に従って連続したシャッフルパーティションを結合し、小さすぎるタスクを回避します。

結合前のシャッフルパーティションの初期数。設定されていない場合、spark.sql.shuffle.partitions と等しくなります。この設定は、'spark.sql.adaptive.enabled' と 'spark.sql.adaptive.coalescePartitions.enabled' の両方が true の場合にのみ効果があります。

結合後のシャッフルパーティションの最小サイズ。アダプティブに計算されたターゲットサイズがパーティション結合中に小さすぎる場合に役立ちます。

true の場合、Spark は、Spark クラスタのデフォルト並列度に従ってターゲットサイズをアダプティブに計算しますが、'spark.sql.adaptive.advisoryPartitionSizeInBytes'（デフォルト 64MB）で指定されたターゲットサイズを尊重しません。計算されたサイズは通常、設定されたターゲットサイズよりも小さくなります。これは、並列度を最大化し、アダプティブクエリ実行を有効にする際のパフォーマンス低下を回避するためです。ビジーなクラスタでは、リソース利用率をより効率的にするために、この設定を false に設定することをお勧めします（小さすぎるタスクの数が少なくなります）。

アダプティブ実行に使用されるカスタムコスト評価クラス。設定されていない場合、Spark はデフォルトで独自の SimpleCostEvaluator を使用します。

true の場合、アダプティブクエリ実行を有効にします。これは、正確な実行時統計に基づいて、クエリ実行の途中でクエリプランを再最適化します。

true の場合、追加のシャッフルが発生する場合でも、OptimizeSkewedJoin を強制的に有効にします。

true で 'spark.sql.adaptive.enabled' が true の場合、Spark は、シャッフルパーティショニングが必要ない場合（たとえば、ソートマージ結合をブロードキャストハッシュ結合に変換した後など）に、ローカルシャッフルリーダーを使用してシャッフルデータを読み取ろうとします。

ローカルハッシュマップの構築を許可されるパーティションあたりの最大サイズ（バイト単位）を設定します。この値が spark.sql.adaptive.advisoryPartitionSizeInBytes より小さくなく、すべてのパーティションサイズがこの設定より大きくない場合、spark.sql.join.preferSortMergeJoin の値に関わらず、結合選択はシャッフルハッシュ結合の使用を優先します。

true で 'spark.sql.adaptive.enabled' が true の場合、Spark は RebalancePartitions でスキューしたシャッフルパーティションを最適化し、ターゲットサイズ（'spark.sql.adaptive.advisoryPartitionSizeInBytes' で指定）に従って小さなパーティションに分割して、データスキューを回避します。

アダプティブオプティマイザで無効にするルールのリストを設定します。ルールはルール名で指定され、コンマで区切られます。オプティマイザは、実際に除外されたルールをログに記録します。

パーティションが spark.sql.adaptive.advisoryPartitionSizeInBytes のこの係数倍よりも小さい場合、パーティションは分割中にマージされます。

true で 'spark.sql.adaptive.enabled' が true の場合、Spark は、スキューしたパーティションを分割（および必要に応じてレプリケート）することで、シャッフル結合（ソートマージおよびシャッフルハッシュ）のスキューを動的に処理します。

パーティションサイズが中央値パーティションサイズのこの係数倍よりも大きく、かつ 'spark.sql.adaptive.skewJoin.skewedPartitionThresholdInBytes' よりも大きい場合、パーティションはスキューしているとみなされます。

パーティションサイズがバイト単位でこのしきい値よりも大きく、かつ 'spark.sql.adaptive.skewJoin.skewedPartitionFactor' に中央値パーティションサイズを掛けたものよりも大きい場合、パーティションはスキューしているとみなされます。理想的には、この設定は 'spark.sql.adaptive.advisoryPartitionSizeInBytes' よりも大きく設定する必要があります。

true の場合、Spark は、実装されているすべての関数に対して名前付きパラメータのサポートを有効にします。

true で 'spark.sql.ansi.enabled' が true の場合、Spark SQL は二重引用符（"）で囲まれたリテラルを識別子として読み取ります。false の場合、それらは文字列リテラルとして読み取られます。

true の場合、Spark SQL は Hive 準拠ではなく、ANSI 準拠のダイアレクトを使用します。たとえば、Spark は無効な SQL 演算子/関数の入力に対して null 結果を返すのではなく、実行時に例外をスローします。このダイアレクトの詳細については、Spark のドキュメントの「ANSI Compliance」セクションを参照してください。一部の ANSI ダイアレクト機能は ANSI SQL 標準から直接ではない場合がありますが、その動作は ANSI SQL のスタイルに沿っています。

true で 'spark.sql.ansi.enabled' が true の場合、Spark SQL パーサーは ANSI 予約キーワードを強制し、予約キーワードをエイリアス名および/またはテーブル、ビュー、関数などの識別子として使用する SQL クエリを禁止します。

true で 'spark.sql.ansi.enabled' が true の場合、JOIN はリレーションの結合においてカンマよりも優先されます。たとえば、t1, t2 JOIN t3 は t1 X (t2 X t3) になるはずです。設定が false の場合、結果は (t1 X t2) X t3 になります。

結合を実行する際に、すべてのワーカーノードにブロードキャストされるテーブルの最大サイズ（バイト単位）を設定します。この値を -1 に設定すると、ブロードキャストを無効にできます。

AVRO ファイルの書き込みに使用される圧縮コーデック。サポートされているコーデック: uncompressed, deflate, snappy, bzip2, xz, zstandard。デフォルトのコーデックは snappy です。

AVRO ファイルの書き込みに使用される deflate コーデックの圧縮レベル。有効な値は 1 から 9 の範囲（または -1）である必要があります。デフォルト値は -1 で、現在の実装ではレベル 6 に対応します。

true の場合、Avro データソースへのフィルタプッシュダウンを有効にします。

AVRO ファイルの書き込みに使用される xz コーデックの圧縮レベル。有効な値は 1 から 9 の範囲である必要があります。デフォルト値は 6 です。

true の場合、AVRO ファイルの書き込み時に ZSTD JNI ライブラリのバッファプールを有効にします。

AVRO ファイルの書き込みに使用される zstandard コーデックの圧縮レベル。

バイナリデータを表示するために使用される出力スタイル。有効な値は 'UTF-8', 'BASIC', 'BASE64', 'HEX', 'HEX_DISCRETE' です。

ブロードキャスト結合でのブロードキャスト待機時間のタイムアウト（秒）。

true の場合、バケット数が異なる 2 つのバケット化されたテーブルが結合される場合、バケット数が多い側はもう一方の側と同じバケット数になるように結合されます。バケット数が多い方が、少ない方のバケット数で割り切れる必要があります。バケット結合は、ソートマージ結合およびシャッフルハッシュ結合に適用されます。注意: バケット化されたテーブルの結合は、結合時の不要なシャッフルを回避できますが、並列度も低下し、シャッフルハッシュ結合で OOM が発生する可能性があります。

バケット結合が適用されるためには、結合される 2 つのバケットの数に対する比率がこの値以下である必要があります。この設定は、'spark.sql.bucketing.coalesceBucketsInJoin.enabled' が true に設定されている場合にのみ効果があります。

Spark の組み込み v1 カタログ：spark_catalog の v2 インターフェースとして使用されるカタログ実装。このカタログは spark_catalog と同じ識別子名前空間を共有し、それと一致する必要があります。たとえば、テーブルが spark_catalog でロードできる場合、このカタログもテーブルメタデータを返す必要があります。spark_catalog に操作を委譲するために、実装は 'CatalogExtension' を拡張できます。値は 'builtin'（Spark の組み込み V2SessionCatalog を表す）またはカタログ実装の完全修飾クラス名のいずれかである必要があります。

true に設定すると、プラン統計の推定のために CBO を有効にします。

コストベースの結合列挙にスター結合フィルターヒューリスティクスを適用します。

動的計画法アルゴリズムで許可される結合ノードの最大数。

CBO で結合並べ替えを有効にします。

true の場合、論理プランはカタログから行数と列統計を取得します。

true の場合、スター スキーマ検出に基づく結合並べ替えを有効にします。

true の場合、Spark は CREATE/REPLACE/ALTER TABLE コマンドで CHAR 型を VARCHAR 型に置き換えるため、新しく作成/更新されたテーブルには CHAR 型の列/フィールドはなくなります。CHAR 型の列/フィールドを持つ既存のテーブルは、この設定の影響を受けません。

Base64 関数によって生成される文字列をチャンクするかどうか。true の場合、base64 関数によって生成される base64 文字列は、最大 76 文字の行にチャンクされます。false の場合、base64 文字列はチャンクされません。

true に設定されている場合、spark-sql CLI はクエリ出力に列の名前を表示します。

解析に失敗した生の/解析されていない JSON および CSV レコードを格納するための内部列の名前。

true の場合、CSV データソースへのフィルタプッシュダウンを有効にします。

設定プロパティが true に設定されている場合、Java 8 API の java.time.Instant および java.time.LocalDate クラスが、Catalyst の TimestampType および DateType の外部タイプとして使用されます。false に設定されている場合、java.sql.Timestamp および java.sql.Date が同じ目的で使用されます。

デバッグ出力で文字列に変換できるシーケンスライクなエントリのフィールドの最大数。制限を超える要素はドロップされ、「... N more fields」プレースホルダーに置き換えられます。

dataset.cache()、catalog.cacheTable()、および SQL クエリ CACHE TABLE t のデフォルトストレージレベル。

デフォルトカタログの名前。ユーザーが現在のカタログを明示的に設定していない場合、これは現在のカタログになります。

PRETTY の場合、エラーメッセージは、エラークラス、メッセージ、およびクエリコンテキストのテキスト表現で構成されます。MINIMAL および STANDARD フォーマットは、STANDARD が追加の JSON フィールド message を含む pretty JSON フォーマットです。この設定プロパティは、クエリを実行する際の Thrift Server および SQL CLI のエラーメッセージに影響します。

(Spark 3.0 で非推奨、'spark.sql.execution.arrow.pyspark.enabled' を設定してください。)

(Spark 3.0 で非推奨、'spark.sql.execution.arrow.pyspark.fallback.enabled' を設定してください。)

Arrow バッチを Spark DataFrame に変換する際、Arrow バッチのバイトサイズがこのしきい値より小さい場合、ドライバー側でローカルコレクションが使用されます。それ以外の場合、Arrow バッチはエグゼキューターに送信され、Spark 内部行にデシリアライズされます。

Apache Arrow を使用する場合、メモリ内の単一 ArrowRecordBatch に書き込むことができるレコードの最大数を制限します。この設定は、各グループが各 ArrowRecordBatch になるため、DataFrame(.cogroup).groupby.applyInPandas のようなグループ化 API では効果がありません。ゼロまたは負の値に設定されている場合、制限はありません。spark.sql.execution.arrow.maxBytesPerBatch も参照してください。両方が設定されている場合、いずれかの条件が満たされると各バッチが作成されます。

true の場合、PySpark での列指向データ転送に Apache Arrow を使用します。この最適化は、1. pyspark.sql.DataFrame.toPandas。2. pyspark.sql.SparkSession.createDataFrame（入力が Pandas DataFrame または NumPy ndarray の場合）に適用されます。次のデータ型はサポートされていません: TimestampType の ArrayType。

true の場合、エラーが発生すると、'spark.sql.execution.arrow.pyspark.enabled' によって有効化された最適化は自動的に最適化されていない実装にフォールバックします。

(実験的) true の場合、PySpark での列指向データ転送のために Apache Arrow の自己破壊および分割ブロックオプションを使用します。これは、CPU 時間を一部犠牲にしてメモリ使用量を削減します。この最適化は、'spark.sql.execution.arrow.pyspark.enabled' が設定されている場合の pyspark.sql.DataFrame.toPandas に適用されます。

true の場合、SparkR での列指向データ転送に Apache Arrow を使用します。この最適化は、1. createDataFrame（入力が R DataFrame の場合）2. collect 3. dapply 4. gapply に適用されます。次のデータ型はサポートされていません: FloatType, BinaryType, ArrayType, StructType, MapType。

TransformWithStateInPandas を使用する場合、メモリ内の単一 ArrowRecordBatch に書き込むことができる状態レコードの最大数を制限します。

Apache Arrow を使用する場合、文字列およびバイナリタイプには大きな可変幅ベクトルを使用します。通常の文字列およびバイナリタイプは、単一レコードバッチで 2GiB の制限があります。大きな可変幅タイプは、値あたりのメモリ使用量が増加する代わりに、この制限を解除します。

true の場合、クエリをキャンセルすると、すべての実行中タスクが中断されます。

true の場合、spark.createDataFrame は Pandas DataFrame からの dict を MapType として推測します。false の場合、spark.createDataFrame は Pandas DataFrame からの dict を StructType として推測します（これは PyArrow からのデフォルトの推測です）。

pandas DataFrame を作成する際の構造体タイプの変換モード。「legacy」の場合、1. Arrow 最適化が無効な場合、Row オブジェクトに変換します。2. Arrow 最適化が有効な場合、重複するネストフィールド名がある場合は dict に変換するか例外をスローします。「row」の場合、Arrow 最適化に関係なく Row オブジェクトに変換します。「dict」の場合、dict に変換し、重複するネストフィールド名がある場合は接尾辞付きキー名（例: a_0, a_1）を使用します。Arrow 最適化に関係ありません。

Pandas UDF 実行にのみ適用される spark.buffer.size と同じです。設定されていない場合、フォールバックは spark.buffer.size です。Pandas 実行には 4 バイト以上が必要です。この値を下げると、小さな Pandas UDF バッチが反復処理され、パイプライン処理される可能性があります。ただし、パフォーマンスが低下する可能性があります。SPARK-27870 を参照してください。

DataFrame および SQL を使用した Python 実行の場合の spark.python.worker.faulthandler.enabled と同じです。実行中に変更できます。

true の場合、Python UDF からの例外メッセージのみを表示し、スタックトレースは非表示にします。これが有効な場合、simplifiedTraceback は効果がありません。

DataFrame および SQL を使用した Python 実行の場合の spark.python.worker.idleTimeoutSeconds と同じです。実行中に変更できます。

true の場合、Python UDF からのトレースバックが簡略化されます。Python ワーカー、（デ）シリアライゼーションなど、PySpark からのトレースバックを非表示にし、UDF からの例外メッセージのみを表示します。これは CPython 3.7+ でのみ機能することに注意してください。

Python UDF 実行にのみ適用される spark.buffer.size と同じです。設定されていない場合、フォールバックは spark.buffer.size です。

Python UDF を使用する場合、シリアライゼーション/デシリアライゼーションのためにバッチ処理できるレコードの最大数を制限します。

Arrow 最適化された Python UDF を実行するための並列度。Python UDF が I/O 負荷が高い場合、これは便利です。

通常の Python UDF で Arrow 最適化を有効にします。この最適化は、指定された関数が少なくとも 1 つの引数を受け取る場合にのみ有効にできます。

Python UDTF の Arrow 最適化を有効にします。

「SELECT x FROM t ORDER BY y LIMIT m」のような SORT の後に LIMIT が続く SQL クエリで、m がこのしきい値未満の場合、メモリ内でトップ K ソートを実行し、それ以外の場合はグローバルソートを実行して、必要に応じてディスクにスピルします。

org.apache.spark.sql.ExtendedExplainGenerator トレイトを実装するクラスのコンマ区切りリスト。指定されている場合、Spark は、プロバイダーから追加のプラン情報を、explain プランおよび UI で出力します。

破損したファイルを無視するかどうか。true の場合、Spark ジョブは破損したファイルに遭遇しても実行を継続し、読み取られた内容は引き続き返されます。この設定は、Parquet、JSON、ORC などのファイルベースのソースを使用する場合にのみ有効です。

<column>=<value> に一致しない無効なパーティションパスを無視するかどうか。オプションが有効な場合、'table/invalid' および 'table/col=1' という 2 つのパーティションディレクトリを持つテーブルは、後者のディレクトリのみをロードし、無効なパーティションを無視します。

欠落しているファイルを無視するかどうか。true の場合、Spark ジョブは欠落しているファイルに遭遇しても実行を継続し、読み取られた内容は引き続き返されます。この設定は、Parquet、JSON、ORC などのファイルベースのソースを使用する場合にのみ有効です。

ファイルを読み取る際に 1 つのパーティションにパックできる最大バイト数。この設定は、Parquet、JSON、ORC などのファイルベースのソースを使用する場合にのみ有効です。

分割ファイルパーティションの推奨（保証なし）最大数。設定されている場合、初期パーティション数がこれを超えると、Spark は各パーティションを再スケーリングして、パーティション数をこの値に近づけます。この設定は、Parquet、JSON、ORC などのファイルベースのソースを使用する場合にのみ有効です。

1 つのファイルに書き出すレコードの最大数。この値がゼロまたは負の場合、制限はありません。

分割ファイルパーティションの推奨（保証なし）最小数。設定されていない場合、デフォルト値は spark.sql.leafNodeDefaultParallelism です。この設定は、Parquet、JSON、ORC などのファイルベースのソースを使用する場合にのみ有効です。

このオプションが false に設定されており、すべての入力がバイナリの場合、functions.concat はバイナリとして出力します。それ以外の場合は、文字列として出力します。

このオプションが false に設定されており、すべての入力がバイナリの場合、elt はバイナリとして出力します。それ以外の場合は、文字列として出力します。

true の場合、SELECT リストのエイリアスを GROUP BY 句で使用できます。false の場合、このケースでは解析例外がスローされます。

true の場合、GROUP BY 句の序数番号は SELECT リスト内の位置として扱われます。false の場合、序数番号は無視されます。

true に設定され、spark.sql.hive.convertMetastoreParquet または spark.sql.hive.convertMetastoreOrc が true の場合、組み込み ORC/Parquet ライターが HiveSQL 構文を使用してパーティション化された ORC/Parquet テーブルに挿入するために使用されます。

true に設定され、spark.sql.hive.convertMetastoreParquet または spark.sql.hive.convertMetastoreOrc が true の場合、組み込み ORC/Parquet ライターが HiveSQL 構文を使用してパーティション化されていない ORC/Parquet テーブルに挿入するために使用されます。

true に設定されている場合、Spark は Hive serde の代わりに組み込みデータソースライターを CTAS で使用しようとします。このフラグは、Parquet および ORC フォーマットに対して spark.sql.hive.convertMetastoreParquet または spark.sql.hive.convertMetastoreOrc がそれぞれ有効になっている場合にのみ有効です。

true に設定されている場合、Spark は Hive serde の代わりに INSERT OVERWRITE DIRECTORY で組み込みデータソースライターを使用しようとします。このフラグは、Parquet および ORC フォーマットに対して spark.sql.hive.convertMetastoreParquet または spark.sql.hive.convertMetastoreOrc がそれぞれ有効になっている場合にのみ有効です。

true に設定されている場合、Hive serde の代わりに、組み込み ORC リーダーおよびライターが HiveQL 構文を使用して作成された ORC テーブルを処理するために使用されます。

true に設定されている場合、Hive serde の代わりに、組み込み Parquet リーダーおよびライターが HiveQL 構文を使用して作成された Parquet テーブルを処理するために使用されます。

true の場合、異なる Parquet データファイルで互換性がある可能性のある異なる Parquet スキーマをマージしようとします。この設定は、「spark.sql.hive.convertMetastoreParquet」が true の場合にのみ有効です。

true の場合、Spark はパーティションオブジェクトではなくパーティション名を取得してパーティションをドロップするため、パーティションのドロップパフォーマンスを向上させることができます。

ゼロ以外の場合、メモリ内でのパーティションファイルメタデータのキャッシングを有効にします。すべてのテーブルは、ファイルメタデータに指定されたバイト数まで使用できるキャッシュを共有します。この設定は、Hive ファイルソースパーティション管理が有効になっている場合にのみ効果があります。

true の場合、データソーステーブルと変換された Hive テーブルの両方に対して、ファイルソーステーブルのメタストアパーティション管理を有効にします。パーティション管理が有効な場合、データソーステーブルはパーティションを Hive メタストアに格納し、spark.sql.hive.metastorePartitionPruning が true に設定されている場合、クエリ計画中にパーティションをプルーニングするためにメタストアを使用します。

true の場合、一部の述語は Hive メタストアにプッシュダウンされるため、一致しないパーティションを早期に除外できます。

メタストアから MetaException が発生した場合、Hive メタストアからすべてのパーティションを取得し、Spark クライアント側でパーティションプルーニングを実行するようにフォールバックするかどうか。これが有効な場合、リストするパーティションが多いと Spark クエリのパフォーマンスが低下する可能性があることに注意してください。無効にすると、Spark はクエリを失敗させます。

この設定が有効な場合、述語が Hive でサポートされていない場合、またはメタストアから MetaException が発生して Spark がフォールバックする場合、Spark は代わりにパーティション名を取得してからクライアント側でフィルター式を評価することによってパーティションをプルーニングします。TimeZoneAwareExpression を持つ述語はサポートされていないことに注意してください。

true に設定されている場合、Hive Thrift Server は SQL クエリを非同期で実行します。

有効な場合、UTF8_BINARY コレーションの下で文字列のケースマッピングを実装するために（JVM の代わりに）ICU ライブラリを使用します。

列キャッシュのバッチサイズを制御します。バッチサイズが大きいと、メモリ使用量と圧縮が改善される可能性がありますが、データをキャッシュする際に OOM を引き起こすリスクがあります。

true に設定すると、Spark SQL はデータ統計に基づいて各列の圧縮コーデックを自動的に選択します。

列キャッシュ用のベクトル化リーダーを有効にします。

spark.sql.inMemoryColumnarStorage.hugeVectorThreshold <= 0 または必要なメモリが spark.sql.inMemoryColumnarStorage.hugeVectorThreshold より小さい場合、spark は必要なメモリの 2 倍のメモリを予約します。それ以外の場合、spark は必要なメモリにこの比率を乗じたメモリを予約し、次のバッチ行を読み取る前にこの列ベクトルメモリを解放します。

必要なメモリがこれより大きい場合、spark は次に必要なメモリの spark.sql.inMemoryColumnarStorage.hugeVectorReserveRatio 倍のメモリを予約し、次のバッチ行を読み取る前にこの列ベクトルメモリを解放します。-1 は最適化を無効にすることを意味します。

true の場合、JSON データソースへのフィルタプッシュダウンを有効にします。

true に設定すると、JSON パーサーで構造体結果を表すために UnsafeRow を使用します。これは、JSON オプション useUnsafeRow で上書きできます。

JSON データソースおよび to_json などの JSON 関数で JSON オブジェクトを生成する際に null フィールドを無視するかどうか。false の場合、JSON オブジェクトの null フィールドに対して null を生成します。

ファイルスキャンノード、ローカルデータスキャンノード、レンジノードなど、データを生成する Spark SQL リーフノードのデフォルトの並列度。この構成のデフォルト値は 'SparkContext#defaultParallelism' です。

組み込み関数 (CreateMap、MapFromArrays、MapFromEntries、StringToMap、MapConcat、TransformKeys) でマップキーを重複排除するポリシー。EXCEPTION の場合、重複マップキーが検出されるとクエリが失敗します。LAST_WIN の場合、最後に挿入されたマップキーが優先されます。

オプションの追加リモート Maven ミラーリポジトリのコンマ区切りの文字列構成。これは、デフォルトの Maven Central リポジトリに到達できない場合に、IsolatedClientLoader で Hive JAR をダウンロードするためにのみ使用されます。

メタデータ文字列の出力最大文字数。例：DataSourceScanExec のファイル場所、長さが上限を超えた場合、各値は省略されます。

プラン文字列の出力最大文字数。プランがこれより長い場合、それ以降の出力は切り捨てられます。デフォルト設定では常に完全なプランが生成されます。プラン文字列がメモリを大量に消費しすぎる、またはドライバーまたは UI プロセスで OutOfMemory エラーを引き起こす場合は、8k のような低い値に設定してください。

単一パーティションで許可される最大バイト数。それ以外の場合、プランナーは並列度を向上させるためにシャッフルを導入します。

true の場合、Apache Spark SQL で演算子パイプ構文を有効にします。これは、クエリが実行するステップのシーケンスを合成可能な方法で記述する manner で、SQL の句の区切りを示すために演算子パイプマーカー |> を使用します。

UDF で高価な式を重複させるプロジェクションの折りたたみ (collapse) を回避するかどうか。

extra の重複を引き起こす場合でも、常に 2 つの隣接するプロジェクションを折りたたみ、式をインライン化するかどうか。

true の場合、パーティション列が結合キーとして使用されるときに、パーティション列の述語を生成します。

SQL オプティマイザーで CSV 式を最適化するかどうか。これには、from_csv から不要な列を削除することが含まれます。

SQL オプティマイザーで JSON 式を最適化するかどうか。これには、from_json から不要な列を削除すること、from_json + to_json の単純化、to_json + named_struct(from_json.col1, from_json.col2, ....) が含まれます。

オプティマイザーで無効にするルールのリストを構成します。ルールはルール名で指定され、コンマで区切られます。一部のルールは正しさのために必要であるため、この構成のすべてのルールが最終的に除外されることが保証されるわけではありません。オプティマイザーは、実際に除外されたルールをログに記録します。

ブルームフィルター適用側プランの集約スキャンサイズのバイトサイズしきい値。ブルームフィルターを挿入するには、ブルームフィルター適用側プランの集約スキャンバイトサイズがこの値を超える必要があります。

ブルームフィルター作成側プランのサイズしきい値。ブルームフィルターの挿入を試みるには、推定サイズがこの値以下である必要があります。

true で、シャッフル結合の片側が選択的な述語を持つ場合、シャッフルデータを削減するために反対側でブルームフィルターを挿入しようとします。

ランタイムブルームフィルターの期待されるアイテムのデフォルト数。

ランタイムブルームフィルターに使用される最大ビット数。

ランタイムブルームフィルターの期待されるアイテムの最大許容数。

ランタイムブルームフィルターに使用されるデフォルトビット数。

グループベースの行レベル操作のランタイムグループフィルタリングを有効にします。グループ (ファイル、パーティションなど) のデータを置き換えるデータソースは、行レベル操作スキャンを計画する際に提供されたデータソースフィルターを使用して、グループ全体をプルーニングできます。ただし、すべての式をデータソースフィルターに変換できるわけではなく、一部の式は Spark によってのみ評価できる (例: サブクエリ) ため、このようなフィルタリングは制限されます。グループの書き換えはコストがかかるため、Spark はランタイムでクエリを実行して、行レベル操作の条件に一致するレコードを特定できます。一致するレコードの情報は行レベル操作スキャンに渡され、データソースは書き換えが必要ないグループを破棄できます。

1 つのクエリに挿入されたランタイムフィルター (DPP 以外) の総数。これは、多数のブルームフィルターによるドライバー OOM を防ぐためです。

true の場合、集計は最適化のために ORC にプッシュダウンされます。集計式として MIN、MAX、COUNT をサポートします。MIN/MAX の場合、ブール値、整数、浮動小数点数、日付型をサポートします。COUNT の場合、すべてのデータ型をサポートします。いずれかの ORC ファイルフッターに統計情報がない場合、例外がスローされます。

ORC ベクトル化リーダーバッチに含まれる行数。オーバーヘッドを最小限に抑え、データの読み取りで OOM を回避するために、この数を慎重に選択する必要があります。

ORC ベクトル化ライターバッチに含まれる行数。オーバーヘッドを最小限に抑え、データの書き込みで OOM を回避するために、この数を慎重に選択する必要があります。

ORC ファイルの書き込み時に使用される圧縮コーデックを設定します。テーブル固有のオプション/プロパティで compression または orc.compress が指定されている場合、優先順位は compression、orc.compress、spark.sql.orc.compression.codec になります。許容される値は、none、uncompressed、snappy、zlib、lzo、zstd、lz4、brotli です。

ネストされた列のベクトル化 ORC デコードを有効にします。

ベクトル化 ORC デコードを有効にします。

true の場合、ORC ファイルへのフィルタプッシュダウンを有効にします。

true の場合、ORC データソースはすべてのデータファイルから収集されたスキーマをマージします。それ以外の場合、スキーマはランダムなデータファイルから選択されます。

true の場合、序数 (ordinal) 番号は SELECT リストでの位置として扱われます。false の場合、ORDER BY または SORT BY 句の序数番号は無視されます。

true の場合、集計は最適化のために Parquet にプッシュダウンされます。集計式として MIN、MAX、COUNT をサポートします。MIN/MAX の場合、ブール値、整数、浮動小数点数、日付型をサポートします。COUNT の場合、すべてのデータ型をサポートします。いずれかの Parquet ファイルフッターに統計情報がない場合、例外がスローされます。

一部の Parquet 生成システム (特に Impala や Spark SQL の古いバージョン) は、Parquet スキーマを書き出す際にバイナリデータと文字列を区別しません。このフラグは、これらのシステムとの互換性を提供するために、Spark SQL がバイナリデータを文字列として解釈するように指示します。

Parquet ベクトル化リーダーバッチに含まれる行数。オーバーヘッドを最小限に抑え、データの読み取りで OOM を回避するために、この数を慎重に選択する必要があります。

Parquet ファイルの書き込み時に使用される圧縮コーデックを設定します。テーブル固有のオプション/プロパティで compression または parquet.compression が指定されている場合、優先順位は compression、parquet.compression、spark.sql.parquet.compression.codec になります。許容される値は、none、uncompressed、snappy、gzip、lzo、brotli、lz4、lz4_raw、zstd です。

ネストされた列 (struct、list、map など) のベクトル化 Parquet デコードを有効にします。spark.sql.parquet.enableVectorizedReader が有効になっている必要があります。

ベクトル化 Parquet デコードを有効にします。

フィールド ID は Parquet スキーマ仕様のネイティブフィールドです。有効にすると、Parquet リーダーは、要求された Spark スキーマのフィールド ID (存在する場合) を使用して、列名ではなく Parquet フィールドを検索します。

Parquet ファイルにフィールド ID がなく、Spark の読み取りスキーマがフィールド ID を使用して読み取っている場合、このフラグが有効になっていると null がサイレントに返され、それ以外の場合はエラーになります。

フィールド ID は Parquet スキーマ仕様のネイティブフィールドです。有効にすると、Parquet ライターは、Spark スキーマに (存在する場合) フィールド ID メタデータを Parquet スキーマに書き込みます。

true に設定すると、Parquet フィルタプッシュダウン最適化が有効になります。

有効にすると、注釈 isAdjustedToUTC = false を持つ Parquet タイムスタンプ列は、スキーマ推論中に TIMESTAMP_NTZ 型として推論されます。それ以外の場合、すべての Parquet タイムスタンプ列は TIMESTAMP_LTZ 型として推論されます。Spark はファイル書き込み時に出力スキーマを Parquet のフッターメタデータに書き込み、ファイル読み取り時にそれを利用することに注意してください。したがって、この構成は、Spark によって書き込まれていない Parquet ファイルのスキーマ推論にのみ影響します。

一部の Parquet 生成システム (特に Impala) は、INT96 にタイムスタンプを格納します。ナノ秒フィールドの精度低下を回避する必要があるため、Spark もタイムスタンプを INT96 として格納します。このフラグは、これらのシステムとの互換性を提供するために、Spark SQL が INT96 データをタイムスタンプとして解釈するように指示します。

Impala によって書き込まれたデータの場合、INT96 データをタイムスタンプに変換する際にタイムスタンプ調整を適用するかどうかを制御します。これは、Impala が Hive & Spark とは異なるタイムゾーンオフセットで INT96 データを格納するため、必要です。

true の場合、Parquet データソースはすべてのデータファイルから収集されたスキーマをマージします。それ以外の場合、スキーマはサマリーファイルから、またはサマリーファイルがない場合はランダムなデータファイルから選択されます。

Spark が Parquet ファイルにデータを書き込む際に使用する Parquet タイムスタンプ型を設定します。INT96 は Parquet で非標準ですが一般的に使用されるタイムスタンプ型です。TIMESTAMP_MICROS は Parquet で標準のタイムスタンプ型であり、Unix エポックからのマイクロ秒数を格納します。TIMESTAMP_MILLIS も標準ですが、ミリ秒精度であり、Spark はタイムスタンプ値のマイクロ秒部分を切り捨てる必要があります。

true の場合、プッシュダウンされたフィルターを使用した Parquet のネイティブレコードレベルフィルタリングを有効にします。この構成は、'spark.sql.parquet.filterPushdown' が有効で、ベクトル化リーダーが使用されていない場合にのみ効果があります。'spark.sql.parquet.enableVectorizedReader' を false に設定することで、ベクトル化リーダーが使用されていないことを確認できます。

true の場合、Parquet のすべてのパートファイルがサマリーファイルと一貫していると仮定し、スキーマのマージ時にそれらを無視します。それ以外の場合 (false、デフォルト)、すべてのパートファイルをマージします。これは上級者向けオプションであり、正確な意味を理解する前に有効にすべきではありません。

true の場合、データは Spark 1.4 以前の方法で書き込まれます。たとえば、Decimal 値は Apache Parquet の固定長バイト配列形式で書き込まれます。これは Apache Hive や Apache Impala などの他のシステムが使用する形式です。false の場合、Parquet の新しい形式が使用されます。たとえば、Decimal は整数ベースの形式で書き込まれます。Parquet 出力がこの新しい形式をサポートしないシステムでの使用を意図している場合は、true に設定してください。

true の場合、SELECT ステートメントの引用符で囲まれた識別子 (バックティックを使用) は正規表現として解釈されます。

ピボット列の値が指定されていないピボットを行う場合、エラーなしで収集される (一意な) 値の最大数。

Spark ドライバーで Python コードを実行するためのメモリ割り当てを MiB 単位で指定します。設定すると、Python 実行のメモリはその指定された量に制限されます。設定されていない場合、Spark は Python のメモリ使用量を制限せず、アプリケーションが他の非 JVM プロセスと共有されるオーバーヘッドメモリ領域を超えないようにするのはアプリケーション次第です。注意: Windows はリソース制限をサポートしておらず、MacOS では実際のリソースは制限されません。

true の場合、Spark は CHAR/VARCHAR 型を STRING 型に置き換えません。これは Spark 3.0 以前のバージョンでのデフォルトの動作です。これにより、CHAR/VARCHAR 型の長さチェックが強制され、CHAR 型も適切にパディングされます。

PySpark の SparkSession.createDataFrame は、デフォルトでネストされた辞書をマップとして推論します。true に設定すると、ネストされた辞書を構造体として推論します。

true の場合、Python スタックトレースと並んで、ユーザー側の PySpark 例外に JVM スタックトレースが表示されます。デフォルトでは、JVM スタックトレースを非表示にし、Python フレンドリーな例外のみを表示するために無効になっています。これはログレベル設定とは独立していることに注意してください。

プロットの視覚的制限。トップ N ベースのプロット (円グラフ、棒グラフ、横棒グラフ) に 1000 が設定されている場合、最初の 1000 データポイントがプロットに使用されます。サンプリングベースのプロット (散布図、面積図、線図) では、1000 データポイントがランダムにサンプリングされます。

"perf" または "memory" のタイプを選択して有効または無効にすることで Python/Pandas UDF プロファイラーを構成します。または、構成を解除するとプロファイラーが無効になります。デフォルトでは無効です。

true の場合、Spark は CHAR 型列/フィールドを読み取る際に、書き込み側パディングに加えて文字列パディングを適用します。この構成は、外部テーブルのようなケースで CHAR 型のセマンティクスをより適切に強制するために、デフォルトで true になっています。

Spark SQL コマンドのオプションマップのどのキーが機密情報を含むかを決定する正規表現。この正規表現に一致する名前のオプションの値は、explain 出力で赤外線処理されます。この赤外線処理は、spark.redaction.regex によって定義されるグローバル赤外線処理構成の上に適用されます。

Spark が生成する文字列のどの部分が機密情報を含むかを決定する正規表現。この正規表現が文字列の部分に一致すると、その文字列の部分はダミー値に置き換えられます。これは現在、SQL explain コマンドの出力を赤外線処理するために使用されています。この構成が設定されていない場合、spark.redaction.string.regex の値が使用されます。

早期評価を有効にするかどうか。true の場合、Dataset の上位 K 行は、REPL が早期評価をサポートしている場合にのみ表示されます。現在、早期評価は PySpark と SparkR でサポートされています。PySpark では、Jupyter のようなノートブックの場合、HTML テーブル (repr_html によって生成される) が返されます。プレーン Python REPL の場合、返される出力は dataframe.show() のような形式になります。SparkR では、返される出力は R data.frame のように表示されます。

早期評価によって返される行の最大数。これは spark.sql.repl.eagerEval.enabled が true に設定されている場合にのみ有効です。この構成の有効範囲は 0 から (Int.MaxValue - 1) までなので、負の値や (Int.MaxValue - 1) より大きい無効な構成は 0 および (Int.MaxValue - 1) に正規化されます。

早期評価によって返される各セルの最大文字数。これは spark.sql.repl.eagerEval.enabled が true に設定されている場合にのみ有効です。

SQL スクリプティング機能は開発中であり、この機能フラグの下で使用する必要があります。SQL スクリプティングにより、ユーザーは制御フローやエラーハンドリングを含む手続き型 SQL を記述できます。

シリアライズ後にドライバー側でキャッシュされるローカルリレーションのサイズ (バイト単位) のしきい値。

セッションローカルタイムゾーンの ID。地域ベースのゾーン ID またはゾーンオフセットの形式です。地域 ID は 'area/city' の形式である必要があります (例: 'America/Los_Angeles')。ゾーンオフセットは '(+|-)HH'、'(+|-)HH:mm'、または '(+|-)HH:mm:ss' の形式である必要があります (例: '-08'、'+01:00'、または '-13:33:33')。また、'UTC' と 'Z' は '+00:00' のエイリアスとしてサポートされています。他の短い名前は曖昧である可能性があるため、使用は推奨されません。

結合や集計のためにデータをシャッフルする際に使用されるデフォルトのパーティション数。注意: 構造化ストリーミングの場合、この構成は同じチェックポイント場所からのクエリ再開間で変更できません。

有効にすると、Spark Connect SQL 実行の終了時にシャッフルファイルがクリーンアップされます。

有効にすると、Spark Connect SQL 実行のシャッフル依存関係は実行の終了時にマークされ、廃止中に移行されません。

小さい側のデータサイズにこの係数を乗じたものが大きい側より小さい場合、シャッフルハッシュ結合が選択される可能性があります。

true の場合、クエリプランに基づいて入力テーブルでバケットスキャンを実行するかどうかを自動的に決定します。1. クエリにバケットを利用する演算子がない (例: join、group-by など) 場合、または 2. これらの演算子とテーブルスキャンの間に exchange 演算子がある場合、バケットスキャンは使用されません。'spark.sql.sources.bucketing.enabled' が false に設定されている場合、この構成は効果がないことに注意してください。

false の場合、バケット化されたテーブルを通常のテーブルとして扱います。

許可される最大バケット数。

入力/出力で使用されるデフォルトのデータソース。

ドライバー側でファイルをリストするための最大パス数。パーティション検出中に検出されたパスの数がこの値を超えた場合、別の Spark 分散ジョブでファイルをリストしようとします。この構成は、Parquet、JSON、ORC などのファイルベースのソースを使用する場合にのみ有効です。

true の場合、パーティション化された列のデータ型を自動的に推論します。

パーティション化されたデータソーステーブルに INSERT OVERWRITE する場合、現在 2 つのモードをサポートしています: static と dynamic。静的モードでは、Spark は INSERT ステートメントのパーティション指定 (例: PARTITION(a=1,b)) に一致するすべてのパーティションを、上書き前に削除します。動的モードでは、Spark は事前にパーティションを削除せず、ランタイムで書き込まれたパーティションのみを上書きします。デフォルトでは、Spark 2.3 より前の動作を維持するために静的モードを使用します。Hive serde テーブルには影響しないことに注意してください。これらは常に動的モードで上書きされます。これは、データソースの出力オプションとして key partitionOverwriteMode (この設定より優先される) を使用して設定することもできます。例: dataframe.write.option("partitionOverwriteMode", "dynamic").save(path)。

パーティション変換が互換性はあるが同一ではない場合に、ストレージパーティション結合を許可するかどうか。この構成には、spark.sql.sources.v2.bucketing.enabled と spark.sql.sources.v2.bucketing.pushPartValues.enabled の両方が有効であり、spark.sql.sources.v2.bucketing.partiallyClusteredDistribution.enabled が無効である必要があります。

結合キーがソーステーブルのパーティションキーのサブセットである場合に、ストレージパーティション結合を許可するかどうか。計画時に、Spark は結合キーに含まれるキーのみでパーティションをグループ化します。これは現在、spark.sql.requireAllClusterKeysForDistribution が false の場合にのみ有効です。

spark.sql.sources.bucketing.enabled と同様に、この構成は V2 データソースのバケット化を有効にするために使用されます。オンにすると、Spark は SupportsReportPartitioning を介して V2 データソースから報告された特定の分布を認識し、必要に応じてシャッフルを回避しようとします。

ストレージパーティション化された結合中に、両方の結合側が KeyGroupedPartitioning の場合、入力パーティションが部分的にクラスタリングされることを許可するかどうか。計画時に、Spark はテーブル統計に基づいてデータ量が少ない側を選択し、それらをグループ化および複製して反対側と一致させます。これはスキュー結合の最適化であり、特定のパーティションに大量のデータが割り当てられている場合のデータスキューを減らすのに役立ちます。この構成には、spark.sql.sources.v2.bucketing.enabled と spark.sql.sources.v2.bucketing.pushPartValues.enabled の両方が有効である必要があります。

ストレージパーティション結合を実行する際にパーティションをフィルタリングするかどうか。有効にすると、反対側で一致しないパーティションは、結合タイプによって許可される場合、スキャンから除外できます。この構成には、spark.sql.sources.v2.bucketing.enabled と spark.sql.sources.v2.bucketing.pushPartValues.enabled の両方が有効である必要があります。

spark.sql.sources.v2.bucketing.enabled が有効な場合に、共通のパーティション値をプッシュダウンするかどうか。オンにすると、結合の両側が KeyGroupedPartitioning であり、互換性のあるパーティションキーを共有している場合、それらが正確に同じパーティション値を持っていなくても、Spark はパーティション値のスーパーセットを計算し、その情報をスキャンノードにプッシュダウンします。これにより、不要なシャッフルが削除されます。

ストレージパーティション化された結合中に、片側のみをシャッフルすることを許可するかどうか。片側のみが KeyGroupedPartitioning の場合、条件が満たされれば、spark は反対側のみをシャッフルします。この最適化により、シャッフルが必要なデータ量が削減されます。この構成には spark.sql.sources.v2.bucketing.enabled が有効である必要があります。

オンにすると、Spark は SupportsReportPartitioning を介して V2 データソースから報告された特定の分布を認識し、それらの列でソートする場合に可能な限りシャッフルを回避しようとします。この構成には spark.sql.sources.v2.bucketing.enabled が有効である必要があります。

キャプチャされた DataFrame クエリコンテキスト内の非 Spark スタックトレースの数。

true の場合、テーブルメタデータからテーブル統計が利用できない場合は HDFS にフォールバックします。これは、テーブルがブロードキャスト結合に使用できるほど小さいかどうかを判断するのに役立ちます。このフラグは、パーティション化されていない Hive テーブルに対してのみ有効です。パーティション化されていないデータソーステーブルの場合、テーブル統計が利用できない場合は自動的に再計算されます。パーティション化されたデータソースおよびパーティション化された Hive テーブルの場合、テーブル統計が利用できない場合は 'spark.sql.defaultSizeInBytes' になります。

有効にすると、列統計の計算時にヒストグラムを生成します。ヒストグラムは、より良い推定精度を提供できます。現在、Spark は等高ヒストグラムのみをサポートしています。ヒストグラムの収集には追加のコストがかかることに注意してください。たとえば、列統計の収集は通常 1 回のテーブルスキャンで済みますが、等高ヒストグラムの生成は追加のテーブルスキャンを引き起こします。

テーブルのデータが変更されると、テーブルサイズの自動更新を有効にします。テーブルの総ファイル数が非常に多い場合、これはコストがかかり、データ変更コマンドを遅くする可能性があることに注意してください。

この構成が有効な場合、Spark は analyze table コマンド (つまり、ANALYZE TABLE .. COMPUTE STATISTICS [NOSCAN]) でもパーティション統計を更新します。コマンドもより高価になることに注意してください。この構成が無効な場合、Spark はテーブルレベルの統計のみを更新します。

異なるデータ型の列に値を挿入する際、Spark は型変換を実行します。現在、型変換ルールには 3 つのポリシーをサポートしています: ANSI、legacy、strict。ANSI ポリシーでは、Spark は ANSI SQL に従って型変換を実行します。実際には、その動作は PostgreSQL とほぼ同じです。string を int に変換したり、double を boolean に変換したりするような、不合理な型変換を許可しません。legacy ポリシーでは、Spark は有効な Cast である限り型変換を許可します。これは非常に緩やかです。たとえば、string を int に変換したり、double を boolean に変換したりすることが許可されます。これは Spark 2.x の唯一の動作であり、Hive と互換性があります。strict ポリシーでは、Spark は型変換で精度が失われたりデータが切り捨てられたりする可能性のある変換を許可しません。たとえば、double を int に変換したり、decimal を double に変換したりすることは許可されません。

ストリーミングクエリのチェックポイントデータを保存するためのデフォルトの場所。

遅延エポックを待つためにキューに保存されるエントリの最大数。キューのサイズがこのパラメータを超えた場合、ストリームはエラーで停止します。

StreamWriteSupport が無効になっているデータソース登録クラス名の完全修飾名のコンマ区切りリスト。これらのソースへの書き込みは、V1 シンクにフォールバックします。

ファイルソースの完了ファイルクリーナーで使用されるスレッド数。

true の場合、一時チェックポイント場所の強制削除を有効にします。

アクティブなストリーミングクエリに対して Dropwizard/Codahale メトリクスが報告されるかどうか。

ストリーミングクエリに複数のウォーターマーク演算子がある場合に、グローバルウォーターマーク値を計算するためのポリシー。デフォルト値は 'min' で、複数の演算子にわたる最小ウォーターマークを選択します。別の値は 'max' で、複数の演算子にわたる最大値を選択します。注意: この構成は、同じチェックポイント場所からのクエリ再開間で変更できません。

ステートフルストリーミングクエリの積極的な状態管理のために、ストリーミングマイクロバッチエンジンがデータのないバッチを実行するかどうか。

ストリーミングクエリのために保持される進捗更新の数。

true の場合、ストリーミングセッションウィンドウは、シャッフルする前にローカルパーティションでセッションをソートおよびマージします。これは、シャッフルされる行を減らすためですが、バッチで多くの行が同じセッションに割り当てられている場合にのみ有益です。

ステートフル演算子がステートストアに情報を格納するために使用するエンコーディング形式。

true の場合、Spark は既存の状態に対するスキーマに対して状態スキーマを検証し、互換性がない場合はクエリを失敗させます。

同じストリーミングクエリの複数の実行を同時に実行することはサポートされていません。同じ SparkSession または異なる SparkSession で同じストリーミングクエリの同時アクティブ実行が見つかり、このフラグが true の場合、新しいストリーミングクエリ実行を開始するために古いストリーミングクエリ実行を停止します。

ストリーミングクエリの stop() メソッドを呼び出すときに、ストリーミング実行スレッドが停止するのを待つ時間 (ミリ秒)。0 または負の値は無期限に待機します。

transformWithState 演算子によって使用される状態スキーマのバージョン。

true の場合、1 つのクエリをキャンセルすると、すべての実行中のタスクが中断されます。false の場合、すべての実行中のタスクは完了するまで続行されます。

Thrift Server でクエリ期間のタイムアウトを秒単位で設定します。タイムアウトが正の値に設定されている場合、タイムアウトを超えると実行中のクエリは自動的にキャンセルされます。それ以外の場合、クエリは完了まで実行を続行します。java.sql.Statement.setQueryTimeout を介して各ステートメントのタイムアウト値が設定されており、この構成値よりも小さい場合、それらが優先されます。このタイムアウトを設定し、タスクの完了を待たずにクエリをすぐにキャンセルしたい場合は、spark.sql.thriftServer.interruptOnCancel も有効にすることを検討してください。

JDBC クライアントセッションの Fair Scheduler プールを設定します。

JDBC/ODBC Web UI の履歴に保持される SQL クライアントセッション数。

JDBC/ODBC Web UI の履歴に保持される SQL ステートメント数。

テーブルを読み取る際に時間移動タイムスタンプを指定するオプション名。

テーブルを読み取る際に時間移動テーブルバージョンを指定するオプション名。

SQL DDL、Cast 句、型リテラル、およびデータソースのスキーマ推論を含む、Spark SQL のデフォルトのタイムスタンプ型を構成します。構成を TIMESTAMP_NTZ に設定すると、デフォルト型として TIMESTAMP WITHOUT TIME ZONE を使用します。TIMESTAMP_LTZ に設定すると、TIMESTAMP WITH LOCAL TIME ZONE を使用します。3.4.0 リリースより前は、Spark は TIMESTAMP WITH LOCAL TIME ZONE 型のみをサポートしていました。

インデックス列の値が指定されていないトランスポーズを行う場合、エラーなしでトランスポーズされる値の最大数。

true の場合、テーブル値関数で複数のテーブル引数を許可し、それらのテーブルのすべての行のデカルト積を受け取ります。

Spark SQL UI で使用されるクエリ説明モードを構成します。値は 'simple'、'extended'、'codegen'、'cost'、または 'formatted' にすることができます。デフォルト値は 'formatted' です。

これは、${var}、${system:var}、および ${env:var} のような構文を使用した置換を有効にします。

SQL データをより効率的にキャッシュできる形式に変換するために使用される、org.apache.spark.sql.columnar.CachedBatchSerializer を実装するクラスの名前。基盤となる API は変更される可能性があるため、注意して使用してください。複数のクラスを指定することはできません。クラスには引数なしのコンストラクタが必要です。

セッションカタログのデフォルトデータベース。

イベントに追加される前に、SQL の長さが切り捨てられるしきい値。デフォルトは切り捨てなしです。0 に設定すると、代わりに callsites がログに記録されます。

Spark Session 拡張機能を構成するために使用される Function1[SparkSessionExtensions, Unit] を実装するクラスのコンマ区切りリスト。クラスには引数なしのコンストラクタが必要です。複数の拡張機能が指定されている場合、指定された順序で適用されます。ルールとプランナ戦略の場合、指定された順序で適用されます。パーサーの場合、最後のパーサーが使用され、各パーサーは前のパーサーに委譲できます。関数名の競合の場合、最後に登録された関数名が使用されます。

SparkSessionExtensionsProvider メカニズムを使用してクラスパスから拡張機能をロードするかどうかを決定するフラグ。これはテスト専用フラグです。

Spark SQL が通信している Hive の各バージョンに対して明示的にリロードする必要があるクラスプレフィックスのコンマ区切りリスト。たとえば、通常共有されるプレフィックス (例: org.apache.spark.*) で宣言された Hive UDF。

HiveMetastoreClient をインスタンス化するために使用される JAR の場所。このプロパティは 4 つのオプションのいずれかになります: 1. "builtin" Spark アセンブリにバンドルされている Hive 2.3.10 を使用します (-Phive が有効な場合)。このオプションを選択した場合、spark.sql.hive.metastore.version は 2.3.10 であるか、定義されていない必要があります。2. "maven" 指定されたバージョンの Hive JAR を Maven リポジトリからダウンロードして使用します。3. "path" spark.sql.hive.metastore.jars.path でコンマ区切りの形式で構成された Hive JAR を使用します。ローカルまたはリモートパスの両方をサポートします。提供される JAR は spark.sql.hive.metastore.version と同じバージョンである必要があります。4. Hive と Hadoop の両方の標準形式のクラスパス。提供される JAR は spark.sql.hive.metastore.version と同じバージョンである必要があります。

HiveMetastoreClient をインスタンス化するために使用される JAR のコンマ区切りパス。この構成は、spark.sql.hive.metastore.jars が path に設定されている場合にのみ役立ちます。パスは次のいずれかの形式になります: 1. file://path/to/jar/foo.jar 2. hdfs://nameservice/path/to/jar/foo.jar 3. /path/to/jar/ (URI スキームのないパスは conf fs.defaultFS の URI スキームに従います) 4. [http/https/ftp]://path/to/jar/foo.jar 注: 1、2、3 はワイルドカードをサポートします。例: 1. file://path/to/jar/,file://path2/to/jar//.jar 2. hdfs://nameservice/path/to/jar/,hdfs://nameservice2/path/to/jar//.jar

Spark SQL と特定の Hive バージョン間で共有されるクラスローダーを使用してロードする必要があるクラスプレフィックスのコンマ区切りリスト。共有される必要があるクラスの例としては、メタストアとの通信に必要な JDBC ドライバーがあります。共有される必要がある他のクラスは、既に共有されているクラスと相互作用するクラスです。たとえば、log4j で使用されるカスタムアペンダー。

Hive メタストアのバージョン。利用可能なオプションは 2.0.0 から 2.3.10、3.0.0 から 3.1.3、4.0.0 から 4.0.1 です。

true に設定すると、Hive Thrift Server はシングルセッションモードで実行されます。すべての JDBC/ODBC 接続は、一時ビュー、関数レジストリ、SQL 構成、および現在のデータベースを共有します。

Spark ディストリビューションにバンドルされている、コンパイル済みの (つまり、組み込みの) Hive バージョン。これは読み取り専用の構成であり、組み込み Hive バージョンを報告するためにのみ使用されることに注意してください。Spark が呼び出すための異なるメタストアクライアントが必要な場合は、spark.sql.hive.metastore.version を参照してください。

メタデータキャッシュ (パーティションファイルメタデータキャッシュおよびセッションカタログキャッシュ) の TTL (Time-to-Live) 値。この構成は、この値が正の値 (> 0) を持つ場合にのみ効果があります。また、'spark.sql.catalogImplementation' が hive に設定され、'spark.sql.hive.filesourcePartitionFileCacheSize' が > 0 に設定され、'spark.sql.hive.manageFilesourcePartitions' が true に設定されている必要があります。

新しく作成されたセッションに自動的に追加される QueryExecutionListener を実装するクラス名のリスト。クラスは、引数なしのコンストラクタ、または SparkConf 引数を受け取るコンストラクタを持つ必要があります。

無効にされている JDBC 接続プロバイダーのリストを構成します。リストには、コンマで区切られた JDBC 接続プロバイダーの名前が含まれます。

新しく作成されたセッションに自動的に追加される StreamingQueryListener を実装するクラス名のリスト。クラスは、引数なしのコンストラクタ、または SparkConf 引数を受け取るコンストラクタを持つ必要があります。

Spark Web UI が有効な場合に、Spark アプリケーションで構造化ストリーミング Web UI を実行するかどうか。

構造化ストリーミング UI のストリーミングクエリのために保持される進捗更新の数。

構造化ストリーミング UI のために保持される非アクティブなクエリの数。

Spark UI で保持される実行の数。

管理データベースおよびテーブルのデフォルトの場所。

サーバー側でプッシュベースシャッフルを有効にするには、この構成を org.apache.spark.network.shuffle.RemoteBlockPushResolver に設定します。

プッシュベースシャッフル中に、マージされたシャッフルファイルを複数のチャンクに分割する際のチャンクの最小サイズ。マージされたシャッフルファイルは、複数の小さなシャッフルブロックで構成されます。完全なマージされたシャッフルファイルを 1 回のディスク I/O で取得すると、クライアントと外部シャッフルサービスの両方のメモリ要件が増加します。代わりに、外部シャッフルサービスは MB サイズのチャンク でマージされたファイルをサービスします。
この構成は、チャンクのサイズを制御します。各マージされたシャッフルファイルには、チャンクの境界を示すインデックスファイルが生成されます。

これを高く設定すると、クライアントと外部シャッフルサービスの両方でメモリ要件が増加します。

これを低く設定すると、RPC リクエストの総数が不必要に外部シャッフルサービスに増加します。

リモート外部シャッフルサービスにプッシュする個々のブロックの最大サイズ。このしきい値を超えるブロックは、リモートでマージするためにプッシュされません。これらのシャッフルブロックは、元の方法でフェッチされます。

これを高く設定すると、より多くのブロックがリモート外部シャッフルサービスにプッシュされますが、それらは既存のメカニズムで既に効率的にフェッチされているため、大きなブロックをリモート外部シャッフルサービスにプッシュする追加のオーバーヘッドが発生します。spark.shuffle.push.maxBlockSizeToPush を spark.shuffle.push.maxBlockBatchSize 構成の値よりも小さく設定することをお勧めします。

これを低く設定すると、より少ないブロックがマージされ、マッパー外部シャッフルサービスから直接フェッチされるため、小さなランダム読み取りが増加し、全体的なディスク I/O パフォーマンスに影響します。