適応型最適化中（spark.sql.adaptive.enabledがtrueの場合）のシャッフルパーティションの推奨サイズ（バイト単位）。Sparkが小さなシャッフルパーティションを結合したり、歪んだシャッフルパーティションを分割したりする際に有効になります。

結合の実行時に、すべてのワーカーノードにブロードキャストされるテーブルの最大サイズ（バイト単位）を設定します。この値を-1に設定すると、ブロードキャストを無効にできます。デフォルト値はspark.sql.autoBroadcastJoinThresholdと同じです。この設定は、適応型フレームワークでのみ使用されることに注意してください。

trueで 'spark.sql.adaptive.enabled' がtrueの場合、Sparkは、ターゲットサイズ（'spark.sql.adaptive.advisoryPartitionSizeInBytes'で指定）に従って連続したシャッフルパーティションを結合し、小さすぎるタスクが多くなるのを防ぎます。

結合する前のシャッフルパーティションの初期数。設定されていない場合、spark.sql.shuffle.partitionsと等しくなります。この設定は、'spark.sql.adaptive.enabled' と 'spark.sql.adaptive.coalescePartitions.enabled' の両方がtrueの場合にのみ有効です。

結合後のシャッフルパーティションの最小サイズ。パーティション結合中に適応的に計算されたターゲットサイズが小さすぎる場合に役立ちます。

trueの場合、Sparkは連続したシャッフルパーティションの結合時に 'spark.sql.adaptive.advisoryPartitionSizeInBytes'（デフォルト64MB）で指定されたターゲットサイズを尊重せず、Sparkクラスタのデフォルトの並列処理に応じてターゲットサイズを適応的に計算します。計算されたサイズは、通常、設定されたターゲットサイズよりも小さくなります。これは、並列処理を最大化し、適応型クエリ実行を有効にした場合のパフォーマンスの低下を防ぐためです。この設定をfalseに設定し、設定されたターゲットサイズを尊重することをお勧めします。

適応型実行に使用されるカスタムコスト評価クラス。設定されていない場合、Sparkはデフォルトで独自のSimpleCostEvaluatorを使用します。

trueの場合、適応型クエリ実行を有効にします。これは、正確なランタイム統計に基づいて、クエリ実行の途中でクエリプランを再最適化します。

trueの場合、追加のシャッフルが導入されても、OptimizeSkewedJoinを強制的に有効にします。

trueで 'spark.sql.adaptive.enabled' がtrueの場合、Sparkは、シャッフルパーティションが不要な場合（たとえば、ソートマージ結合をブロードキャストハッシュ結合に変換した後）、ローカルシャッフルリーダーを使用してシャッフルデータの読み取りを試みます。

ローカルハッシュマップの構築を許可できるパーティションあたりの最大サイズ（バイト単位）を設定します。この値がspark.sql.adaptive.advisoryPartitionSizeInBytesより小さくなく、すべてのパーティションサイズがこの設定より大きくない場合、結合選択は、spark.sql.join.preferSortMergeJoinの値に関係なく、ソートマージ結合ではなくシャッフルハッシュ結合を使用することを優先します。

trueで 'spark.sql.adaptive.enabled' がtrueの場合、SparkはRebalancePartitions内の歪んだシャッフルパーティションを最適化し、ターゲットサイズ（'spark.sql.adaptive.advisoryPartitionSizeInBytes'で指定）に従ってそれらをより小さなパーティションに分割して、データの歪みを防ぎます。

適応型オプティマイザで無効にするルールのリストを設定します。ルールはルール名で指定され、カンマで区切られます。オプティマイザは、実際に除外されたルールをログに記録します。

パーティションのサイズがこのファクタにspark.sql.adaptive.advisoryPartitionSizeInBytesを掛けた値より小さい場合、分割中にそのパーティションはマージされます。

trueで 'spark.sql.adaptive.enabled' がtrueの場合、Sparkは、歪んだパーティションを分割（必要に応じてレプリケート）することで、シャッフル結合（ソートマージとシャッフルハッシュ）の歪みを動的に処理します。

パーティションのサイズが、中央値のパーティションサイズにこのファクタを掛けた値より大きく、また 'spark.sql.adaptive.skewJoin.skewedPartitionThresholdInBytes' よりも大きい場合、そのパーティションは歪んでいると見なされます。

パーティションのサイズ（バイト単位）がこの閾値より大きく、また中央値のパーティションサイズに 'spark.sql.adaptive.skewJoin.skewedPartitionFactor' を掛けた値よりも大きい場合、そのパーティションは歪んでいると見なされます。理想的には、この設定は 'spark.sql.adaptive.advisoryPartitionSizeInBytes' よりも大きく設定する必要があります。

trueの場合、Sparkは実装されているすべての関数に対して名前付きパラメータのサポートを有効にします。

trueで 'spark.sql.ansi.enabled' がtrueの場合、Spark SQLは二重引用符（"）で囲まれたリテラルを識別子として読み取ります。falseの場合、文字列リテラルとして読み取られます。

trueの場合、Spark SQLはHive準拠ではなく、ANSI準拠のダイアレクトを使用します。たとえば、SQL演算子/関数の入力が無効な場合、Sparkはnullの結果を返すのではなく、ランタイム時に例外をスローします。このダイアレクトの詳細は、Sparkのドキュメントの「ANSI準拠」セクションにあります。一部のANSIダイアレクト機能は、ANSI SQL標準から直接のものではない場合がありますが、その動作はANSI SQLのスタイルに準拠しています。

trueで 'spark.sql.ansi.enabled' がtrueの場合、Spark SQLパーサーはANSI予約語を強制し、予約語をエイリアス名やテーブル、ビュー、関数などの識別子として使用するSQLクエリを禁止します。

trueで 'spark.sql.ansi.enabled' がtrueの場合、関係を結合する際にJOINはカンマよりも優先されます。たとえば、t1, t2 JOIN t3はt1 X (t2 X t3)になります。この設定がfalseの場合、結果は(t1 X t2) X t3になります。

JOIN実行時にすべてのワーカーノードにブロードキャストされるテーブルの最大サイズ（バイト単位）を設定します。この値を-1に設定すると、ブロードキャストを無効にできます。現在、統計情報は、`ANALYZE TABLE <tableName> COMPUTE STATISTICS noscan`コマンドが実行されたHiveメタストアテーブルと、ファイルベースのデータソーステーブル（統計情報がデータファイル上で直接計算されるもの）でのみサポートされていることに注意してください。

AVROファイル書き込みで使用される圧縮コーデック。サポートされているコーデック：uncompressed、deflate、snappy、bzip2、xz、zstandard。デフォルトコーデックはsnappyです。

AVROファイルの書き込みで使用されるdeflateコーデックの圧縮レベル。有効な値は1～9の範囲、または-1です。デフォルト値は-1で、現在の実装ではレベル6に対応します。

trueの場合、Avroデータソースへのフィルタプッシュダウンを有効にします。

ブロードキャスト結合におけるブロードキャスト待機時間のタイムアウト（秒単位）。

trueの場合、バケット数の異なる2つのバケット化されたテーブルを結合する場合、バケット数の多い方のテーブルは、もう一方のテーブルと同じバケット数になるように結合されます。バケット数の多い方は、バケット数の少ない方で割り切れる必要があります。バケットの結合は、ソートマージ結合とシャッフルハッシュ結合に適用されます。注：バケット化されたテーブルの結合により、結合時の不要なシャッフルを回避できますが、並列処理も低下し、シャッフルハッシュ結合でOOMが発生する可能性もあります。

結合される2つのバケット数の比率は、バケット結合が適用されるためにはこの値以下である必要があります。この設定は、「spark.sql.bucketing.coalesceBucketsInJoin.enabled」がtrueに設定されている場合のみ有効です。

Sparkの組み込みv1カタログに対するv2インターフェースとして使用されるカタログ実装：spark_catalog。このカタログは、spark_catalogと識別子名前空間を共有し、それとの整合性がなければなりません。たとえば、spark_catalogでテーブルを読み込むことができる場合、このカタログもテーブルのメタデータを返す必要があります。spark_catalogへの操作を委任するために、実装は「CatalogExtension」を拡張できます。

trueに設定すると、計画統計の推定にCBOを有効にします。

コストベースの結合列挙にスター結合フィルタのヒューリスティックを適用します。

動的計画法で許可される結合ノードの最大数。

CBOでの結合順序変更を有効にします。

trueの場合、論理計画はカタログから行数と列統計を取得します。

trueの場合、スタースキーマ検出に基づいた結合順序変更を有効にします。

trueの場合、SparkはCREATE/REPLACE/ALTER TABLEコマンドでCHAR型をVARCHAR型に置き換えるため、新しく作成/更新されたテーブルにはCHAR型の列/フィールドが含まれません。CHAR型の列/フィールドを持つ既存のテーブルは、この設定の影響を受けません。

trueに設定されている場合、spark-sql CLIはクエリ出力の列名を印刷します。

解析に失敗した生の/未解析のJSONおよびCSVレコードを格納するための内部列の名前。

trueの場合、CSVデータソースへのフィルタプッシュダウンを有効にします。

この設定プロパティがtrueに設定されている場合、Java 8 APIの`java.time.Instant`と`java.time.LocalDate`クラスが、Catalystの`TimestampType`と`DateType`の外部型として使用されます。falseに設定されている場合、同じ目的で`java.sql.Timestamp`と`java.sql.Date`が使用されます。

デバッグ出力で文字列に変換できるシーケンスのようなエントリのフィールドの最大数。制限を超える要素は削除され、「... N more fields」プレースホルダーに置き換えられます。

デフォルトカタログの名前。これは、ユーザーが現在のカタログを明示的にまだ設定していない場合の現在のカタログになります。

PRETTYの場合、エラーメッセージは、エラークラス、メッセージ、クエリコンテキストのテキスト表現で構成されます。MINIMALとSTANDARDの形式は、STANDARDが追加のJSONフィールド`message`を含むかなりきれいなJSON形式です。この設定プロパティは、クエリ実行中のThrift ServerとSQL CLIのエラーメッセージに影響します。

(Spark 3.0以降非推奨、'spark.sql.execution.arrow.pyspark.enabled'を設定してください。)

(Spark 3.0以降非推奨、'spark.sql.execution.arrow.pyspark.fallback.enabled'を設定してください。)

ArrowバッチをSpark DataFrameに変換する場合、Arrowバッチのバイトサイズがこのしきい値よりも小さい場合、ドライバ側でローカルコレクションが使用されます。それ以外の場合は、Arrowバッチが送信され、実行担当者でSpark内部行に逆シリアル化されます。

Apache Arrowを使用する場合、メモリに書き込める単一のArrowRecordBatchのレコード数の最大値を制限します。0または負の値に設定すると、制限はありません。

trueの場合、PySparkでの列方向データ転送にApache Arrowを使用します。この最適化は、1. pyspark.sql.DataFrame.toPandas。2. その入力がPandas DataFrameまたはNumPy ndarrayである`pyspark.sql.SparkSession.createDataFrame`に適用されます。次のデータ型はサポートされていません：TimestampTypeのArrayType。

trueの場合、'spark.sql.execution.arrow.pyspark.enabled'によって有効化された最適化は、エラーが発生した場合に自動的に非最適化された実装にフォールバックします。

(実験的) trueの場合、ArrowからPandasへの変換時に、PySparkでの列方向データ転送にApache Arrowの自己破壊とスプリットブロックオプションを使用します。これにより、CPU時間のコストでメモリ使用量が削減されます。この最適化は、'spark.sql.execution.arrow.pyspark.enabled'が設定されている場合に`pyspark.sql.DataFrame.toPandas`に適用されます。

trueの場合、SparkRでの列方向データ転送にApache Arrowを使用します。この最適化は、1. 入力がR DataFrameである`createDataFrame`。2. `collect`。3. `dapply`。4. `gapply`に適用されます。次のデータ型はサポートされていません：FloatType、BinaryType、ArrayType、StructType、MapType。

pandas DataFrameを作成する際のstruct型の変換モード。"legacy"の場合、1. Arrow最適化が無効な場合、Rowオブジェクトに変換する。2. Arrow最適化が有効な場合、dictに変換するか、重複する入れ子になったフィールド名がある場合は例外を発生させる。"row"の場合、Arrow最適化に関係なくRowオブジェクトに変換する。"dict"の場合、重複する入れ子になったフィールド名がある場合（例：a_0、a_1）、Arrow最適化に関係なく、接尾辞付きキー名を使用してdictに変換する。

`spark.buffer.size`と同じですが、Pandas UDFの実行のみに適用されます。設定されていない場合、フォールバックは`spark.buffer.size`です。Pandasの実行には4バイト以上が必要です。この値を小さくすると、小さなPandas UDFバッチが反復処理されパイプライン化される可能性がありますが、パフォーマンスが低下する可能性があります。SPARK-27870を参照してください。

trueの場合、Python UDFからのトレースバックが簡素化されます。PySparkのトレースバックからPythonワーカー、（逆）シリアル化などを隠し、UDFからの例外メッセージのみを表示します。これはCPython 3.7以降でのみ機能することに注意してください。

通常のPython UDFでArrow最適化を有効にします。この最適化は、指定された関数が少なくとも1つの引数をとる場合にのみ有効にすることができます。

Python UDTFのArrow最適化を有効にします。

「SELECT x FROM t ORDER BY y LIMIT m」のようなSORTに続くLIMITを持つSQLクエリでは、mがこのしきい値以下の場合、メモリ内でトップKソートを実行し、それ以外の場合は必要に応じてディスクに書き出すグローバルソートを実行します。

破損したファイルを無視するかどうか。trueの場合、破損したファイルに遭遇してもSparkジョブは実行を続け、読み取られた内容は返されます。この設定は、Parquet、JSON、ORCなどのファイルベースのソースを使用する場合にのみ有効です。

欠損ファイルを無視するかどうか。trueの場合、欠損ファイルに遭遇してもSparkジョブは実行を続け、読み取られた内容は返されます。この設定は、Parquet、JSON、ORCなどのファイルベースのソースを使用する場合にのみ有効です。

ファイルの読み取り時に単一パーティションにパックするバイト数の最大値。この設定は、Parquet、JSON、ORCなどのファイルベースのソースを使用する場合にのみ有効です。

分割ファイルパーティションの推奨される（保証されない）最大数。設定されている場合、Sparkは各パーティションのサイズを変更して、初期パーティション数がこの値を超える場合、パーティション数をこの値に近づけます。この設定は、Parquet、JSON、ORCなどのファイルベースのソースを使用する場合にのみ有効です。

単一のファイルに書き出すレコード数の最大値。この値が0または負の場合、制限はありません。

分割ファイルパーティションの推奨される（保証されない）最小数。設定されていない場合、デフォルト値は`spark.sql.leafNodeDefaultParallelism`です。この設定は、Parquet、JSON、ORCなどのファイルベースのソースを使用する場合にのみ有効です。

このオプションがfalseに設定され、すべての入力がバイナリの場合、`functions.concat`は出力をバイナリとして返します。それ以外の場合は、文字列として返します。

このオプションがfalseに設定され、すべての入力がバイナリの場合、eltはバイナリとして出力を返します。それ以外の場合は、文字列として返します。

trueの場合、selectリスト内のエイリアスをgroup by句で使用できます。falseの場合、その場合、分析例外がスローされます。

trueの場合、group by句の序数を選択リストの位置として扱います。falseの場合、序数は無視されます。

trueに設定され、spark.sql.hive.convertMetastoreParquetまたはspark.sql.hive.convertMetastoreOrcがtrueの場合、組み込みのORC/Parquetライターを使用して、HiveSQL構文を使用して作成されたパーティション分割されたORC/Parquetテーブルへの挿入を処理します。

trueに設定されている場合、SparkはCTASでHive Serdeの代わりに組み込みのデータソースライターを使用しようとします。このフラグは、ParquetとORC形式に対してそれぞれspark.sql.hive.convertMetastoreParquetまたはspark.sql.hive.convertMetastoreOrcが有効になっている場合にのみ有効です。

trueに設定されている場合、SparkはINSERT OVERWRITE DIRECTORYでHive Serdeの代わりに組み込みのデータソースライターを使用しようとします。このフラグは、ParquetとORC形式に対してそれぞれspark.sql.hive.convertMetastoreParquetまたはspark.sql.hive.convertMetastoreOrcが有効になっている場合にのみ有効です。

trueに設定されている場合、Hive Serdeの代わりに、組み込みのORCリーダーとライターを使用して、HiveQL構文を使用して作成されたORCテーブルを処理します。

trueに設定されている場合、Hive Serdeの代わりに、組み込みのParquetリーダーとライターを使用して、HiveQL構文を使用して作成されたParquetテーブルを処理します。

trueの場合、異なる可能性のあるが互換性のあるParquetスキーマを異なるParquetデータファイルでマージしようとします。この設定は、「spark.sql.hive.convertMetastoreParquet」がtrueの場合にのみ有効です。

trueの場合、Sparkはパーティションオブジェクトではなくパーティション名を取得してパーティションを削除するため、パーティション削除のパフォーマンスが向上します。

0以外の値の場合、パーティションファイルメタデータのメモリ内キャッシュを有効にします。すべてのテーブルは、ファイルメタデータに指定されたバイト数まで使用できるキャッシュを共有します。この設定は、Hiveファイルソースパーティション管理が有効になっている場合にのみ有効です。

trueの場合、ファイルソーステーブルのメタストアパーティション管理も有効にします。これには、データソースと変換されたHiveテーブルの両方が含まれます。パーティション管理が有効になっている場合、データソーステーブルはパーティションをHiveメタストアに保存し、spark.sql.hive.metastorePartitionPruningがtrueに設定されている場合、クエリ計画中にメタストアを使用してパーティションをプルーニングします。

trueの場合、一部の述語はHiveメタストアにプッシュダウンされるため、一致しないパーティションを早期に排除できます。

メタストアからMetaExceptionが発生した場合に、すべてのパーティションをHiveメタストアから取得し、Sparkクライアント側でパーティションプルーニングを実行するかどうかを指定します。これが有効になっていて、リストするパーティションが多い場合、Sparkクエリの性能が低下する可能性があります。無効にすると、Sparkはクエリを失敗させます。

この設定が有効になっている場合、述語がHiveでサポートされていないか、メタストアからMetaExceptionが発生したためにSparkがフォールバックした場合、Sparkは代わりにパーティション名を最初に取得し、クライアント側でフィルタ式を評価することによってパーティションをプルーニングします。TimeZoneAwareExpressionを含む述語はサポートされていません。

trueに設定されている場合、Hive Thriftサーバーは非同期的にSQLクエリを実行します。

trueの場合、HDFSに格納されているデータを読み取る際に、テーブルのルートディレクトリの下にあるすべてのパーティションパスをチェックします。この設定は将来のリリースで非推奨となり、spark.files.ignoreMissingFilesに置き換えられます。

カラムキャッシングのバッチサイズを制御します。バッチサイズを大きくすると、メモリの使用効率と圧縮率が向上しますが、データをキャッシングする際にOOMのリスクが高まります。

trueに設定されている場合、Spark SQLはデータの統計に基づいて各カラムの圧縮コーデックを自動的に選択します。

カラムキャッシングのベクトル化されたリーダーを有効にします。

trueの場合、JSONデータソースへのフィルタプッシュダウンを有効にします。

JSONデータソースと`to_json`などのJSON関数でJSONオブジェクトを生成する際に、nullフィールドを無視するかどうかを指定します。falseの場合、JSONオブジェクトのnullフィールドにnullを生成します。

ファイルスキャンノード、ローカルデータスキャンノード、範囲ノードなど、データを作成するSpark SQLリーフノードのデフォルトの並列度。この設定のデフォルト値は「SparkContext#defaultParallelism」です。

組み込み関数CreateMap、MapFromArrays、MapFromEntries、StringToMap、MapConcat、TransformKeysにおけるマップキーの重複排除ポリシー。EXCEPTIONの場合、重複するマップキーが検出されるとクエリは失敗します。LAST_WINの場合、最後に挿入されたマップキーが優先されます。

オプションの追加のリモートMavenミラーリポジトリのカンマ区切り文字列設定。これは、デフォルトのMaven Centralリポジトリにアクセスできない場合、IsolatedClientLoaderでHive JARをダウンロードする場合にのみ使用されます。

メタデータ文字列に対して出力する最大文字数。例：DataSourceScanExecのファイルの場所。長さを超えると、すべての値が省略されます。

プラン文字列に対して出力する最大文字数。プランがこれより長い場合、それ以降の出力は切り捨てられます。デフォルト設定では常に完全なプランが生成されます。プラン文字列がメモリを消費しすぎている場合、またはドライバーまたはUIプロセスでOutOfMemoryエラーが発生している場合は、この値を8kなどのより低い値に設定します。

単一パーティションに許可される最大バイト数。それ以外の場合、プランナーはシャッフルを導入して並列処理を向上させます。

追加の複製が発生した場合でも、常に2つの隣接するプロジェクションを折りたたみ、式をインライン化するかどうかの指定。

trueの場合、パーティション列が結合キーとして使用されている場合、パーティション列の述語を生成します。

SQLオプティマイザでCSV式を最適化するかどうかを指定します。これには、from_csvから不要な列をプルーニングすることが含まれます。

SQLオプティマイザでJSON式を最適化するかどうかを指定します。これには、from_jsonから不要な列をプルーニングすること、from_json + to_jsonの簡素化、to_json + named_struct(from_json.col1、from_json.col2、....)が含まれます。

オプティマイザで無効にするルールのリストを設定します。ルールはルール名で指定され、カンマで区切られます。この設定内のすべてのルールが最終的に除外されるとは限らないことに注意してください。正しさのために、一部のルールは必要です。オプティマイザは、実際に除外されたルールをログに記録します。

ブルームフィルタアプリケーションサイドプランの集計スキャンサイズのバイトサイズしきい値。ブルームフィルタアプリケーションサイドの集計スキャンバイトサイズは、ブルームフィルタを挿入するにはこの値を超える必要があります。

ブルームフィルタ作成サイドプランのサイズしきい値。ブルームフィルタを挿入しようとすると、推定サイズはこの値以下である必要があります。

trueの場合、シャッフル結合の一方の側に選択的な述語がある場合、もう一方の側にブルームフィルタを挿入してシャッフルデータの量を削減しようとします。

ランタイムブルームフィルタの予想されるアイテムのデフォルトの数。

ランタイムブルームフィルタに使用する最大ビット数。

ランタイムブルームフィルタの予想されるアイテムの最大許容数。

ランタイムブルームフィルタに使用するデフォルトのビット数。

グループベースの行レベル操作のランタイムグループフィルタリングを有効にします。データのグループを置き換えるデータソース（例：ファイル、パーティション）は、行レベル操作スキャンを計画する際に、提供されたデータソースフィルタを使用してグループ全体をプルーニングできます。ただし、すべての式をデータソースフィルタに変換できるわけではなく、一部の式はSparkによってのみ評価できるため（例：サブクエリ）、このようなフィルタリングは制限されています。グループの書き換えはコストがかかるため、Sparkはランタイムでクエリを実行して、行レベル操作の条件に一致するレコードを見つけ出すことができます。一致するレコードに関する情報は行レベル操作スキャンに返され、データソースは書き換えする必要のないグループを破棄できます。

単一クエリに対する注入されたランタイムフィルタ（DPP以外）の総数。これは、ブルームフィルタが多すぎることによるドライバーのOOMを防ぐためです。

trueの場合、シャッフル結合の一方の側に選択的な述語がある場合、もう一方の側にセミ結合を挿入してシャッフルデータの量を削減しようとします。

trueの場合、集計は最適化のためにORCにプッシュダウンされます。MIN、MAX、COUNTを集計式としてサポートします。MIN/MAXの場合、ブール値、整数、浮動小数点数、日付型をサポートします。COUNTの場合、すべてのデータ型をサポートします。ORCファイルフッターから統計情報が欠落している場合、例外がスローされます。

ORCベクトル化リーダーバッチに含める行数。オーバーヘッドを最小限に抑え、データ読み取り時のOOMを回避するために、この数値を慎重に選択する必要があります。

ORCベクトル化ライターバッチに含める行数。オーバーヘッドを最小限に抑え、データ書き込み時のOOMを回避するために、この数値を慎重に選択する必要があります。

ORCファイルの書き込みに使用される圧縮コーデックを設定します。テーブル固有のオプション/プロパティでcompressionまたはorc.compressのいずれかが指定されている場合、優先順位はcompression、orc.compress、spark.sql.orc.compression.codecとなります。許容値には、none、uncompressed、snappy、zlib、lzo、zstd、lz4が含まれます。

ネストされたカラムのベクトル化されたORCデコードを有効にします。

ベクトル化されたORCデコードを有効にします。

trueの場合、ORCファイルのフィルタプッシュダウンを有効にします。

trueの場合、Orcデータソースはすべてのデータファイルから収集されたスキーマをマージします。それ以外の場合は、ランダムなデータファイルからスキーマが選択されます。

trueの場合、序数はselectリストの位置として扱われます。falseの場合、order/sort by句の序数は無視されます。

trueの場合、集計は最適化のためにParquetにプッシュダウンされます。MIN、MAX、COUNTを集計式としてサポートします。MIN/MAXの場合、ブール値、整数、浮動小数点数、日付型をサポートします。COUNTの場合、すべてのデータ型をサポートします。Parquetファイルフッターから統計情報が欠落している場合、例外がスローされます。

特にImpalaや古いバージョンのSpark SQLなど、一部の他のParquet生成システムでは、Parquetスキーマの書き出し時にバイナリデータと文字列を区別しません。このフラグは、これらのシステムとの互換性を提供するために、Spark SQLにバイナリデータを文字列として解釈するように指示します。

Parquetベクトル化リーダーバッチに含める行数。オーバーヘッドを最小限に抑え、データ読み取り時のOOMを回避するために、この数値を慎重に選択する必要があります。

Parquetファイル書き込み時に使用する圧縮コーデックを設定します。テーブル固有のオプション/プロパティでcompressionまたはparquet.compressionのいずれかが指定されている場合、優先順位はcompression、parquet.compression、spark.sql.parquet.compression.codecとなります。許容される値には、none、uncompressed、snappy、gzip、lzo、brotli、lz4、lz4raw、lz4_raw、zstdが含まれます。

ネストされた列（例：構造体、リスト、マップ）のベクトル化されたParquetデコードを有効にします。spark.sql.parquet.enableVectorizedReaderが有効になっている必要があります。

ベクトル化されたParquetデコードを有効にします。

フィールドIDは、Parquetスキーマ仕様のネイティブフィールドです。有効にすると、Parquetリーダーは列名を使用する代わりに、要求されたSparkスキーマ内のフィールドID（存在する場合）を使用してParquetフィールドを検索します。

ParquetファイルにフィールドIDがないのに、Sparkの読み込みスキーマがフィールドIDを使用して読み込みを行う場合、このフラグが有効になっていると、サイレントにnullを返します。そうでない場合はエラーになります。

フィールドIDは、Parquetスキーマ仕様のネイティブフィールドです。有効にすると、ParquetライターはSparkスキーマ内のフィールドIDメタデータ（存在する場合）をParquetスキーマに設定します。

trueに設定すると、Parquetフィルタープッシュダウン最適化を有効にします。

有効にすると、`isAdjustedToUTC = false`という注釈が付いたParquetのタイムスタンプ列は、スキーマ推論時にTIMESTAMP_NTZ型として推論されます。それ以外の場合は、すべてのParquetタイムスタンプ列はTIMESTAMP_LTZ型として推論されます。Sparkはファイル書き込み時に出力スキーマをParquetのフッターメタデータに書き込み、ファイル読み込み時にそれを利用することに注意してください。そのため、この設定は、Sparkによって書き込まれていないParquetファイルのスキーマ推論のみに影響します。

一部のParquet生成システム、特にImpalaは、タイムスタンプをINT96に格納します。ナノ秒フィールドの精度を失わないようにするために、SparkもタイムスタンプをINT96として格納します。このフラグは、Spark SQLにINT96データをタイムスタンプとして解釈するように指示し、これらのシステムとの互換性を提供します。

これは、Impalaによって書き込まれたデータについて、タイムスタンプに変換する際のINT96データにタイムゾーン調整を適用するかどうかを制御します。これは、ImpalaがHiveとSparkとは異なるタイムゾーンオフセットでINT96データを格納するため、必要です。

trueの場合、Parquetデータソースはすべてのデータファイルから収集されたスキーマをマージします。それ以外の場合は、サマリーファイルからスキーマが選択されます。サマリーファイルがない場合は、ランダムなデータファイルから選択されます。

SparkがデータをParquetファイルに書き込む際に使用するParquetタイムスタンプの種類を設定します。INT96は、Parquetでは非標準ですが一般的に使用されているタイムスタンプの種類です。TIMESTAMP_MICROSはParquetの標準的なタイムスタンプの種類で、Unixエポックからのマイクロ秒数を格納します。TIMESTAMP_MILLISも標準ですが、ミリ秒の精度であるため、Sparkはタイムスタンプ値のマイクロ秒部分を切り捨てる必要があります。

trueの場合、プッシュダウンされたフィルターを使用してParquetのネイティブなレコードレベルのフィルタリングを有効にします。この設定は、'spark.sql.parquet.filterPushdown'が有効になっていて、ベクトル化されたリーダーが使用されていない場合にのみ有効です。'spark.sql.parquet.enableVectorizedReader'をfalseに設定することで、ベクトル化されたリーダーが使用されていないことを確認できます。

trueの場合、Parquetのすべてのpartファイルはサマリーファイルと互換性があると仮定し、スキーマのマージ時にそれらを無視します。それ以外の場合は、デフォルトのfalseの場合、すべてのpartファイルをマージします。これは専門家向けのオプションと見なされ、正確な意味を理解する前に有効にしないでください。

trueの場合、Spark 1.4以前の方法でデータが書き込まれます。たとえば、10進値はApache Parquetの固定長のバイト配列形式で書き込まれます。これは、Apache HiveやApache Impalaなどの他のシステムで使用されます。falseの場合、Parquetの新しい形式が使用されます。たとえば、10進数はintベースの形式で書き込まれます。Parquet出力がこの新しい形式をサポートしていないシステムで使用されることを意図している場合は、trueに設定します。

trueの場合、SELECT文内の引用符で囲まれた識別子（バッククォートを使用）は正規表現として解釈されます。

ピボット列の値を指定せずにピボットを行う場合、エラーなしで収集される（異なる）値の最大数です。

PySparkのSparkSession.createDataFrameは、デフォルトでネストされた辞書をマップとして推論します。trueに設定すると、ネストされた辞書を構造体として推論します。

trueの場合、Pythonのスタックトレースとともに、ユーザー向けのPySpark例外にJVMのスタックトレースが表示されます。デフォルトでは無効になっており、JVMのスタックトレースは非表示になり、Pythonフレンドリーな例外のみが表示されます。これはログレベルの設定とは無関係であることに注意してください。

PySparkのSparkSession.createDataFrameは、デフォルトで配列の要素型を配列内のすべての値から推論します。この設定がtrueに設定されている場合、最初の配列要素からのみ型を推論するという従来の動作が復元されます。

trueの場合、Sparkは書き込み側の埋め込みに加えて、CHAR型の列/フィールドを読み取る際に文字列の埋め込みを適用します。この設定はデフォルトでtrueになっており、外部テーブルなどの場合にCHAR型のセマンティクスをより確実に適用します。

Spark SQLコマンドのオプションマップ内のどのキーが機密情報を含むかを決定するための正規表現です。この正規表現に一致する名前のオプションの値は、explain出力で秘匿化されます。この秘匿化は、spark.redaction.regexによって定義されたグローバルな秘匿化設定の上に適用されます。

Sparkによって生成された文字列のどの部分が機密情報を含むかを決定するための正規表現です。この正規表現が文字列の部分に一致する場合、その文字列の部分はダミー値に置き換えられます。これは現在、SQL explainコマンドの出力を秘匿化するために使用されています。この設定が設定されていない場合、spark.redaction.string.regexからの値が使用されます。

早期評価を有効にするかどうかを設定します。trueの場合、REPLが早期評価をサポートする場合に限り、Datasetの上位K行が表示されます。現在、早期評価はPySparkとSparkRでサポートされています。PySparkでは、Jupyterなどのノートブックでは、HTMLテーブル（`_repr_html`によって生成）が返されます。プレーンなPython REPLでは、返された出力はdataframe.show()のようにフォーマットされます。SparkRでは、返された出力はRのdata.frameのように表示されます。

早期評価によって返される行の最大数です。これは、spark.sql.repl.eagerEval.enabledがtrueに設定されている場合にのみ有効です。この設定の有効範囲は0から(Int.MaxValue - 1)なので、負の数や(Int.MaxValue - 1)より大きいなどの無効な設定は、0と(Int.MaxValue - 1)に正規化されます。

早期評価によって返される各セルの文字数の最大数です。これは、spark.sql.repl.eagerEval.enabledがtrueに設定されている場合にのみ有効です。

シリアライズ後にドライバ側でキャッシュされるローカルリレーションのサイズ（バイト単位）の閾値です。

地域ベースのゾーンIDまたはゾーンオフセットの形式でセッションローカルタイムゾーンのIDを設定します。地域IDは'area/city'（例：'America/Los_Angeles'）の形式である必要があります。ゾーンオフセットは'(+|-)HH'、'(+|-)HH:mm'、または'(+|-)HH:mm:ss'（例：'-08'、'+01:00'、または'-13:33:33'）の形式である必要があります。また、'UTC'と'Z'は'+00:00'のエイリアスとしてサポートされています。他の略名はあいまいになる可能性があるため、使用はお勧めしません。

結合または集計のためにデータをシャッフルする際に使用するパーティションのデフォルト数です。注：構造化ストリーミングの場合、この設定は同じチェックポイント位置からのクエリ再開間で変更できません。

小さい側のデータサイズにこの係数を掛けた値が、大きい側よりも小さい場合、シャッフルハッシュ結合を選択できます。

trueの場合、クエリプランに基づいて入力テーブルでバケット化されたスキャンを実行するかどうかを自動的に決定します。1. クエリがバケット化を利用する演算子（例：結合、グループ化など）を持っていない場合、または2. これらの演算子とテーブルスキャンの間に交換演算子がある場合、バケット化されたスキャンは使用しません。'spark.sql.sources.bucketing.enabled'がfalseに設定されている場合、この設定は効果がありません。

falseの場合、バケット化されたテーブルは通常のテーブルとして扱われます。

許容されるバケットの最大数です。

入出力で使用されるデフォルトのデータソースです。

ドライバ側でファイルをリストする際に許可されるパスの最大数です。パーティション検出中に検出されたパスの数がこの値を超えると、別のSpark分散ジョブでファイルをリストしようとします。この設定は、Parquet、JSON、ORCなどのファイルベースのソースを使用する場合にのみ有効です。

trueの場合、パーティション化された列のデータ型を自動的に推論します。

パーティション化されたデータソーステーブルにINSERT OVERWRITEを実行する場合、現在、静的モードと動的モードの2つのモードをサポートしています。静的モードでは、SparkはINSERT文内のパーティション指定（例：PARTITION(a=1,b)）に一致するすべてのパーティションを上書きする前に削除します。動的モードでは、Sparkは事前にパーティションを削除せず、実行時にデータが書き込まれたパーティションのみを上書きします。デフォルトでは、Spark 2.3以前と同じ動作を維持するために静的モードを使用します。この設定はHive serdeテーブルには影響しません。Hive serdeテーブルは常に動的モードで上書きされます。これは、キーpartitionOverwriteModeを使用してデータソースの出力オプションとしても設定できます（この設定よりも優先されます）。例：dataframe.write.option("partitionOverwriteMode", "dynamic").save(path)。

spark.sql.sources.bucketing.enabledと同様に、この設定はV2データソースのバケット化を有効にするために使用されます。有効にすると、SparkはSupportsReportPartitioningを通じてV2データソースによって報告された特定の分散を認識し、必要に応じてシャッフルを回避しようとします。

ストレージパーティション化された結合において、両方の結合側がKeyGroupedPartitioningの場合に、入力パーティションの部分的なクラスタリングを許可するかどうかを指定します。計画時に、Sparkはテーブル統計に基づいてデータサイズが少ない側を選択し、もう一方の側と一致するようにグループ化および複製します。これはスキュー結合の最適化であり、特定のパーティションに大量のデータが割り当てられている場合のデータの歪みを軽減するのに役立ちます。この設定には、`spark.sql.sources.v2.bucketing.enabled`と`spark.sql.sources.v2.bucketing.pushPartValues.enabled`の両方が有効になっている必要があります。

`spark.sql.sources.v2.bucketing.enabled`が有効になっている場合に、共通のパーティション値をプッシュダウンするかどうかを指定します。オンにすると、結合の両方がKeyGroupedPartitioningであり、互換性のあるパーティションキーを共有している場合、パーティション値が完全に同じではない場合でも、Sparkはパーティション値のスーパーセットを計算し、その情報をスキャンノードにプッシュダウンします。スキャンノードは、どちらかの側の不足しているパーティション値に対して空のパーティションを使用します。これにより、不要なシャッフルを排除するのに役立つ場合があります。

trueの場合、テーブルメタデータからテーブル統計が利用できない場合、HDFSにフォールバックします。これは、ブロードキャスト結合を使用するのに十分な小ささのテーブルかどうかを判断するのに役立ちます。このフラグは、パーティション化されていないHiveテーブルにのみ有効です。パーティション化されていないデータソーステーブルの場合、テーブル統計が利用できない場合は自動的に再計算されます。パーティション化されたデータソーステーブルとパーティション化されたHiveテーブルの場合、テーブル統計が利用できない場合は`spark.sql.defaultSizeInBytes`になります。

有効になっている場合、列統計を計算するときにヒストグラムを生成します。ヒストグラムは、より正確な推定精度を提供できます。現在、Sparkは等高ヒストグラムのみをサポートしています。ヒストグラムの収集には追加コストがかかることに注意してください。たとえば、列統計の収集には通常1回のテーブルスキャンしかかかりませんが、等高ヒストグラムを生成すると、追加のテーブルスキャンが発生します。

テーブルのデータが変更されたときに、テーブルサイズの自動更新を有効にします。テーブルのファイルの総数が非常に多い場合、これはコストが高く、データ変更コマンドの速度を低下させる可能性があることに注意してください。

異なるデータ型の列に値を挿入する場合、Sparkは型強制を実行します。現在、型強制ルールのポリシーとして、ANSI、レガシー、厳密の3つのポリシーをサポートしています。ANSIポリシーでは、SparkはANSI SQLに従って型強制を実行します。実際には、PostgreSQLとほぼ同じ動作です。`string`を`int`に変換したり、`double`を`boolean`に変換したりするなど、特定の不合理な型変換は許可しません。レガシーポリシーでは、有効な`Cast`であれば、Sparkは型強制を許可します。これは非常に緩いです。たとえば、`string`を`int`に変換したり、`double`を`boolean`に変換したりすることが許可されます。これはSpark 2.xでの唯一の動作であり、Hiveと互換性があります。厳密なポリシーでは、Sparkは型強制における精度損失やデータの切り捨てを一切許可しません。たとえば、`double`を`int`に変換したり、`decimal`を`double`に変換したりすることは許可されません。

ストリーミングクエリのためのチェックポイントデータの保存場所のデフォルトです。

遅延エポックを待つためにキューに格納されるエントリの最大数です。このパラメーターがキューのサイズを超えると、ストリームはエラーで停止します。

StreamWriteSupportが無効になっている、完全修飾データソースレジスタクラス名のコンマ区切りリストです。これらのソースへの書き込みは、V1シンクにフォールバックします。

ファイルソースの完了済みファイルクリーナーで使用されるスレッド数です。

trueの場合、一時チェックポイントロケーションの強制削除を有効にします。

アクティブなストリーミングクエリに対してDropwizard/Codahaleメトリクスが報告されるかどうかを指定します。

ストリーミングクエリに複数のウォーターマーク演算子がある場合のグローバルウォーターマーク値の計算ポリシーです。デフォルト値は'min'で、複数の演算子で報告されたウォーターマークの最小値を選択します。その他の代替値は'max'で、複数の演算子で報告されたウォーターマークの最大値を選択します。注：この設定は、同じチェックポイント場所からのクエリ再開間で変更できません。

状態のあるストリーミングクエリのための積極的な状態管理のために、ストリーミングマイクロバッチエンジンがデータなしでバッチを実行するかどうかを指定します。

ストリーミングクエリに対して保持する進捗状況更新の数です。

trueの場合、ストリーミングセッションウィンドウはシャッフルの前にローカルパーティション内のセッションをソートしてマージします。これはシャッフルする行数を減らすためですが、同じセッションに割り当てられるバッチに多数の行がある場合にのみ有効です。

trueの場合、Sparkは既存の状態のスキーマに対して状態スキーマを検証し、互換性がない場合はクエリを失敗させます。

同じストリーミングクエリを複数同時に実行することはサポートされていません。同じまたは異なるSparkSession（同じクラスタ上）でストリーミングクエリのアクティブな同時実行を見つけ、このフラグがtrueの場合、新しいクエリを開始するために古いストリーミングクエリの処理を停止します。

ストリーミングクエリのstop()メソッドを呼び出したときに、ストリーミング実行スレッドの停止を待つミリ秒数です。0または負の値は、無期限に待ちます。

trueの場合、1つのクエリがキャンセルされると、実行中のすべてのタスクが中断されます。falseの場合、実行中のすべてのタスクは終了するまで実行されます。

Thrift Serverでクエリ時間制限を秒単位で設定します。タイムアウトを正の値に設定すると、タイムアウトが超過すると実行中のクエリは自動的にキャンセルされます。それ以外の場合は、クエリは完了するまで実行されます。`java.sql.Statement.setQueryTimeout`を介して各ステートメントにタイムアウト値が設定され、それらがこの設定値よりも小さい場合、それらが優先されます。このタイムアウトを設定し、タスクの完了を待たずにすぐにクエリをキャンセルする場合は、`spark.sql.thriftServer.interruptOnCancel`を一緒に有効にすることを検討してください。

JDBCクライアントセッションのFair Schedulerプールを設定します。

JDBC/ODBC Web UI履歴に保持されるSQLクライアントセッションの数です。

JDBC/ODBC Web UI履歴に保持されるSQLステートメントの数です。

SQL DDL、Cast句、型リテラル、およびデータソースのスキーマ推論を含む、Spark SQLのデフォルトのタイムスタンプ型を設定します。この設定をTIMESTAMP_NTZに設定すると、デフォルト型としてTIMESTAMP WITHOUT TIME ZONEが使用され、TIMESTAMP_LTZに設定すると、TIMESTAMP WITH LOCAL TIME ZONEが使用されます。3.4.0リリース以前は、SparkはTIMESTAMP WITH LOCAL TIME ZONE型のみをサポートしていました。

trueの場合、テーブル値関数に対して複数のテーブル引数を許可し、これらのテーブルのすべての行のデカルト積を受け取ります。

Spark SQL UIで使用されるクエリ説明モードを設定します。値は'simple'、'extended'、'codegen'、'cost'、または'formatted'です。デフォルト値は'formatted'です。

これにより、`${var}`、`${system:var}`、`${env:var}`のような構文を使用した置換が有効になります。

org.apache.spark.sql.columnar.CachedBatchSerializerを実装するクラスの名前です。これは、SQLデータをより効率的にキャッシュできる形式に変換するために使用されます。基礎となるAPIは変更される可能性があるため、注意して使用してください。複数のクラスを指定することはできません。クラスには引数のないコンストラクターが必要です。

セッションカタログのデフォルトデータベースです。

イベントに追加する前にSQLの長さが切り捨てられるしきい値です。デフォルトでは切り捨てられません。0に設定すると、代わりに呼び出し元がログに記録されます。

Sparkセッション拡張機能の構成に使用される`Function1[SparkSessionExtensions, Unit]`を実装するクラスのコンマ区切りリストです。クラスには引数のないコンストラクターが必要です。複数の拡張機能を指定した場合は、指定した順序で適用されます。ルールとプランナー戦略の場合、指定された順序で適用されます。パーサーの場合、最後のパーサーが使用され、各パーサーは前のパーサーに委任できます。関数名の競合の場合、最後に登録された関数名が使用されます。

Spark SQLが通信しているHiveの各バージョンに対して明示的にリロードする必要があるクラスプレフィックスのコンマ区切りリストです。たとえば、通常は共有されるプレフィックス（つまり、`org.apache.spark.*`）で宣言されているHive UDFなどです。

HiveMetastoreClientのインスタンス化に使用されるJARの場所です。このプロパティには、次の4つのオプションのいずれかを使用できます。1. "builtin" `-Phive`が有効になっている場合、SparkアセンブリにバンドルされているHive 2.3.9を使用します。このオプションを選択する場合は、`spark.sql.hive.metastore.version`は`2.3.9`であるか、定義されていない必要があります。2. "maven" Mavenリポジトリからダウンロードされた指定されたバージョンのHive JARを使用します。3. "path" コンマ区切り形式で`spark.sql.hive.metastore.jars.path`によって設定されたHive JARを使用します。ローカルパスとリモートパスの両方をサポートします。提供されたJARは、`spark.sql.hive.metastore.version`と同じバージョンである必要があります。4. HiveとHadoopの両方の標準形式のクラスパスです。提供されたJARは、`spark.sql.hive.metastore.version`と同じバージョンである必要があります。

HiveMetastoreClientのインスタンス化に使用されるJARのコンマ区切りパスです。この設定は、`spark.sql.hive.metastore.jars`が`path`に設定されている場合にのみ役立ちます。パスは次のいずれかの形式にすることができます。1. file://path/to/jar/foo.jar 2. hdfs://nameservice/path/to/jar/foo.jar 3. /path/to/jar/（URIスキームなしのパスは、conf `fs.defaultFS`のURIスキームに従います）4. [http/https/ftp]://path/to/jar/foo.jar 注：1、2、および3はワイルドカードをサポートします。例：1. file://path/to/jar/,file://path2/to/jar//.jar 2. hdfs://nameservice/path/to/jar/,hdfs://nameservice2/path/to/jar//.jar

Spark SQLと特定バージョンのHive間で共有されるクラスローダーを使用してロードする必要があるクラス接頭辞のカンマ区切りリストです。共有する必要があるクラスの例としては、メタストアとの通信に必要なJDBCドライバなどがあります。その他、既に共有されているクラスとやり取りする必要があるクラスも共有する必要があります。例えば、log4jで使用されるカスタムアペンダーなどです。

Hiveメタストアのバージョン。使用可能なオプションは`0.12.0`から`2.3.9`、`3.0.0`から`3.1.3`です。

trueに設定すると、Hive Thriftサーバーはシングルセッションモードで実行されます。すべてのJDBC/ODBC接続は、一時ビュー、関数レジストリ、SQL構成、および現在のデータベースを共有します。

バンドルされているSparkディストリビューションのコンパイル済み（別名、ビルトイン）Hiveバージョンです。これは読み取り専用のconfであり、ビルトインのHiveバージョンのレポートにのみ使用されることに注意してください。Sparkが呼び出す異なるメタストアクライアントが必要な場合は、`spark.sql.hive.metastore.version`を参照してください。

メタデータキャッシュ（パーティションファイルメタデータキャッシュとセッションカタログキャッシュ）の存続時間（TTL）値です。この設定は、この値が正の値（> 0）を持つ場合にのみ有効です。また、`spark.sql.catalogImplementation`を`hive`に設定し、`spark.sql.hive.filesourcePartitionFileCacheSize`を> 0に設定し、`spark.sql.hive.manageFilesourcePartitions`を`true`に設定して、パーティションファイルメタデータキャッシュに適用する必要があります。

新しく作成されたセッションに自動的に追加される、`QueryExecutionListener`を実装するクラス名のリストです。これらのクラスには、引数のないコンストラクタ、または`SparkConf`引数を受け取るコンストラクタのいずれかが必要です。

無効になっているJDBC接続プロバイダのリストを設定します。このリストには、カンマで区切られたJDBC接続プロバイダの名前が含まれています。

新しく作成されたセッションに自動的に追加される、`StreamingQueryListener`を実装するクラス名のリストです。これらのクラスには、引数のないコンストラクタ、または`SparkConf`引数を受け取るコンストラクタのいずれかが必要です。

Spark Web UIが有効になっている場合に、SparkアプリケーションのStructured Streaming Web UIを実行するかどうかを指定します。

Structured Streaming UIのためにストリーミングクエリに対して保持する進捗状況更新の数です。

Structured Streaming UIのために保持する非アクティブクエリの数です。

Spark UIに保持する実行の数。

管理対象のデータベースとテーブルのデフォルトの場所。