INSERT OVERWRITE DIRECTORY
説明
INSERT OVERWRITE DIRECTORY ステートメントは、Spark ファイル形式または Hive SerDe を使用して、ディレクトリの既存のデータを新しい値で上書きします。Hive SerDe を使用するには、Hive のサポートを有効にする必要があります。挿入される行は、値式で指定するか、クエリからの結果で指定できます。
構文
INSERT OVERWRITE [ LOCAL ] DIRECTORY [ directory_path ]
{ spark_format | hive_format }
{ VALUES ( { value | NULL } [ , ... ] ) [ , ( ... ) ] | query }
spark_format は次のように定義されます。
USING file_format [ OPTIONS ( key = val [ , ... ] ) ]
hive_format は次のように定義されます。
[ ROW FORMAT row_format ] [ STORED AS hive_serde ]
パラメータ
-
directory_path
出力ディレクトリを指定します。
LOCALキーワードは、ディレクトリがローカルファイルシステム上にあることを指定するために使用されます。Spark ファイル形式では、OPTIONSを使用してpathで指定することもできますが、directory_pathとpathオプションの両方を指定することはできません。 -
file_format
挿入に使用するファイル形式を指定します。有効なオプションは
TEXT、CSV、JSON、JDBC、PARQUET、ORC、HIVE、LIBSVM、またはorg.apache.spark.sql.execution.datasources.FileFormatのカスタム実装の完全修飾クラス名です。 -
OPTIONS ( key = val [ , … ] )
ファイル形式の書き込みに関する1つ以上のオプションを指定します。
-
hive_format
挿入に使用するファイル形式を指定します。
row_formatとhive_serdeはどちらもオプションです。ROW FORMAT SERDEはTEXTFILE、SEQUENCEFILE、またはRCFILEでのみ使用できますが、ROW FORMAT DELIMITEDはTEXTFILEでのみ使用できます。どちらも定義されていない場合、Spark はTEXTFILEを使用します。 -
row_format
この挿入の行形式を指定します。有効なオプションは
SERDE句とDELIMITED句です。SERDE句を使用して、この挿入のカスタムSerDeを指定できます。または、DELIMITED句を使用してネイティブSerDeを指定し、デリミタ、エスケープ文字、NULL文字などを指定できます。 -
hive_serde
この挿入のファイル形式を指定します。有効なオプションは
TEXTFILE、SEQUENCEFILE、RCFILE、ORC、PARQUET、およびAVROです。INPUTFORMATおよびOUTPUTFORMATを使用して独自の入力形式と出力形式を指定することもできます。 -
VALUES ( { value
|NULL } [ , … ] ) [ , ( … ) ]挿入する値を指定します。明示的に指定された値またはNULLを挿入できます。句内の各値を区切るにはコンマを使用する必要があります。複数の行を挿入するために、複数の値セットを指定できます。
-
query
挿入する行を生成するクエリ。次のいずれかの形式にすることができます。
例
Spark 形式
INSERT OVERWRITE DIRECTORY '/tmp/destination'
USING parquet
OPTIONS (col1 1, col2 2, col3 'test')
SELECT * FROM test_table;
INSERT OVERWRITE DIRECTORY
USING parquet
OPTIONS ('path' '/tmp/destination', col1 1, col2 2, col3 'test')
SELECT * FROM test_table;
Hive 形式
INSERT OVERWRITE LOCAL DIRECTORY '/tmp/destination'
STORED AS orc
SELECT * FROM test_table;
INSERT OVERWRITE LOCAL DIRECTORY '/tmp/destination'
ROW FORMAT DELIMITED FIELDS TERMINATED BY ','
SELECT * FROM test_table;