Hive Row Format
説明
CREATE TABLE および TRANSFORM 句で、serde またはテキストデリミタを指定するために Spark は Hive の行フォーマットをサポートしています。CREATE TABLE および TRANSFORM 句の row_format で行フォーマットを定義するには、2 つの方法があります。
- カスタム SerDe クラスを指定するための
SERDE句。 - ネイティブ SerDe のデリミタ、エスケープ文字、ヌル文字などを指定するための
DELIMITED句。
構文
row_format:
SERDE serde_class [ WITH SERDEPROPERTIES (k1=v1, k2=v2, ... ) ]
| DELIMITED [ FIELDS TERMINATED BY fields_terminated_char [ ESCAPED BY escaped_char ] ]
[ COLLECTION ITEMS TERMINATED BY collection_items_terminated_char ]
[ MAP KEYS TERMINATED BY map_key_terminated_char ]
[ LINES TERMINATED BY row_terminated_char ]
[ NULL DEFINED AS null_char ]
パラメータ
-
SERDE serde_class
カスタム SerDe の完全修飾クラス名を指定します。
-
SERDEPROPERTIES
SerDe 定義にタグ付けするために使用されるキーと値のペアのリスト。
-
FIELDS TERMINATED BY
列の区切り文字を定義するために使用されます。
-
COLLECTION ITEMS TERMINATED BY
コレクション要素の区切り文字を定義するために使用されます。
-
MAP KEYS TERMINATED BY
マップキーの区切り文字を定義するために使用されます。
-
LINES TERMINATED BY
行の区切り文字を定義するために使用されます。
-
NULL DEFINED AS
NULL の特定の値の定義に使用されます。
-
ESCAPED BY
エスケープメカニズムに使用されます。