Hive 行形式

説明

Spark は CREATE TABLEおよび TRANSFORM句でHive行形式をサポートしており、serdeまたは区切り文字を指定できます。行形式を row_formatの CREATE TABLEおよび TRANSFORM句に定義する方法は2つあります。

1. SERDE句: カスタムSerDeクラスを指定します。
2. DELIMITED句: ネイティブSerDeのカラムセパレータ、エスケープ文字、NULL文字などを指定します。

構文

row_format:    
    SERDE serde_class [ WITH SERDEPROPERTIES (k1=v1, k2=v2, ... ) ]
    | DELIMITED [ FIELDS TERMINATED BY fields_terminated_char [ ESCAPED BY escaped_char ] ] 
        [ COLLECTION ITEMS TERMINATED BY collection_items_terminated_char ] 
        [ MAP KEYS TERMINATED BY map_key_terminated_char ]
        [ LINES TERMINATED BY row_terminated_char ]
        [ NULL DEFINED AS null_char ]

パラメータ

• SERDE serde_class

  カスタムSerDeの完全修飾クラス名を指定します。

• SERDEPROPERTIES

  SerDe定義にタグを付けるために使用されるキーと値のペアのリストです。

• FIELDS TERMINATED BY

  カラムセパレータを定義するために使用されます。

• COLLECTION ITEMS TERMINATED BY

  コレクション項目セパレータを定義するために使用されます。

• MAP KEYS TERMINATED BY

  マップキーセパレータを定義するために使用されます。

• LINES TERMINATED BY

  行セパレータを定義するために使用されます。

• NULL DEFINED AS

  NULLに対する特定の値を定義するために使用されます。

• ESCAPED BY

  エスケープメカニズムに使用されます。