ユーザガイド# PySpark ユーザガイドへようこそ！以下の各セクションには、PySpark に慣れるのに役立つコード駆動型の例が含まれています。 第1章：データフレーム - 構造化データへのビュー DataFrame を作成する DataFrame を表示する DataFrame の操作 DataFrame とテーブル DataFrame を永続ストレージに保存する 第2章：PySparkデータ型のツアー PySpark の基本的なデータ型 Double、Float、Decimal の精度 PySpark の複雑なデータ型 PySpark での列のキャスト PySpark での半構造化データ処理 第3章：関数ジャンクション - PySparkでのデータ操作 データのクリーニング データの変換 データの集計 DataFrame が衝突するとき：結合の技術 第4章：バグ退治 - PySparkのデバッグ Spark UI top および ps での監視 PySpark プロファイラーを使用する スタックトレースを表示する IDE デバッグ 第5章：UDFとUDTFの解放 Python UDF Python UDTF 第6章：旧SQL、新トリック - PySparkでのSQL実行 はじめに PySpark で SQL を実行する PySpark における SQL と DataFrame API SQL と DataFrame API を相互に利用する 第7章：読み込みと驚嘆 - データ読み込み、ストレージ、ファイル形式 データの読み込み データの書き込み 追加オプションと設定