Pandas API on Spark# オプションと設定 オプションの取得と設定 異なるDataFrameに対する操作 デフォルトのIndexタイプ 利用可能なオプション pandasおよびPySpark DataFrameとの相互変換 pandas PySpark 関数を変換して適用する transform と apply pandas_on_spark.transform_batch と pandas_on_spark.apply_batch Spark上のPandas APIにおける型サポート PySparkとpandas API on Spark間の型キャスト pandasとpandas API on Spark間の型キャスト 内部型マッピング Spark上のPandas APIにおける型ヒント pandas-on-Spark DataFrameとPandas DataFrame 名前による型ヒント Indexによる型ヒント 他のDBMSとの相互変換 DataFrameの読み書き ベストプラクティス PySpark APIの活用 実行計画の確認 チェックポイントの使用 シャーリングの回避 単一パーティションでの計算の回避 予約済み列名の回避 重複する列名を使用しない Spark DataFrameからpandas-on-Spark DataFrameへの変換時にインデックス列を指定する distributed または distributed-sequence のデフォルトインデックスを使用する distributed-sequence によるインデックスの不整合の処理 異なるDataFrame/Seriesに対する操作の削減 可能な限りpandas API on Sparkを直接使用する サポートされているPandas API CategoricalIndex API DataFrame API DatetimeIndex API Index API MultiIndex API Series API TimedeltaIndex API 一般関数API Expanding API ExpandingGroupby API Rolling API RollingGroupby API Window API DataFrameGroupBy API GroupBy API SeriesGroupBy API FAQ PySparkのDataFrame APIとpandas API on Sparkのどちらを使用すべきか？ pandas API on SparkはStructured Streamingをサポートしていますか？ pandas API on SparkはDaskとどのように異なりますか？