Koalas から pandas API on Spark への移行

• インポートするパッケージ名は、databricks.koalas から pyspark.pandas に変更する必要があります。

  # import databricks.koalas as ks
  import pyspark.pandas as ps
  

• Koalas DataFrame の DataFrame.koalas は、pandas-on-Spark DataFrame では DataFrame.pandas_on_spark にリネームされました。DataFrame.koalas は Spark 4.0 で削除されました。

• PySpark DataFrame のモンキーパッチされた DataFrame.to_koalas は、PySpark DataFrame の DataFrame.pandas_api にリネームされました。DataFrame.to_koalas は Spark 4.0 で削除されました。

• PySpark DataFrame のモンキーパッチされた DataFrame.to_pandas_on_spark は、PySpark DataFrame の DataFrame.pandas_api にリネームされました。DataFrame.to_pandas_on_spark は Spark 4.0 で削除されました。

• databricks.koalas.__version__ は削除されました。代わりに pyspark.__version__ を使用する必要があります。