Python pyspark 数据框：填充具有不同数据类型的选定列的值

发布于06月06日

以下是合法的:

df.fillna(0, subset=['a', 'b'])
or
df.fillna( { 'a':0, 'b':0 } )

Question:如果a列为float类型，b列为date类型，是否也允许使用df.fillna( { 'a':0, 'b':'2022-12-01' } )？

推荐答案

对我有用

输入架构

root
 |-- A: double (nullable = true)
 |-- D: date (nullable = true)

输入df

+----+----------+
|   A|         D|
+----+----------+
| 0.0|      null|
|null|2009-01-02|
| 2.0|2009-01-05|
| 3.0|2009-01-06|
| 4.0|2009-01-07|
| 0.0|      null|
|null|2009-01-02|
| 2.0|2009-01-05|
| 3.0|2009-01-06|
| 4.0|2009-01-07|
+----+----------+

开始

df=df.开始({'A': 50, 'D': '2022-12-01'})
df.printSchema()

输出架构

root
 |-- A: double (nullable = false)
 |-- D: date (nullable = true)

输出df

+----+----------+
|   A|         D|
+----+----------+
| 0.0|2022-12-01|
|50.0|2009-01-02|
| 2.0|2009-01-05|
| 3.0|2009-01-06|
| 4.0|2009-01-07|
| 0.0|2022-12-01|
|50.0|2009-01-02|
| 2.0|2009-01-05|
| 3.0|2009-01-06|
| 4.0|2009-01-07|
+----+----------+