我有一个具有特定模式的Spark数据框(Df1)，我有另一个具有相同列但不同模式的数据帧.我知道如何一列接一列地做，但由于我有一大组专栏，所以它会相当长.为了保持数据帧之间模式的一致性，我想知道是否可以将一个模式应用到数据框中，或者创建一个函数来完成这项工作. 下面是一个例子
df1
root
|-- A: date (nullable = true)
|-- B: integer (nullable = true)
|-- C: string (nullable = true)
df2
root
|-- A: string (nullable = true)
|-- B: string (nullable = true)
|-- C: string (nullable = true)`
我想将df1的模式复制到df2.如有任何意见和指示，我将不胜感激.
我在一篇专栏文章中try 了这种方法.考虑到我有大量的专栏，这将是一个相当长的方法.
df2 = df2.withColumn("B", df2["B"].cast('int'))
是的，100可以动态实现
df2.select(*[(col(x.name).cast(x.dataType)) for x in df1.schema.fields])个
100
from pyspark.sql.functions import *
df1 = spark.createDataFrame([('2022-02-02',2,'a')],['A','B','C']).withColumn("A",to_date(col("A")))
print("df1 Schema")
df1.printSchema()
#df1 Schema
#root
# |-- A: date (nullable = true)
# |-- B: long (nullable = true)
# |-- C: string (nullable = true)
df2 = spark.createDataFrame([('2022-02-02','2','a')],['A','B','C'])
print("df2 Schema")
df2.printSchema()
#df2 Schema
#root
# |-- A: string (nullable = true)
# |-- B: string (nullable = true)
# |-- C: string (nullable = true)
#
#casting the df2 columns by getting df1 schema using select clause
df3 = df2.select(*[(col(x.name).cast(x.dataType)) for x in df1.schema.fields])
df3.show(10,False)
print("df3 Schema")
df3.printSchema()
#+----------+---+---+
#|A |B |C |
#+----------+---+---+
#|2022-02-02|2 |a |
#+----------+---+---+
#df3 Schema
#root
# |-- A: date (nullable = true)
# |-- B: long (nullable = true)
# |-- C: string (nullable = true)
在本例中，我用Integer,date,long types定义了df1.
100定义为string类型.
100是通过使用df2作为源数据并附加df1 schema来定义的.