我有以下的PySpark数据帧
| A |
|---|
| 1001 |
| 1110 |
| 1000 |
我希望找到本专栏中1的所有匹配项，并以如下方式将其放入新的专栏中:
| A | Occurrences |
|---|---|
| 1001 | 0,3 |
| 1110 | 0,1,2 |
| 1000 | 0 |
我try 了locate函数，如下所示:
from pyspark.sql import functions as F
dfa_occ = dfa.withColumn('Occurrences', F.locate('1', (F.col('A'))-1) )
然而，这只提取了第一个出现的1，而我需要找到他们所有的！
您可以try posexplode，并将聚合结果返回到一个列表中.本例中的split将字符串拆分成字母.
from pyspark.sql import functions as F
df = spark.createDataFrame([('1001',), ('1110',), ('1000',)], ['A'])
df = (df
.select('*', F.posexplode(F.split('A', '(?!$)')))
.filter('col = 1')
.groupBy('A')
.agg(F.collect_list('pos').alias('Occurrences'))
)
df.show()
# +----+-----------+
# | A|Occurrences|
# +----+-----------+
# |1001| [0, 3]|
# |1000| [0]|
# |1110| [0, 1, 2]|
# +----+-----------+