Python 使用 pyspark 仅 Select 嵌套 MapType 列中的特定键

发布于05月01日

给出一个带有嵌套的MapType对象和散列出的顶级键的数据帧，我如何过滤掉嵌套映射中的子键？

下面是一个带有样本输入和预期输出的示例.在这里，我想过滤出以fname和lname为关键字的嵌套 map .

输入:-

{
  'h#9l00' : {
     'fname': 'fname1',
     'lname': 'lname1',
     'salary': 100,
     'city': 'xyz'
  },
  'o*5ftr': {
     'fname': 'fname2',
     'lname': 'lname2',
     'city': 'xyz'
  }
}

输出:-

{
  'h#9l00' : {
     'salary': 100,
     'city': 'xyz'
  },
  'o*5ftr': {
     'city': 'xyz'
  }
}

如果我知道我想要删除或保留的密钥列表，有没有一种方法可以编写一个pyspark UDF来解决这个用例？

推荐答案

布设

df.show()

+-------------------------------------------------------------------------------------------------------------------------------------+
|col                                                                                                                                  |
+-------------------------------------------------------------------------------------------------------------------------------------+
|{o*5ftr -> {fname -> fname2, lname -> lname2, city -> xyz}, h#9l00 -> {fname -> fname1, lname -> lname1, salary -> 100, city -> xyz}}|
+-------------------------------------------------------------------------------------------------------------------------------------+

代码

没有必要使用UDF，因为UDF本身就很慢.在这里，我们可以使用内置的高阶函数来实现结果.将值转换函数应用于外部映射中的每个键、值对，然后在内部映射上应用映射过滤器以删除预定义的keys

keys = ['fname', 'lname']
func = F.transform_values('col', lambda _, x: F.map_filter(x, lambda k, _: ~k.isin(keys)))
result = df.withColumn('col', func)

结果

result.show()

+-----------------------------------------------------------------+
|col                                                              |
+-----------------------------------------------------------------+
|{o*5ftr -> {city -> xyz}, h#9l00 -> {salary -> 100, city -> xyz}}|
+-----------------------------------------------------------------+