Python 在 Pyspark 中排名和排除空值

试试下面的方法--

from pyspark.sql.functions import *
from pyspark.sql.window import Window

window = Window.partitionBy(['group']).orderBy(col('feature').asc_nulls_last())

df1 = spark_df.withColumn("feature_rank", when(col("feature").isNull(), None).otherwise(lit(0)))
df2 = df1.withColumn("feature_rank", when(col("feature").isNull(), col("feature_rank")).otherwise(ntile(5).over(window)))

df2.show()

+---+-----+-------+------------+
| ID|group|feature|feature_rank|
+---+-----+-------+------------+
|  4|    A|    0.1|           1|
|  3|    A|    0.3|           1|
|  1|    A|    0.5|           2|
|  9|    A|    1.1|           2|
|  5|    A|    1.2|           3|
|  7|    A|    2.0|           3|
| 10|    A|    2.2|           4|
|  2|    A|    3.4|           4|
|  6|    A|   null|        null|
|  8|    A|   null|        null|
| 19|    B|   0.34|           1|
| 15|    B|   0.87|           1|
| 12|    B|   1.32|           2|
| 16|    B|   1.56|           2|
| 18|    B|    2.1|           3|
| 13|    B|    2.5|           3|
| 20|    B|   7.43|           4|
| 11|    B|   null|        null|
| 14|    B|   null|        null|
| 18|    B|   null|        null|
+---+-----+-------+------------+

这里是asc_nulls_last()-

根据列的升序返回排序表达式，空值出现在非空值之后.