Python 需要根据 Pyspark 中的分组添加顺序编号

这将会奏效:

w=Window.orderBy(F.asc("colA"), F.asc("Date"))

df\
.withColumn("eq", F.when(F.lag("colB").over(w)==F.col("colB"), 0).otherwise(1))\
.withColumn("groups", F.sum("eq").over(w))\
.withColumn("row_num", F.row_number().over(w.partitionBy(F.col("colA"), F.col("groups"))))\
.show()

多亏了这个答案:Window functions: PARTITION BY one column after ORDER BY another

输入:

+----+----+----------+
|colA|colB|      Date|
+----+----+----------+
|   A|   1|2014-01-01|
|   A|   1|2014-02-01|
|   A|   3|2014-04-30|
|   A|   3|2014-05-05|
|   A|   2|2014-05-25|
|   A|   1|2014-06-06|
|   A|   1|2014-07-21|
|   B|   1|2014-09-04|
|   B|   1|2014-10-19|
|   B|   1|2014-12-03|
|   C|   3|2015-01-17|
|   C|   2|2015-03-03|
|   C|   2|2015-04-17|
+----+----+----------+

输出(保留中间列以便于理解，您可以删除它们):

+----+----+----------+---+------+-------+
|colA|colB|      Date| eq|groups|row_num|
+----+----+----------+---+------+-------+
|   A|   1|2014-01-01|  1|     1|      1|
|   A|   1|2014-02-01|  0|     1|      2|
|   A|   3|2014-04-30|  1|     2|      1|
|   A|   3|2014-05-05|  0|     2|      2|
|   A|   2|2014-05-25|  1|     3|      1|
|   A|   1|2014-06-06|  1|     4|      1|
|   A|   1|2014-07-21|  0|     4|      2|
|   B|   1|2014-09-04|  0|     4|      1|
|   B|   1|2014-10-19|  0|     4|      2|
|   B|   1|2014-12-03|  0|     4|      3|
|   C|   3|2015-01-17|  1|     5|      1|
|   C|   2|2015-03-03|  1|     6|      1|
|   C|   2|2015-04-17|  0|     6|      2|
+----+----+----------+---+------+-------+