自从询问了this个之后，我开始考虑使用两极来处理我的数据.From the docs for map_rows，一般来说，有很多关于使用Python函数而不是他们自己的表达系统的警告，因为它的速度要慢得多.是否有可能使用polars表达来查找字形行中的连续序列？
一个额外的问题是，我现有的ADF(来自上一个问题)上的@njitdecorator 是否对Polars map_rows的运行有任何影响.如果相关，我目前使用polars Array类型而不是List(但如果需要，我可以更改).
编辑 :
我的收件箱(CSV格式)的形状如下:
Myname,"1,2,3,4,5,5,5,5",AnotherName
中间数组的长度是固定的，但我不一定知道步进有多长(本例中是4长).
如前所述，我目前正在使用我之前的问题和一个ADF，我将其应用于许多行，旨在过滤它们.
听起来你有:
df = pl.read_csv(b"""
name,array,other
a,"1,2,3,4,5,5,5,5",e
b,"1,2,3,4,6,6,6",f
c,"1,2,2,2,2,3,4,6,6,6",g
d,"1,1,1,1,1",h
""").with_columns(
array = pl.format("[{}]", "array").str.json_decode()
).with_row_index()
shape: (4, 4)
┌───────┬──────┬────────────────────────────────┬───────┐
│ index ┆ name ┆ array ┆ other │
│ --- ┆ --- ┆ --- ┆ --- │
│ u32 ┆ str ┆ list[i64] ┆ str │
╞═══════╪══════╪════════════════════════════════╪═══════╡
│ 0 ┆ a ┆ [1, 2, 3, 4, 5, 5, 5, 5] ┆ e │
│ 1 ┆ b ┆ [1, 2, 3, 4, 6, 6, 6] ┆ f │
│ 2 ┆ c ┆ [1, 2, 2, 2, 2, 3, 4, 6, 6, 6] ┆ g │
│ 3 ┆ d ┆ [1, 1, 1, 1, 1] ┆ h │
└───────┴──────┴────────────────────────────────┴───────┘
您想要测试array列中是否存在任何Run-length encoding = N.
Polars有rle和rle_id个表情:.rle()
.flatten() + .over("index")是"模拟"基于行的列表操作的一种方法.
df.with_columns(
pl.col("array").flatten().rle().struct["lengths"].max().over("index")
.alias("rle_max_len")
)
shape: (4, 5)
┌───────┬──────┬────────────────────────────────┬───────┬─────────────┐
│ index ┆ name ┆ array ┆ other ┆ rle_max_len │
│ --- ┆ --- ┆ --- ┆ --- ┆ --- │
│ u32 ┆ str ┆ list[i64] ┆ str ┆ i32 │
╞═══════╪══════╪════════════════════════════════╪═══════╪═════════════╡
│ 0 ┆ a ┆ [1, 2, 3, 4, 5, 5, 5, 5] ┆ e ┆ 4 │
│ 1 ┆ b ┆ [1, 2, 3, 4, 6, 6, 6] ┆ f ┆ 3 │
│ 2 ┆ c ┆ [1, 2, 2, 2, 2, 3, 4, 6, 6, 6] ┆ g ┆ 4 │
│ 3 ┆ d ┆ [1, 1, 1, 1, 1] ┆ h ┆ 5 │
└───────┴──────┴────────────────────────────────┴───────┴─────────────┘
本质上与做的事情是一样的:
(df.group_by("index")
.agg(
pl.all().first(),
rle_max_len = pl.col("array").flatten().rle().struct["lengths"].max()
)
)
如果您不需要长度，如果需要，可以直接传递到.filter().
df.filter(
pl.col("array").flatten().rle().struct["lengths"].max().over("index") > 3
)
shape: (3, 4)
┌───────┬──────┬────────────────────────────────┬───────┐
│ index ┆ name ┆ array ┆ other │
│ --- ┆ --- ┆ --- ┆ --- │
│ u32 ┆ str ┆ list[i64] ┆ str │
╞═══════╪══════╪════════════════════════════════╪═══════╡
│ 0 ┆ a ┆ [1, 2, 3, 4, 5, 5, 5, 5] ┆ e │
│ 2 ┆ c ┆ [1, 2, 2, 2, 2, 3, 4, 6, 6, 6] ┆ g │
│ 3 ┆ d ┆ [1, 1, 1, 1, 1] ┆ h │
└───────┴──────┴────────────────────────────────┴───────┘