Python 在Numpy数组中的列子集上聚合

首先，对NumPy中的列进行求和，然后只对结果求和:

n = 10**4
arr = np.random.rand(n,n)
clusters = [[random.randint(0,n-1) for _ in range(random.randint(0,n))] 
             for _ in range(n//100)]

%%timeit 
arr_sumed = arr.sum(0)
[arr_sumed[c_indices].sum() for c_indices in clusters]

每循环38.6毫秒±1.08毫秒(平均值±标准戴夫.共7次运行，每次10次循环)

%timeit [arr[:,c_indices].sum() for c_indices in clusters]

S每环27.3ms±382ms(平均值±标准戴夫.共7次运行，每次1次循环)

如果我想要一个中位数而不是总和，该怎么办？

好吧，我希望其他人会想出一个更好的解决方案，但你可以做的一件事是提前对列进行排序.然后，你可以通过将排序列表中的索引相加来找到一个数字的索引.最后，你对中位数进行二进制搜索:

n = 10**4
arr = np.random.rand(n,n)
clusters = [np.array([random.randint(0,n-1) for i in range(random.randint(0,n))]) for j in range(n//100)]

%%time
def median_from_sorted_arrays(arr_sorted, arr_min, arr_max, c_indices):
    n = len(arr_min)*len(c_indices)
    a = min(arr_min[c_indices])
    b = max(arr_max[c_indices])

    while True:
        k = sum(np.searchsorted(arr_sorted[i], (a+b)/2) for i in c_indices)
        if k/n < 0.499:
            a = (a+b)/2
        elif k/n > 0.501:
            b = (a+b)/2    
        else:
            return (a+b)/2

arr_sorted = np.sort(arr, 0)
arr_min = np.min(arr, 0)
arr_max = np.max(arr, 0)

[median_from_sorted_arrays(arr_sorted, arr_min, arr_max,c_indices) for c_indices in clusters]

这花了13.7秒，而天真的方法只花了1分43秒.

请注意，尽管二分搜索应该总是有效的，并给出一个完美的解决方案，但我没有花时间计算出正确的停止标准，使这个中位数成为一个近似值.