Python numpy.unique如何消除重复列

源代码链接可以在文档页面上找到

https://github.com/numpy/numpy/blob/v1.26.0/numpy/lib/arraysetops.py#L138-L320

基本步骤是:

将轴移动到起点:

In [103]: ar = np.moveaxis(myarray, 1, 0)

创建一个连续的2D数组:

In [104]: orig_shape, orig_dtype = ar.shape, ar.dtype
     ...: ar = ar.reshape(orig_shape[0], np.prod(orig_shape[1:], dtype=np.intp))
     ...: ar = np.ascontiguousarray(ar)    
In [105]: ar
Out[105]: 
array([[ 1, -5, 10],
       [ 3,  0, 11],
       [ 7,  9, 12],
       [ 8,  2, 85],
       [ 3,  0, 11]])

定义一个复合dtype，并从中创建一个 struct 化数组:

In [106]: dtype = [('f{i}'.format(i=i), ar.dtype) for i in range(ar.shape[1])];dtype
Out[106]: [('f0', dtype('int32')), ('f1', dtype('int32')), ('f2', dtype('int32'))]

In [107]: consolidated = ar.view(dtype); consolidated
Out[107]: 
array([[(1, -5, 10)],
       [(3,  0, 11)],
       [(7,  9, 12)],
       [(8,  2, 85)],
       [(3,  0, 11)]], dtype=[('f0', '<i4'), ('f1', '<i4'), ('f2', '<i4')])

然后，这个数组可以被视为一个1d数组:

In [108]: np.lib.arraysetops._unique1d(consolidated)
Out[108]: 
(array([(1, -5, 10), (3,  0, 11), (7,  9, 12), (8,  2, 85)],
       dtype=[('f0', '<i4'), ('f1', '<i4'), ('f2', '<i4')]),)

还有进一步的代码可以将这个"unique"数组重新塑造成原始的dtype和shape.

unique1d的关键是对数组进行排序(go 掉大小为1的尾随维度):

In [109]: np.sort(consolidated[:,0])
Out[109]: 
array([(1, -5, 10), (3,  0, 11), (3,  0, 11), (7,  9, 12), (8,  2, 85)],
      dtype=[('f0', '<i4'), ('f1', '<i4'), ('f2', '<i4')])

然后寻找相邻的复制品.

因此，主要的"棘手"步骤是构造一个 struct 化的数组视图，它可以被排序为1darray. 这种排序是字典式的—首先字段，然后是第二字段，等等.

对每行的字符串格式进行排序会得到类似的结果，但 struct 化数组版本更通用

In [121]: x=[f'{row}' for row in ar];x
Out[121]: ['[ 1 -5 10]', '[ 3  0 11]', '[ 7  9 12]', '[ 8  2 85]', '[ 3  0 11]']

In [122]: x.sort();x
Out[122]: ['[ 1 -5 10]', '[ 3  0 11]', '[ 3  0 11]', '[ 7  9 12]', '[ 8  2 85]']