我需要在多个进程之间共享HDF5文件中的大型数据集，出于一系列原因，mmap不是一个选项.
因此，我将其读入一个NumPy数组，然后将该数组复制到共享内存中，如下所示:
import h5py
from multiprocessing import shared_memory
dataset = h5py.File(args.input)['data']
shm = shared_memory.SharedMemory(
name=memory_label,
create=True,
size=dataset.nbytes
)
shared_tracemap = np.ndarray(dataset.shape, buffer=shm.buf)
shared_tracemap[:] = dataset[:]
但是这种方法会使所需的内存量加倍，因为我需要使用临时变量.有没有办法将数据集直接读入SharedMemory？
首先，注意到:在您的代码中，dataset是一个h5py DataSet对象，而不是一个NumPyarray.它不会将整个数据集加载到内存中！
正如@星期一的 comments 所说，read_direct()直接从HDF5数据集读取到NumPyarray.使用它可以避免在切片时制作中间副本.
下面是如何将其添加到您的代码中.(请注意，我建议在您的np.ndarray()呼叫中包含dtype关键字.)
shared_tracemap = np.ndarray(dataset.shape, dtype=dataset.dtype, buffer=shm.buf)
dataset.read_direct(shared_tracemap)
您可以使用source_sel=和dest_sel=关键字从数据集中读取切片.示例:
dataset.read_direct(shared_tracemap,source_sel=np.s_[0:100],dest_sel=np.s_[0:100])