我有一个非常大的文件,4 GB,当我试图读取它时,我的计算机挂起了. 所以我想要一块一块地读,在处理完每一块之后,将处理后的块存储到另一个文件中,然后读取下一块.
有什么方法可以把这些东西做成yield
件吗?
我想要lazy method美元.
我有一个非常大的文件,4 GB,当我试图读取它时,我的计算机挂起了. 所以我想要一块一块地读,在处理完每一块之后,将处理后的块存储到另一个文件中,然后读取下一块.
有什么方法可以把这些东西做成yield
件吗?
我想要lazy method美元.
要编写惰性函数,只需使用yield
:
def read_in_chunks(file_object, chunk_size=1024):
"""Lazy function (generator) to read a file piece by piece.
Default chunk size: 1k."""
while True:
data = file_object.read(chunk_size)
if not data:
break
yield data
with open('really_big_file.dat') as f:
for piece in read_in_chunks(f):
process_data(piece)
另一种 Select 是使用iter
和帮助器函数:
f = open('really_big_file.dat')
def read1k():
return f.read(1024)
for piece in iter(read1k, ''):
process_data(piece)
如果文件是基于行的,则文件对象已经是行的懒惰生成器:
for line in open('really_big_file.dat'):
process_data(line)