我正在寻找关于使用pandas迭代器的建议.
我使用Pythonpandas执行了一个解析操作，输入文件(一个名为eggnog的生物信息学程序)的大小导致了‘RAM瓶颈’现象.它只是不在处理文件.
显而易见的解决方案是转向迭代器，对于pandas，这是chunksize选项
import pandas as pd
import numpy as np
df = pd.read_csv('myinfile.csv', sep="\t", chunksize=100)
原始代码更改的是chunksize=100位，强制使用迭代器.
下一步只需执行一个简单的操作，删除几列并将所有‘-’字符移动到np.nan，然后写入整个文件.
df.drop(['score', 'evalue', 'Description', 'EC', 'PFAMs'],axis=1).replace('-', np.nan)
df.to_csv('my.csv',sep='\t',index=False)
在Pandas 迭代器下如何做到这一点？
IIUC，您可以:
cols_to_drop = ['score', 'evalue', 'Description', 'EC', 'PFAMs']
data = []
for chunk in pd.read_csv('myinfile.csv', sep='\t', na_values='-', chunksize=100):
chunk = chunk.drop(columns=cols_to_drop)
data.append(chunk)
pd.concat(data).to_csv('my.csv', sep='\t', index=False)
如果您知道要保留哪些列而不是要删除哪些列，请使用:
cols_to_keep = ['col1', 'col2', 'col3']
data = []
for chunk in pd.read_csv('myinfile.csv', usecols=cols_to_keep, usesep='\t', na_values='-', chunksize=100):
data.append(chunk)
pd.concat(data).to_csv('my.csv', sep='\t', index=False)
另一种灵感来自@el_Oso:
cols_to_drop = ['score', 'evalue', 'Description', 'EC', 'PFAMs']
with (open('myinfile.csv') as inp,
open('my.csv', 'w') as out):
headers = inp.readline().split('\t')
out.write('\t'.join([col for col in headers if col not in cols_to_drop]))
for chunk in pd.read_csv(inp, header=None, names=headers, sep='\t', na_values='-', chunksize=100):
chunk = chunk.drop(columns=cols_to_drop)
chunk.to_csv(out, sep='\t', index=False, header=False)