Python 从PICLE文件中读取给定ID的行，而不加载所有数据

import pandas as pd
import pickle

id = 2
path = "contents.pickle"

# dummy data
df = pd.DataFrame({
    "ID": [0,1,2,3,4,5,6,7,8,9],
    "Contents": [0,1,2,3,4,5,6,7,8,9]
})

print(f"{df=}")

df.to_pickle(path=path)

df = pd.read_pickle(filepath_or_buffer=path)

with open(path, "rb") as handle:
    df = pickle.load(handle)

data = [0,1,2,3,4,5,6,7,8,9]

with open(path, "wb") as handle:
    pickle.dump(data, handle)

file = open(file=path)

file.seek(id)

row = pickle.load(file)

print(f"{row=}")

df.to_parquet('results.parquet')

row = pd.read_parquet('results.parquet', filters=[('ID', '=', 9)])

>>> row
   ID  Contents
0   9         9

import pyarrow.parquet as pq

ds = pq.ParquetDataset('results.parquet', filters=[('ID', '=', 9)])

>>> ds.read()  # read to get the row without load the entire file
pyarrow.Table
ID: int64
Contents: int64
----
ID: [[9]]
Contents: [[9]]

Python相关问答推荐

Locust请求中的Python和参数

比较两个二元组列表，NP.isin

我在使用fill_between()将最大和最小带应用到我的图表中时遇到问题

时间序列分解

如何让剧作家等待Python中出现特定cookie(然后返回它)？

如何使用LangChain和AzureOpenAI在Python中解决AttribeHelp和BadPressMessage错误？

如何记录脚本输出

如何在类和classy-fastapi -fastapi- followup中使用FastAPI创建路由

如何根据一列的值有条件地 Select 前N组？

字符串合并语法在哪里记录

如果初始groupby找不到满足掩码条件的第一行，我如何更改groupby列，以找到它？

matplotlib图中的复杂箭头形状

在Python中使用yaml渲染(多行字符串)

干燥化与列姆化的比较

无法在Spyder上的Pandas中将本地CSV转换为数据帧

如何反转一个框架中列的值？

pytest、xdist和共享生成的文件依赖项

如何将验证器应用于PYDANC2中的EACHY_ITEM？

解析CSV文件以将详细信息添加到XML文件

如何在不不断遇到ChromeDriver版本错误的情况下使用Selify？