Rust 使用 Serde 和 Bincode 将大型 struct 序列化到磁盘很慢

发布于04月23日

我有一个 struct ，它包含一个2到u32个值的向量(总大小约为8GB).我按照bincode示例将其写入磁盘:

#[macro_use]
extern crate serde_derive;
extern crate bincode;

use std::fs::File;
use bincode::serialize_into;

#[derive(Serialize, Deserialize, PartialEq, Debug)]
pub struct MyStruct {
    counter: Vec<u32>,
    offset: usize,
}

impl MyStruct {
    // omitted for conciseness
}


fn main() {
    let m = MyStruct::new();

    // fill entries in the counter vector

    let mut f = File::create("/tmp/foo.bar").unwrap();
    serialize_into(&mut f, &m).unwrap();
}

为了避免两次分配内存，我使用serialize_into直接写入文件.然而，写作过程真的很慢(大约半小时).有办法加速吗？

推荐答案

这不是serde和/或bincode的问题.与其他一些语言不同，Rust默认情况下不使用缓冲I/O(有关详细信息，请参阅this question).因此，使用缓冲写入程序可以显著提高该代码的性能:

#[macro_use]
extern crate serde_derive;
extern crate bincode;

use std::fs::File;
use bincode::serialize_into;
use std::io::BufWriter;

#[derive(Serialize, Deserialize, PartialEq, Debug)]
pub struct MyStruct {
    counter: Vec<u32>,
    offset: usize,
}

impl MyStruct {
    // omitted for conciseness
}


fn main() {
    let m = MyStruct::new();

    // fill entries in the counter vector

    let mut f = BufWriter::new(File::create("/tmp/foo.bar").unwrap());
    serialize_into(&mut f, &m).unwrap();
}

对我来说，这将写作过程从大约半小时加速到40秒(50倍加速).