为了减少默认的64k scanner 缓冲区(for microcomputer with low memory),我try 使用此缓冲区和自定义拆分功能:
scanner.Buffer(make([]byte, 5120), 64)
scanner.Split(Scan64Bytes)
在这里,我注意到第二个缓冲区参数"max"没有效果.如果我改为插入例如0、1、5120或bufio.MaxScanTokenSize,我看不出有任何区别.
从文件中:
最大令牌大小是max和cap(buf)中的较大值.如果max<;=cap(buf),扫描将仅使用此缓冲区,不进行分配.
我不明白哪个是正确的最大值.你能给我解释一下吗?
package main
import (
"bufio"
"bytes"
"fmt"
)
func Scan64Bytes(data []byte, atEOF bool) (advance int, token []byte, err error) {
if len(data) < 64 {
return 0, data[0:], bufio.ErrFinalToken
}
return 64, data[0:64], nil
}
func main() {
// improvised source of the same size:
cmdstd := bytes.NewReader(make([]byte, 5120))
scanner := bufio.NewScanner(cmdstd)
// I guess 64 is the correct max arg:
scanner.Buffer(make([]byte, 5120), 64)
scanner.Split(Scan64Bytes)
for i := 0; scanner.Scan(); i++ {
fmt.Printf("%v: %v\r\n", i, scanner.Bytes())
}
if err := scanner.Err(); err != nil {
fmt.Println(err)
}
}