在 Go 中使用 Apache Arrow 按时间间隔对事件进行分区

我正在try 根据时间间隔从Kafka个事件中拆分一些事件.基本上，目标是读取datetime列中的值，运行一个简单的公式来判断当前事件是否落在当前的interval中.如果是，则将该事件附加到RecordBuilder，否则flush将事件组(A segment)附加到parquet文件.

以下是我到目前为止拥有的代码:

type Segment struct {
    mu             sync.Mutex
    schema         *arrow.Schema
    evtStruct      *arrow.StructType
    builder        *array.RecordBuilder
    writer         *pqarrow.FileWriter
    timestampIndex int
}

func NewSegment(dir string, datetimeFieldName string, schema *arrow.Schema) (*Segment, error) {
        // other inits here
        // ...

    // create a parquet file
    pFile, err := os.Create(fileName)
    if err != nil {
        return nil, err
    }
    w, err := pqarrow.NewFileWriter(schema, pFile, props, pqarrow.DefaultWriterProps())
    if err != nil {
        panic(err)
    }

    // create the new record builder for inserting data to arrow
    mem := memory.NewCheckedAllocator(memory.NewGoAllocator())
    b := array.NewRecordBuilder(mem, schema)

    evtStruct := arrow.StructOf(schema.Fields()...)
    idx, ok := evtStruct.FieldIdx(datetimeFieldName)
    if !ok {
        return nil, fmt.Errorf("couldn't find datetime column")
    }

    return &Segment{
        schema:         schema,
        evtStruct:      evtStruct,
        mu:             sync.Mutex{},
        builder:        b,
        writer:         w,
        timestampIndex: idx,
    }, nil
}

// data comes from Kafka and it represent a single event
func (s *Segment) InsertData(data []byte) error {
    s.mu.Lock()
    defer s.mu.Unlock()

        // TODO: do partition by interval here
        // extract the datetime value --> dtVal (unix epoch)
        // assume for now an interval of 5 minutes
        // dtPartition = math.floor(dtVal, 5*60)
        /* if dtPartition > oldDtPartition {
                return s.Flush()
           }
        */

        // append the data to the current builder
    if err := s.builder.UnmarshalJSON(data); err != nil {
        return err
    }

    return nil
}

// Flush persist the segment on disk
func (s *Segment) Flush() error {
    s.mu.Lock()
    defer s.mu.Unlock()

    rec := s.builder.NewRecord()

    // closable
    defer s.builder.Release()
    defer s.writer.Close()
    defer rec.Release()

    // write parquet file
    if err := s.writer.WriteBuffered(rec); err != nil {
        return err
    }

    return nil
}

问题是，我无法对InsertData函数的data输入参数执行"Unmarshal"操作，因为没有可以将其解组到的"struct".我能够创建arrow.Schema和arrow.StructType是因为我正在创建的服务允许用户定义事件的模式.因此，我正在try 找到一种方法来读取事件中的datetime值，并决定哪一个值属于interval.

在函数InsertData中，我添加了一些我想要实现的愚蠢的伪代码.也许ApacheArrow有一些功能可以帮助我完成我想要做的事情.提前谢谢您.