我的源数据在MongoDB中被 struct 化为事件,我们正在Snowflake中构建一个数据仓库.每种类型的事件都与DW中的操作有关,例如行插入或更新等.

如何将MongoDB中的数据连续加载到Snowflake中?

推荐答案

你(至少)有两个 Select :

  1. Use an integration tool such as dbt:
    https://docs.snowflake.com/en/user-guide/ecosystem-etl.html

  2. Create your own bespoke pipleline with SnowPipe via a storage integration. This will involve creating a process that exports the events from MongoDB to cloud storage. Obviously, this process needs to keep track of which events have already been processed.
    https://docs.snowflake.com/en/user-guide/data-load-snowpipe-intro.html https://docs.snowflake.com/en/sql-reference/sql/create-storage-integration.html

Mongodb相关问答推荐

MongoDB聚合:将文档列表转换为列表

如何将数组$拉到对象数组下

GO:如何在MongoDB中区分空字符串和nil

如何在MongoDB中对两个数组进行分组?

在mongdob中按子文档筛选不起作用

如何在 kubernetes 中获取分片 mongodb 的备份

对 MongoDB 集合中的对象数组进行排序

如何过滤查找mongodb的结果

使用 Flask-pymongo 扩展通过 _id 在 MongoDB 中搜索文档

Mocking/stubbing mongoose模型保存方法

启动mongodb和express的正确方法?

如何解决 ClassNotFoundException:com.mongodb.connection.BufferProvider?

Node + Mongoose:获取最后插入的 ID?

MEAN 堆栈文件上传

majority和 linearizable的区别

在安装的 MongoDB homebrew 中设置 dbpath (Mac OS)

查询不等于 null 或空的地方

如何匹配 MongoDB 聚合框架中的 undefined值?

Mongoid 不在查询中

MongoDB聚合框架的索引优化