我正在使用Postgres运行气流系统.
在运行过程中出现了Web服务器运行缓慢的现象.
这是由于db表的dag_run和log中的数据不断累积造成的问题(通过访问postgres并直接删除数据,速度变得更快).
是否有任何气流选项可供定期清洁数据库?
如果没有这样的选项,我们将try 使用dag脚本直接删除数据.
我觉得奇怪的是,网络服务器的速度变慢了,因为有很多数据.Web服务器在打开另一个窗口时会获取所有数据吗?
我正在使用Postgres运行气流系统.
在运行过程中出现了Web服务器运行缓慢的现象.
这是由于db表的dag_run和log中的数据不断累积造成的问题(通过访问postgres并直接删除数据,速度变得更快).
是否有任何气流选项可供定期清洁数据库?
如果没有这样的选项,我们将try 使用dag脚本直接删除数据.
我觉得奇怪的是,网络服务器的速度变慢了,因为有很多数据.Web服务器在打开另一个窗口时会获取所有数据吗?
您可以通过运行以下命令清除旧记录:
airflow db clean [-h] --clean-before-timestamp CLEAN_BEFORE_TIMESTAMP [--dry-run] [--skip-archive] [-t TABLES] [-v] [-y]
在定期运行的DAG中包含此命令是非常常见的设置.