从DAG，我可以使用op_args或op_kwargs将变量值作为参数传递给python脚本.在我的应用程序中，Dag正在导入我的脚本，我的python操作符如下所示
PythonOperator(
task_id='xxxxxx',
python_callable=my_script.main,
op_args=[bucket_name, prefix, source_blob_name, dest_bucket_name],
dag=dag,
trigger_rule='all_success'
)
我在气流中声明了我的变量.我可以在这里调用我的值bucket_name=Variable.get('bucket_name')，我想在Python脚本中将bucket_name的值传递给我的变量，可以吗？
在Python操作符op_args中，op_kwargs、templates_dict是templated fields.
所以你可以做:
PythonOperator(
...,
op_args=['{{ var.value.bucket_name }}'],
python_callable=my_script.main
)
那么您的Python可调用函数将是:
def main(*op_args):
bucket_name = op_args[0]
您也可以使用op_kwargs/templates_dict:
PythonOperator(
...,
templates_dict={'bucket_name', '{{ var.value.bucket_name }}'},
python_callable=my_script.main
)
那么您的Python可调用函数将是:
def main(bucket_name, **context):
...
但这两种方法都没有必要.
你可以这样做:
from airflow.models.variable import Variable
def main(**context):
bucket_name = Variable.get('bucket_name')
这是完全安全的，因为只有在执行PythonOperator时才调用main.