当我把一个新的DAG python脚本放在dags文件夹中时,我可以在DAG UI中查看一个新的DAG条目,但是它没有自动启用。 最重要的是,它似乎没有正确加载。 我只能点击列表右侧的刷新button几次,并切换列表左侧的开启/closuresbutton,以便能够安排DAG。 这些都是手动过程,因为我需要触发某些东西,即使DAG脚本放在了DAG文件夹中。
任何人都可以帮助我呢? 我错过了什么吗? 或者这是气stream中的正确行为?
顺便说一下,正如post标题中提到的那样,有一个指示器带有这个消息:“这个DAG在networking服务器DagBag对象中是不可用的,它显示在这个列表中,因为调度器在metdata数据库中标记为活动的”与DAG标题之前,我触发了所有这些手动过程。
这不是你,也不是正确或预期的行为。 这是目前Airflow的“错误”。 Web服务器缓存DagBag的方式不能像预期的那样真正使用它。
德米特里在他的评论中所暗示的是现在我恐怕能做的。 此后,您可能会得到Priyank指出的(非)组织,但这是预期的行为(状态:暂停或不),具体取决于您在安装中的配置。
从官方的TODO作为路线图的一部分:
这个问题是因为默认情况下,DAG被放入处于暂停状态的DagBag中,因此调度程序在启动/重新启动时不会被大量的回填活动所淹没。
要解决这个问题,可以在airflow.cfg文件中的下面的设置中进行修改 :
# Are DAGs paused by default at creation dags_are_paused_at_creation = False
希望这可以帮助。 干杯!