气stream“这个DAG不能在networking服务器DagBag对象中使用”

当我把一个新的DAG python脚本放在dags文件夹中时,我可以在DAG UI中查看一个新的DAG条目,但是它没有自动启用。 最重要的是,它似乎没有正确加载。 我只能点击列表右侧的刷新button几次,并切换列表左侧的开启/closuresbutton,以便能够安排DAG。 这些都是手动过程,因为我需要触发某些东西,即使DAG脚本放在了DAG文件夹中。

任何人都可以帮助我呢? 我错过了什么吗? 或者这是气stream中的正确行为?

顺便说一下,正如post标题中提到的那样,有一个指示器带有这个消息:“这个DAG在networking服务器DagBag对象中是不可用的,它显示在这个列表中,因为调度器在metdata数据库中标记为活动的”与DAG标题之前,我触发了所有这些手动过程。

这不是你,也不是正确或预期的行为。 这是目前Airflow的“错误”。 Web服务器缓存DagBag的方式不能像预期的那样真正使用它。

德米特里在他的评论中所暗示的是现在我恐怕能做的。 此后,您可能会得到Priyank指出的(非)组织,但这是预期的行为(状态:暂停或不),具体取决于您在安装中的配置。

从官方的TODO作为路线图的一部分:

  • 尝试删除Web服务器的DagBag缓存

这个问题是因为默认情况下,DAG被放入处于暂停状态的DagBag中,因此调度程序在启动/重新启动时不会被大量的回填活动所淹没。

要解决这个问题,可以在airflow.cfg文件中的下面的设置中进行修改

 # Are DAGs paused by default at creation dags_are_paused_at_creation = False 

希望这可以帮助。 干杯!