你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站,请访问 https://docs.azure.cn。
重要
2026 年 1 月 1 日,你将无法再使用 ADF 的工作流业务流程管理器创建新的 Airflow 实例。 建议在 2025 年 12 月 31 日之前将所有工作流业务流程管理器(Azure 数据工厂 中的 Apache Airflow)工作负荷迁移到 Microsoft Fabric 中的 Apache Airflow 作业 。
有关在使用 Microsoft Fabric 迁移到 Apache Airflow 期间获取更多信息或技术支持,请联系微软技术支持。
先决条件
需要一个 Azure 订阅。 如果还没有 Azure 订阅,可以在开始前创建一个免费 Azure 帐户。
启用工作流编排管理器的诊断日志和指标
打开 Azure 数据工厂资源,然后选择最左侧窗格中的“诊断设置”。 然后选择“添加诊断设置”。
填写“诊断设置”名称。 为 Airflow 日志选择以下类别:
- Airflow 任务执行日志
- Airflow 辅助角色日志
- Airflow DAG 处理日志
- Airflow 计划程序日志
- Airflow Web 日志
- 如果选择“所有指标”,则可以使用各种数据工厂指标来监视或发出警报。 这些指标包括 Azure 数据工厂活动和工作流编排管理器集成运行时的指标,例如
AirflowIntegrationRuntimeCpuUsage和AirflowIntegrationRuntimeMemory。
在“目标详细信息”下,选中“发送到 Log Analytics 工作区”复选框。
选择“保存”。
查看日志
添加诊断设置后,可以在“诊断设置”部分中找到它们。 若要访问和查看日志,请选择已配置的 Log Analytics 工作区。
在“最大化 Log Analytics 体验”部分下,选择“查看日志”。
你将定向到 Log Analytics 工作区,可从中看到所选表已自动导入到工作区中。
架构的其他有用链接:
- Azure Monitor 日志参考 - ADFAirflowSchedulerLogs |Microsoft Learn
- Azure Monitor 日志参考 - ADFAirflowTaskLogs |Microsoft Learn
- Azure Monitor 日志参考 - ADFAirflowWebLogs |Microsoft Learn
- Azure Monitor 日志参考 - ADFAirflowWorkerLogs | Microsoft Learn
- Azure Monitor 日志参考 - AirflowDagProcessingLogs | Microsoft Learn
编写查询
让我们从最简单的查询开始,该查询返回
ADFAirflowTaskLogs中的所有记录。 可以双击表名称,以将其添加到查询窗口。 还可以直接在窗口中输入表名称。若要缩小搜索结果范围,例如根据特定任务 ID 筛选搜索结果,可以使用以下查询:
ADFAirflowTaskLogs | where DagId == "<your_dag_id>" and TaskId == "<your_task_id>"
同样,可以使用 LogManagement 中提供的任何表根据需要创建自定义查询。
有关详细信息,请参阅:
监控指标
Azure 数据工厂为 Airflow 集成运行时提供全面的指标,使你能够有效地监视 Airflow 集成运行时的性能,并根据需要建立警报机制。
打开 Azure 数据工厂资源。
在最左侧窗格中的“监视”部分下,选择“指标”。
选择要监视的“范围”>“指标命名空间”>“指标”。
查看多折线图,它直观显示了集成运行时 CPU 百分比和集成运行时 Dag 包大小。
可以设置在指标满足特定条件时触发的警报规则。 有关详细信息,请参阅 Azure Monitor 警报概述。
在图表完成后,选择“保存到仪表板”,否则图表将消失。