您好，欢迎来到 Apache Airflow 训练营：通过实际示例实践工作流程自动化！

在我的整个职业生涯中，我使用 Apache Airflow 构建和管理了无数工作流，我很高兴与您分享我的知识。

本课程旨在将您从完全的初学者转变为自信的 Apache Airflow 用户。我们将涵盖从安装到高级功能的所有内容，您将通过实际示例和实际项目获得实践经验

课程包括什么？

 Airflow 简介

• 了解使用 Apache Airflow 的目的和好处。

• 在您的项目中采用 Airflow 的优缺点。

 Airflow 架构

• 详细介绍构成 Airflow 的组件。

• Airflow 中使用的关键术语。

配置和安装

• 安装 Airflow 的分步指南。

• airflow.cfg 文件的角色和配置。

 Airflow Web UI 视图

• 启动和导航 Airflow Web UI。

•  DAG 视图

•  网格视图

•  Graph 视图

•  日历视图

•  任务持续时间视图

•  代码视图

•  变量视图

•  甘特图

DAG（有向无环图）

•  什么是 DAG？

• 创建 DAG 定义文件。

• 创建 DAG 的不同方法。

• 了解 DAG Run、default_arguments 和 DAG 参数。

• 在 DAG 中使用参数并通过 TriggerDagRunOperator 传递参数。

• 计划概念包括 depends_on_past、wait_for_downstream、追赶和回填。

Airflow CLI 和备忘单

• 利用 Airflow CLI 进行各种操作。

• 方便的作弊表，供快速参考。

 Airflow 中的任务

• 什么是任务和任务实例？

• 任务的生命周期。

 Airflow 中的运算符

• 详细探索了包括 BashOperator、PostgresOperator、PythonOperator、SqliteOperator 和 EmailOperator 在内的运算符。

 传感器

• 使用 FileSensor、SQLSensor、TimeDeltaSensor 和 TimeSensor 等传感器。

 分支

• 使用 BranchSQLOperator、BranchPythonOperator、BranchDayOfWeekOperator、BranchDateTimeOperator 和 ShortCircuitOperator 实现分支逻辑。

DAG 依赖项和任务组

• 管理 DAG 依赖项和使用 TaskGroups。

• 使用 TriggerDagRunOperator 和 ExternalTaskSensor。

 钩

• 了解和使用 PostgresHook 和 SHook 等钩子。

 资源管理

• 使用池和任务优先级管理资源。

 Airflow 中的 Executor

• 不同类型的 executor：SequentialExecutor 和 LocalExecutor。

• 从 SequentialExecutor 转换为 LocalExecutor。

Airflow 元数据数据库和角色

• 了解 Airflow 元数据数据库。

• 管理角色：创建不同角色的用户，包括 admin、public、user 和 operator 角色。

• 创建自定义角色并修改现有角色。

SLA（服务等级协议）

• 设置和管理任务级和 DAG 级 SLA。

•  处理 SLA 未命中。

 高级概念

• 使用 XCom 进行任务间通信。

• 检索上下文参数和使用回调函数。

• 处理僵尸任务、SIGTERM 和 SIGKILL 错误。

我相信使用 Airflow 掌握工作流程自动化可以在数据工程领域开辟难以置信的机会。我亲眼目睹了它如何改变我们处理数据的方式，我迫不及待地想看看您将利用这些技能取得什么成就。

因此，无论您是想提升自己的职业生涯、开发更高效的数据管道，还是只是对 Airflow 感到好奇，您都来对地方了。让我们一起开始创建一些令人惊叹的工作流程。准备好了吗？让我们开始吧！

祝您取得巨大成功！