基本 SQL:Azure 数据工厂和数据工程

Essential SQL Azure Data Factory and Data Engineering

Azure 数据工厂 |使用 ADF 进行数据工程 |数据映射流程| SQL 存储过程 |数据工程

你将学到什么

  • 了解如何使用 Azure 数据工厂和 SQL Server 构建 ELT 解决方案。
  • 使用映射数据流、复制活动和存储过程实施各种 ELT 解决方案。
  • 培养自信地构建 Azure 数据工厂管道并对其进行故障排除的技能。
  • 通过掌握参数的使用来优化数据工作流程,提高管道可靠性。
  • 了解使用 Azure 存储服务存储和构建数据的有效方法。
  • 了解 Azure 数据工厂、数据存储、SQL Server 和 Data Bricks 在创建 ELT 解决方案中发挥的独特作用。

要求

  • 熟悉 SQL 和基本编程技能可能会很有帮助。
  • 在处理脚本和数据转换任务时,熟练的编程能力将非常有价值
  • 故障排除和调试技术问题的经验将有助于构建 Azure 数据工厂管道并进行故障排除。

描述

使用 Azure 数据工厂自动执行数据工程任务。这是一门向您介绍 Azure 数据工厂功能的精彩课程。我们将从数据工程师的角度来看待数据工厂。

通过示例,我们将并肩工作来创建提取转换和加载流程来提取电影评级数据。

我们将探索三种不同的方法来转换数据。

第一种方法是使用 Azure 数据映射流。这些是进行 ETL 的绝佳无代码方法。

然后我们将了解如何使用 Python 进行相同的转换。这样,如果您喜欢 Python,您就会知道使用 Azure 数据工厂处理数据的可靠方法。

最后,我们将了解如何使用您的 SQL 和存储过程知识来创建管道。

您会喜欢本课程的一点是,一旦您学习了一种转换数据的方法,您就可以使用该知识来了解其他方法。因此,如果您是 SQL 专家,但对 Python 不太熟悉,则可以在尝试其他映射方法之前先学习 SQL 方式。最后,您将学习并欣赏摄取、转换和存储数据的替代方法。

本课程适合谁:

  • 有抱负的数据工程师:刚接触数据工程并希望了解如何使用 Azure 数据工厂构建数据解决方案的个人。
  • 业务分析师:使用数据做出业务决策的分析师。了解数据工程可以帮助他们更好地利用和保护数据进行决策。
  • 商业智能开发人员:寻求使用 Azure 数据工厂自动化数据管道以满足其报告和分析需求的 BI 开发人员。
  • 云架构师:负责设计和实施云解决方案的专业人员。他们可能想了解 Azure 数据工厂如何融入他们的架构。
  • 数据分析师:希望通过学习如何使用 Azure 数据工厂移动和转换数据以更好地进行分析来扩展技能的分析师。
  • 数据架构师:负责设计数据架构和系统的专业人员。他们需要确保他们设计的数据解决方案安全、可扩展且管理良好。
  • 数据科学家:希望使用干净且组织良好的数据的数据科学家,使 Azure 数据工厂知识有利于数据准备。
  • 数据库管理员:希望将 Azure 数据工厂集成到其数据管理流程中的 DBA,尤其是数据移动和 ETL(提取、转换、加载)任务。
  • 软件开发人员:希望获得构建数据解决方案和使用数据库专业知识的开发人员。他们可能有兴趣将数据管理和安全实践集成到他们的软件开发工作流程中。
  • 系统管理员:负责管理 Azure 帐户和资源的 IT 管理员可能需要了解 Azure 数据工厂以进行资源分配和监控。
声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。