Azure 数据工程师助理 (DP-203) 证书准备 ： 4 监控和优化数据存储和数据处理

Azure Data Engineer Associate (DP-203) Cert Prep: 4 Monitor and Optimize Data Storage and Data Processing

您是在准备 Microsoft Azure 数据工程 (DP-203) 考试，还是想更好地了解如何设计和开发数据处理？本课程是系列课程中的第四篇，可以为您提供帮助。

Pragmatic AI Labs 创始人兼 Python 软件基金会研究员 Noah Gift 介绍了如何监控和优化数据存储和数据处理。

Noah 首先介绍了如何监控数据存储和数据处理，展示了如何： 实现 Azure Monitor 使用的日志记录；配置监控服务；测量查询性能；和更多。

然后，他详细介绍了与数据存储和处理的优化和故障排除相关的主题，包括如何：重写用户定义的函数；使用索引器和缓存调整查询；处理数据倾斜和数据溢出；对失败的 Spark 作业和管道运行进行故障排除。