Apache Flink
像老板一样传输大数据。使用最强大的有状态数据流库和引擎之一实时处理数百万个事件
什么是 Flink?
Apache Flink 是一个用于有状态大数据流的分布式系统和计算引擎。
那是一口。
用简单的英语来说,Flink 是一个库,它允许您在大数据到达时几乎实时地进行大规模处理。
Flink 为您提供了多种 API,使您可以对流数据进行简单的函数式编程,并提供低级 API 来为您提供最终控制权。加上所有流行的连接器,包括 Kafka、JDBC、Cassandra、Pulsar、S3 和各种数据处理器和存储系统。
在本课程中,您将学习如何使用 Flink 提高工作效率,并成长为一名数据工程师。
这个 Flink 课程是如何运作的
这个 Flink 课程是动手实践的。我们从第一原则学习一切,而不是预先假设任何事情。
我们在本课程中编写了很多代码:至少 2000 行。通过数十个示例和练习,您将了解使用 Apache Flink 提高工作效率所需了解的一切。对于非代码解释,直观的图表和支持幻灯片陪伴您使用 Flink。
Flink 是出了名的难学,因为在编写第一个应用程序之前需要很多困难的概念。我们设计本课程的目的是通过拆解 Flink 并对主题进行仔细排序,从而为您提供平滑的学习曲线。没有什么太陡峭或太无聊。
在此 Flink 课程中,我们将理论与实践相结合,让您将流式大数据的永恒原则内化,这样您仍然可以将它们应用到其他流式库中。
此 Flink 课程适用于 Scala 开发人员
Flink 有 Java 和 Scala 的 API,它们看起来很相似。在本课程中,我们将专注于 Scala API,因此您将需要
一些扎实的 CS 基础知识
熟悉 Scala 语言
(作为奖励)如果您有一些数据工程经验,那将
有所帮助令人沮丧。
本课程将您的学习时间压缩为 8 小时,充满乐趣。
课程结束后你将获得的技能
首先,本课程将为您提供使用 Flink 提高工作效率所需的一切
你将深入了解 Flink 流引擎及其工作原理
你将对数据流使用函数式编程
你将大规模实时处理任何类型的数据
你将掌握复杂的转换,例如窗口函数
你将成为能够运行有状态计算,这是 Flink 的主要优势
您将了解如何将 Flink 连接到最流行的消息总线、数据流和数据存储系统
您将能够设计自己的连接器
您将能够将 Flink 应用程序部署到集群
您将能够在 Flink UI 中进行故障排除和查找相关信息
完成本课程后,您将能够使用 Flink 以任何您需要的方式处理数据。
但最重要的是,无论您最终使用哪种数据流工具,您都将培养贯穿整个职业生涯的永恒技能
您将深入了解一般流式数据的实际好处
您将能够处理事件时间和处理时间
您将内化选择延迟与吞吐量的影响和权衡
您将了解数据一致性和持久性的必要性
评论(0)