如今，Web Scraping 已成为最热门的话题之一，市场上有很多付费工具，它们不会向您展示任何事情是如何完成的，因为作为消费者，您将始终受限于它们的功能。

在本课程中，您将不再是消费者，我将教您如何使用 Scrapy 构建自己的抓取工具（spider）。

您将学习：

1. Web Scraping 的基础知识

2. 如何构建一个完整的 spider

3. XPath 和 CSS 选择器的基础

4. 如何使用 XPath 和 CSS 从 DOM 中找到内容/节点

5. 如何以 JSON、CSV 格式存储数据… 甚至到外部数据库（MongoDb & SQLite3）

6. 如何编写自己的自定义 Pipeline

7. Splash 基础知识

8. 如何使用 Scrapy Splash 和 Selenium 抓取 Javascript 网站

9. Crawling 行为

10. 如何构建 CrawlSpider

11. 如何避免在抓取网站时被禁止

12. 如何构建自定义 Middleware

13. Web Scraping 最佳实践

14. 如何抓取 API

15. 如何使用请求 Cookie

16. 如何抓取无限滚动网站

17. 在 Heroku 中免费托管蜘蛛

18. 使用自定义脚本定期运行爬虫

19. 防止存储重复数据

20. 将 Splash 部署到 Heroku

21. 将数据写入 Excel 文件

22. 使用 Scrapy 登录网站

23. 使用 Scrapy 下载文件和图像

24. 将代理与 Scrapy Spider 一起使用

25. 将 Crawlera 与 Scrapy & Splash 一起使用

26. 在 CrawlSpider 中使用代理

是什么让这门课程与其他课程不同，为什么你应该报名？

• 首先，这是最新的课程。您将使用 Python 3.7、Scrapy 1.6 和 Splash 3.0

• 您将获得有关如何成为专业网络爬虫的深入分步指南。

• 你将学习如何使用 Splash 和 Selenium 来抓取 JavaScript 网站 ， 我可以向你保证，你不会找到任何像我在这个课程中那样真正使用 Splash 的教程。

• 您将学习如何在 Heroku 和 Splash（Exclusive） 中托管蜘蛛 。

• 您将学习如何创建自定义脚本，以便 spider 可以定期运行 ，而无需您的任何干预。

• Udemy 的 30 天退款保证

因此，无论您是想要将 Web 抓取添加到他的工具集中的数据分析师 ，还是想要学习如何从非结构化 HTML 网页中提取非结构化数据，然后以结构化方式存储该数据以对其应用一些数据分析的人，都欢迎您参加本课程。

**学生对本课程的看法 **

“我特别寻找使用 XPATH 的 Web 抓取，而本课程正在解决这个问题。它还介绍了动态分页。理论与实践的适当结合。想要进行网络抓取的人的必备品。很棒的学习体验 !!”.作者：Hiran Kumar

“我搜索的内容的 90% !!干得好！！清晰的解释和与 Ahmed 的良好沟通”。作者：Raylyson Estanista

“Admed 的 Web 抓取课程很棒。他将 Python 与 scrapy 和 splash 结合使用的方法适用于所有网站，尤其是那些大量使用 JavaScript 的网站。Ahmed 是一位有天赋的教育家：专业的沟通者，热情、认真、平易近人。我强烈推荐这门课程和 Ahmed Rafik 的任何 Udemy 课程。”.理查德·布莱克蒙

“很棒的课程，对 Scrapy 的很好的介绍（我是一个没有任何 Python 经验的人）。”作者 I S

“很棒的课程。同时快速而彻底。Ahmed 对学生的反应非常迅速，经常在几分钟内回答问题！最高的推荐。作者：罗伯特·诺尔特

“那门课程非常好，解释非常清晰！如果有问题，教练会非常支持。强烈推荐。作者：Shubina Ekaterina

“我喜欢这个球场。清晰的解释和与 Ahmed 的良好沟通。所有主题都很有趣，信息量很大。我在 Scrapy 中提高了我的技能。通过新视频创作更新课程内容。这是一个很大的奖励）解释了我在其他课程中从未见过的更多高级主题。谢谢你，艾哈迈德。等待新视频）”。作者：Ruslan Romanenko