课程介绍

生活中大家在上网时都有一些喜欢的图片，喜欢的音乐，喜欢的小说或文章，工作中也有一些东西需要从网上获取并进行数据分析，我们传统方式获取这些信息可能是经过复制粘贴或者一个个**而来，且有的数据还不能直接获取到，当我们生活或工作中想要批量获取网络结构化数据的时候，手工操作的方式效率太低，大量数据获取的需求让人力不从心，而爬虫就可以解决这样的问题，让快速批量地从网上获取数据并按自己想要的方式存储不再是问题。获取下来的数据可以自己及时欣赏，也可以结构化地存储到办公文件或者数据库中，需要时取出进行查看或者数据分析。

本期课程利用Python语言从爬虫零基础开始系统地教大家如何一步步编写爬虫代码完成网络数据的爬取，得到自己想要的结构化数据。课程会经过理论+代码实践的方式由浅入深地教会大家爬虫编写技能，每一章理论完了之后会经过一个案例来给大家展示如何一步步编写代码来实现爬取不同类型网站的数据，只要大家能跟着我的思路一步步操作和理解就能完成，并且经过举一反三就能爬取自己想要的结构化信息。

本课程主要针对爬虫零基础的同学（至少有一定编程基础，能基本看懂代码逻辑，zui好有Python基础，有其他语言基础的同学可以先了解一下Python特点和基本的语法结构，有一定熟悉度之后学习起来才会非常　，完全没编程基础的同学可以先学习一下Python基础语法，Python是非常容易入手的语言，可以在极短的时间就能掌握基本语法），学习完成后应对互联网上百分之八十五的网站数据爬取应该没有问题，但是想要成为专业爬虫工程师，还需要大家学习更多的技巧，网络知识，算法知识等，学无止境，大家在课后可以经过百度或者一些专业网站查询在课堂中我讲的自己没听明白的问题或者我没讲到的知识做一些拓展，勤加练习，那么整个爬虫课程掌握起来就会容易很多。

课程内容

第 一章 初识爬虫

概述爬虫课程涉及的概念，内容，软件，工具等等，让学员对即将开始的课程有一个初步了解。

案例：爬取豆瓣电影数据

第二章 爬虫步骤及底层原理

讲解编写爬虫代码基本步骤和各步骤类型变换过程。

案例：分析下厨房菜谱的爬虫步骤

第三章 BeautifulSoup实战

经过BeautifulSoup模块讲解爬虫核心步骤中的数据解析和提取方法，完整演示代码实现过程。

案例：编写下厨房菜谱爬虫代码

第四章 数据抓取方法汇总

介绍几种常用数据抓取的方法，虽然只要掌握其中任何一种即可，但多会几种的话可以使应用更灵活。

案例：以百度为例演示不同的数据抓取方法

第五章 Json和动态数据

初步了解什么是Json，以及如何经过爬虫代码提取Json数据。

案例：QQ音乐数据爬取

第六章 selenium实战

selenium模拟人工操作浏览器，就像真人操作一样，利用浏览器内核操作可以避开绝大部分的反爬措施，因此有的人称它为爬虫的终极武器。

案例：模拟QQ邮箱自动登录

第七章 协程-定时-数据存储

在实际的爬虫应用中，我们除了爬取数据之外，还要考虑爬取数据的效率，在指定时间爬取、周期性爬取数据，同时还要考虑将数据如何结构化存储，存储在什么位置的问题，本章就是来分析如何解决这些问题。

案例：爬取薄荷网食物热量信息

第八章 Scrapy框架

框架就是一个完整的结构，就像一辆车，前面章节类似于一个一个零件拼接组成一辆爬虫的车，而爬虫框架本身就是一辆爬虫车，只需要加上油和一些关键的零件就可以开动，scrapy是python爬虫的框架，是专业爬虫工程师无法绕开的。

案例：爬取豆瓣读书数据

第九章 反爬和反反爬

爬虫过程中会发现一些网站会限制爬虫进行数据爬取，这是网站开发人员基于服务器压力或者数据安全等原因而做的限制，而爬虫工程师怎么会甘心自己看上的数据而不可得呢，这是双方技术人员就会进行博弈，从心理上，技术上，物理成本和时间成本上考虑，因此有反爬就会有反反爬。本章就是分析常见反爬措施和反反爬技巧和思路，拓展爬虫之路。

案例：爬取BOSS直聘数据

适合人群

python初学者

初级爬虫工程师

生活和工作中有批量获取数据需求的人

课程背景

随着信息社会的不断发展，互联网上的信息不断增多，人们基于不同的目的对网络中产生的信息有了提取的意愿和需求，生活中**一些自己喜欢的小说、图片或音乐，平常学习和工作中**一些需要的网络资料，另外一些公司可能还需要从网络上**大量的数据用于专业的数据分析，为企业发展决策提供数据支撑。而传统的从互联网获取数据都是手工**、复制粘贴另存等方式，效率很低，在大数据时代需要更加快速高效地获取数据和更专业的存储数据，因此爬虫技术应运而生。

课程亮点

理论和代码实践紧密结合，可以快速上手学会各类常用爬虫技巧并用于生活和工作中。

课程收获

学习完课程，您将会掌握python爬虫的基本模块使用，常用爬虫技巧，并能够用于实践，独立爬取各类不同的网站数据，提升生活和工作效率。

课程前提

学前知识储备：有一定代码编写基础（如在学校学习过编程课程，zui好了解过python语言，会编写基本的python代码zui好），了解基本的网络基础知识。