反爬虫兵法演绎20讲--极客时间课程推荐/优惠

你将获得：

• 爬虫与反爬虫工程师的生存法则；
• 10+ 反爬虫疑难点的排查思路；
• 反爬虫专家系统反爬心法总结；
• 从工程师到Leader的层次跃迁。

随着Web 2.0浪潮的推进以及大数据的横行，数据价值迅猛提升。而价值提升的背后，正预示着爬虫（抓取）和反爬虫（防抓取）需求的增加。越来越多的公司在发起攻势，获取数据；又或者在修筑堡垒，封锁信息。

爬虫方和反爬虫方斗争中的招式愈发疯狂，恶劣的生存环境愈发恶劣，现如今深陷其中的工程师们不得不面对以下这些问题：

• 如何自保，有没有一套行之有效的生存法则？
• 反爬虫的手段都有哪些，使用它们的最佳时机又是什么？
• 面对爬虫各式各样的伪装，怎样才能精准识别？
• 如何才能在这个领域立足并向上发展？
• ……

基于以上的问题，我们邀请到了反爬虫专家 DS Hunter——前某公司研发总监，现某大厂前端负责人。他将根据自己多年来丰富的爬虫与反爬虫技巧和经验，另辟蹊径，从历史和基础理论出发，进行高层次的分析和总结，为你提炼出经典实用的反爬虫“兵法”。用实践加实战的方式，帮你找到自己的前进方向，提升反爬效率，开辟新的反爬虫斗争思路。更进一步，助你成为团队领袖，向大师进发。

课程模块设计

课程主要分为四大模块：

历史背景篇

从历史视角出发，带你更加深刻地了解爬虫反爬虫。在这个模块中你会发现，虽然爬虫技术在不断发展，但战争的总体思路并没有太大的变化。

理论与实践案例篇

本模块是课程的核心内容。这里会介绍爬虫和反爬虫的基础理论，以及部分实践案例。带你吃透做为一个非管理岗位的爬虫或者反爬虫工程师，应该了解的基础知识，为后续的学习铺平道路。

项目实战篇

在掌握了基础知识后，我们进入实战。由于反爬的单个实战参考意义极弱，因此这一模块主要会带你在系统层面进行实战，帮助你把基础知识运用到实战中，融会贯通，发起向100分的冲刺。

进阶篇

在这一模块，你将了解反爬虫团队的管理技能以及团队组建等知识，打破发展上限，开启反爬虫团队作战的新模式。帮助你完成从技术到管理团队的跃迁，在团队方面做到“知己知彼”。

开篇词

• 开篇词 | 如何突破“爬虫反爬虫”内卷之怪现状？

历史背景篇

• 01 | 爬虫需求的诞生：我们是正经的软件工程师
• 02 | 爬虫的内卷和黑化：我们变得不正经啦
• 03 | 反爬虫的发展以及展望：我们也不是什么正经工程师

理论与实践案例篇

• 04 | 爬虫的首轮攻势：如何低调地拿到自己想要的数据？
• 05 | 反爬虫的应对之策：通用且基本的检测规则是什么？
• 06｜爬虫攻势升级：分布式的意义在哪里？
• 07 | 反爬虫升级：如何判定你是个真人？
• 加餐｜反爬虫的专家级鉴别力：用户习惯检测
• 08 | 博弈的均衡：如何对抗道德的沦丧和人性的扭曲？
• 09 | 反爬虫概述（一）：高收益的后端能做哪些基本的事情？
• 10 | 反爬虫概述（二）：无收益的前端是怎么进行key处理的呢？
• 11｜反爬虫概述（三）：前端反爬虫是怎么做信息收集的？
• 答疑课堂｜爬虫反爬虫调试对抗技巧以及虚拟机详解
• 12 | 反爬虫概述（四）：前后端都不合适的时候如何进行处理？
• 13 | 反爬虫基础理论：这是唯一一节严肃的纯理论课

特别放送

• 春节加餐03 | 低调驶得万年船
• 春节加餐02 | 真实世界里，小心屠龙勇士变恶龙
• 春节加餐01 | 破解还是不破解，这是一个问题

项目实战篇

• 14 | 低耦合：如何快速下线反爬虫系统？
• 15 | 规则引擎：如何快速响应突发的爬虫需求？
• 16 | 验证爬虫：我到底要不要百分百投入？

进阶篇

• 17 | 招聘篇：如何写一个合适的JD？
• 19 | 如何搞定老板（中）：如何组建团队
• 18 | 如何搞定老板（上）：如何编造虚无缥缈的OKR？
• 20 | 如何搞定老板（下）：团队考核怎么做？

结束语

• 结束语｜达到理想不太易
• 结课测试｜反爬虫的“反人类”测试题，你能答对多少？

特别放送

• 爬虫与反爬虫｜AI时代的数字生存战