Crawler

概述

参考：

• Wiki, Web crawler

Web crawler(网络爬虫)，大家习惯性简称 Crawler(爬虫)。Web crawler 是一种可以系统浏览互联网的机器人，通常都是被搜索引擎用来抓取网络资源做成搜索索引。

Crawler 与 Reverse engineering、Browser 都紧密相连。

学习资料

Spider Box # 爬虫逆向资源整合的网站

• https://www.bilibili.com/video/BV1ub4y157g1 介绍视频

B 站视频

• B 站，【B站最全Python爬虫教程】整整748集，从0基础小白到爬虫大神只要这套就够了！（JS逆向/APP逆向/爬虫实战零基础到精通） 更好一些
• B 站，【全268集】清华大佬终于把Python爬虫讲明白了，从JS逆向、APP逆向、逆向算法、爬虫实战，这还学不会我退出IT圈！！

实用工具

WebDriver # 自动控制浏览器

Easy Scrapper 浏览器插件

• Easy Scraper - 可视化网络爬虫，不写代码，鼠标点点获取数据

https://github.com/NanmiCoder/MediaCrawler

• 小红书笔记 | 评论爬虫、抖音视频 | 评论爬虫、快手视频 | 评论爬虫、B 站视频 ｜ 评论爬虫、微博帖子 ｜ 评论爬虫

https://github.com/unclecode/crawl4ai

• Crawl4AI 简化了异步网络爬行和数据提取，使其可供大型语言模型 (LLM) 和 AI 应用程序使用。