Crawl4AI

爬虫工具的选择 写爬虫的需求大多数人都会遇到——想从某个网站上抓取一些内容做分析。 传统的爬虫工具大致分两类。一类是 Scrapy 这样的完整框架，功能强大，但配置复杂。写一个简单的抓取任务可能需要定义 Item、Pipeline、Middleware 等多个组件。另一类是 Requests + BeautifulSoup 的组合，上手简单，但遇到 JavaScript 渲染的页面就无能为力了。 Crawl4AI 的出现填补了两者之间的空白。它的定位是"专为 LLM 时代设计的爬虫工具"。 为什么选 Crawl4AI 最大的理由是它对 JavaScript 渲染的支持。现在的网页大部分是前后端分离的，数据通过异步请求加载，页面最终内容由 JavaScript 渲染生成。如果用传统爬虫去抓取这类网站，拿到的是空的 HTML 骨架，真正的数据根本不在这里。 Crawl4AI 内置了浏览器引擎，会自动执行页面上的 JavaScript，等页面完全渲染后再提取内容。这意味着你不必为了一个需要 JS 渲染的页面去额外配置 Selenium 或 Playwright。 另外，它的默认输出格式是 Markdown。这个细节在实际使用中很实用——抓取到的内容可以直接喂给 LLM 做分析，省去了格式转换的步骤。 安装和基本使用 Crawl4AI 的安装很简单，一行命令搞定： pip install crawl4ai 装完之后跑一个小例子试试： from crawl4ai import WebCrawler crawler = WebCrawler() result = crawler.run(url="https://example.com") print(result.markdown) 默认输出就是 Markdown，干净整洁。如果你需要原始 HTML，也可以拿到： print(result.html) # 原始 HTML print(result.extracted_content) # 提取后的内容 更高级的抓取配置 实际项目里，一条 URL 裸跑往往不够。Crawl4AI 提供了丰富的配置选项，这里分享几个常用的场景。 设置超时和等待 有的页面加载很慢，尤其是那些带大量图片和图表的网站。可以给爬虫指定最长等待时间： result = crawler.run( url="https://example.com/slow-page", wait_until="networkidle", # 等待网络请求空闲 timeout=30 # 最长等 30 秒 ) wait_until 参数有几个选项： ...