免责声明：
由于传播、利用本公众号Z1sec所提供的信息而造成的任何直接或者间接的后果及损失，均由使用者本人负责，公众号及作者不为此承担任何责任，一旦造成后果请自行承担！如有侵权烦请告知，我们会立即删除并致歉。谢谢！
安装方法：
python3.9 -m pip install crawl4ai --pre -i https://pypi.tuna.tsinghua.edu.cn/simple
接着运行：
crawl4ai-setup
crawl4ai-doctor
此时可写测试代码：
import asyncio
from crawl4ai import *
asyncdefmain():
asyncwith AsyncWebCrawler() as crawler:
result = await crawler.arun(
url="https://www.baidu.com/",
)
print(result.markdown)
if __name__ == "__main__":
asyncio.run(main())
crwl http://www.baidu.com/ -o markdown此外还可以调用AI进行多次处理：
crwl http://www.baidu.com/ -q "Extract all product prices"
原文始发于微信公众号（Z1sec）：crawl4ai：非常强大的AI自动爬虫工具
免责声明:文章中涉及的程序(方法)可能带有攻击性，仅供安全研究与教学之用，读者将其信息做其他用途，由读者承担全部法律及连带责任，本站不承担任何法律及连带责任；如有问题可邮件联系(建议使用企业邮箱或有效邮箱,避免邮件被拦截，联系方式见首页)，望知悉。
- 左青龙
- 微信扫一扫
-
- 右白虎
- 微信扫一扫
-
评论