开源AI爬虫工具

admin
admin
admin
131822
文章
107
评论
2024年11月21日10:36:40评论5 views字数 1238阅读4分7秒阅读模式
看有人发了个这个项目，简单试用了发现确实好用，项目ScrapeGraphAI 是LLM 和图形驱动的 Web 抓取 Python 库，使用大模型为网站和本地文档（XML，HTML，JSON 等）创建自动爬取。
只需通过交互式提交你想提取哪些信息，工具就能自动完成

项目地址https://github.com/ScrapeGraphAI/Scrapegraph-ai

开源AI爬虫工具

用法：
有三种主要的爬取管道可用于从网站（或本地文件）提取信息：
SmartScraperGraph: 单页爬虫，只需用户提示和输入源；
SearchGraph: 多页爬虫，从搜索引擎的前 n 个搜索结果中提取信息；
SpeechGraph: 单页爬虫，从网站提取信息并生成音频文件。
SmartScraperMultiGraph: 多页爬虫，给定一个提示 可以通过 API 使用不同的 LLM，如 OpenAI，Groq，Azure 和 Gemini，或者使用 Ollama 的本地模型。
使用案例：
用法简单，就是提交opanai key，提交url和prompt就行
from scrapegraphai.graphs import SpeechGraphgraph_config = { "llm": { "api_key": "OPENAI_API_KEY", "model": "openai/gpt-3.5-turbo", }, "tts_model": { "api_key": "OPENAI_API_KEY", "model": "tts-1", "voice": "alloy" }, "output_path": "audio_summary.mp3",}# ************************************************# 创建 SpeechGraph 实例并运行# ************************************************speech_graph = SpeechGraph( prompt="列出所有项目和其描述", source="https://perinim.github.io/projects", config=graph_config,)result = speech_graph.run()print(result)
输出结果如下是包含项目及其描述的列表：
{'projects': [{'title': 'Rotary Pendulum RL', 'description': 'Open Source project aimed at controlling a real life rotary pendulum using RL algorithms'}, {'title': 'DQN Implementation from scratch', 'description': 'Developed a Deep Q-Network algorithm to train a simple and double pendulum'}, ...]}

原文始发于微信公众号（军机故阁）：开源AI爬虫工具

免责声明:文章中涉及的程序(方法)可能带有攻击性，仅供安全研究与教学之用，读者将其信息做其他用途，由读者承担全部法律及连带责任，本站不承担任何法律及连带责任；如有问题可邮件联系(建议使用企业邮箱或有效邮箱,避免邮件被拦截，联系方式见首页)，望知悉。
  • 左青龙
  • 微信扫一扫
  • weinxin
  • 右白虎
  • 微信扫一扫
  • weinxin
admin
  • 本文由 发表于 2024年11月21日10:36:40
  • 转载请保留本文链接(CN-SEC中文网:感谢原作者辛苦付出)：
                   开源AI爬虫工具https://cn-sec.com/archives/3418913.html
                  免责声明:文章中涉及的程序(方法)可能带有攻击性，仅供安全研究与教学之用，读者将其信息做其他用途，由读者承担全部法律及连带责任，本站不承担任何法律及连带责任；如有问题可邮件联系(建议使用企业邮箱或有效邮箱,避免邮件被拦截，联系方式见首页)，望知悉.

发表评论

匿名网友 填写信息