前言

身为一名多年Python爬虫开发的程序员，每天都有大量不同的定时任务，也用过一些其他管理平台，但都有各种各样的问题，所以为了适应和兼容各种Python定时任务，我决定开发一个调度平台

TaskPyro 是什么？

TaskPyro 是一个轻量级的 Python 任务调度平台，专注于提供简单易用的任务管理和爬虫调度解决方案。它能够帮助您轻松管理和调度 Python 任务，特别适合需要定时执行的爬虫任务和数据处理任务。

官方文档：https://docs.taskpyro.cn/

开发背景

在当今数字化时代，自动化数据采集和处理变得越来越重要。然而，现有的任务调度解决方案要么过于复杂，要么缺乏针对 Python 环境的特定优化。TaskPyro 正是为了解决这些痛点而诞生的，旨在为 Python 开发者提供一个简单、高效、可靠的任务调度平台。

为什么选择TaskPyro？

• • 🚀 轻量级设计：占用资源小，运行高效
• • 🔄 灵活调度：支持多种调度方式，满足各类需求
• • 🐍 Python环境管理：自由分配不同的Python虚拟环境
• • 📊 可视化监控：直观的任务运行状态展示
• • 🔒 安全可靠：完善的异常处理和错误恢复机制

适用人群

TaskPyro 特别适合以下用户群体：

• • 🔍 数据工程师：需要定期执行数据采集、清洗和处理任务
• • 🕷️ 爬虫开发者：需要管理和调度多个爬虫任务
• • 📊 数据分析师：需要自动化数据分析流程
• • 🛠️ 系统运维人员：需要执行定时系统维护任务
• • 🚀 创业团队：需要一个轻量级但功能完整的任务调度解决方案

使用流程

• • 先配置Python环境
• • 创建项目
• • 创建定时任务

核心功能

TaskPyro 提供了一系列强大的功能，帮助您高效管理 Python 任务：

• • 📅 灵活的任务调度
• • 支持 Cron 表达式定时调度
• • 支持固定间隔调度
• • 支持一次性任务执行
• • 支持任务依赖关系配置
• • 🔧 Python 环境管理
• • 支持多个 Python 虚拟环境
• • 环境隔离，避免依赖冲突
• • 支持 pip 包管理
• • 🕷️ 爬虫框架支持
• • 支持 Scrapy 等主流爬虫框架
• • 支持 Selenium、Playwright、DrissionPage 等浏览器自动化工具
• • 提供完整的框架运行环境配置
• • 内置Node环境，支持JS逆向
• • 支持PyExecJS等常用逆向库
• • 📊 任务监控与管理
• • 实时任务状态监控
• • 详细的执行日志记录
• • 任务执行统计分析
• • 异常通知与告警
• • 💼 用户友好
• • 直观的 Web 操作界面
• • 详细的使用文档
• • 简单的部署流程
• • 完善的错误处理机制

项目截图

Docker 安装

TaskPyro 提供了基于 Docker 的快速部署方案，让您能够轻松地在任何支持 Docker 的环境中运行。

前置条件

在开始安装之前，请确保您的系统已经安装了以下软件：

Docker 安装

• • Docker（本人使用的版本为 26.10.0，低于此版本安装可能会存在问题，建议删除旧版本，升级新版本docker）

Docker Compose 安装

• • Docker Compose（版本 2.0.0 或更高）
• • 注意：如果您使用的是 Docker 26.1.0 版本，建议安装最新版本的 Docker Compose 以确保兼容性

安装步骤

0. 拉取代码

gitub

git clone https://github.com/taskPyroer/taskpyro.git

gitee

git clone https://gitee.com/hu_yupeng123/taskpyrodocker.git

可以直接拉取上面的代码，或者按下面的1、2、3步骤创建文件

1. 创建项目目录

mkdir taskpyrocd taskpyro

2. 创建 docker-compose.yml 文件

在项目目录中创建 docker-compose.yml 文件，内容如下：

version:'3'services:frontend:image:crpi-7ub5pdu5y0ps1uyh.cn-hangzhou.personal.cr.aliyuncs.com/taskpyro/taskpyro-frontend:1.0ports:-"${FRONTEND_PORT:-7789}:${FRONTEND_PORT:-7789}"environment:-PORT=${FRONTEND_PORT:-7789}-SERVER_NAME=${SERVER_NAME:-localhost}-BACKEND_PORT=${BACKEND_PORT:-8000}-API_URL=http://${SERVER_NAME}:${BACKEND_PORT:-8000}-TZ=Asia/Shanghaienv_file:-.envdepends_on:-apiapi:image:crpi-7ub5pdu5y0ps1uyh.cn-hangzhou.personal.cr.aliyuncs.com/taskpyro/taskpyro-api:1.0ports:-"${BACKEND_PORT:-8000}:${BACKEND_PORT:-8000}"environment:-PORT=${BACKEND_PORT:-8000}-PYTHONPATH=/app-CORS_ORIGINS=http://localhost:${FRONTEND_PORT:-7789},http://127.0.0.1:${FRONTEND_PORT:-7789}-TZ=Asia/Shanghai-WORKERS=${WORKERS:-1}volumes:-/opt/taskpyrodata/static:/app/../static-/opt/taskpyrodata/logs:/app/../logs-/opt/taskpyrodata/data:/app/dataenv_file:-.envinit:truerestart:unless-stopped

3. 创建 .env 文件

在项目目录中创建 .env 文件，用于配置环境变量：

FRONTEND_PORT=8080BACKEND_PORT=9000SERVER_NAME=localhostWORKERS=1

4. 启动服务

docker-compose up -d

启动后直接在浏览器中访问至 http://ip:8080

详细文档

https://docs.taskpyro.cn/

欢迎使用和提出意见，让这个管理平台更强大