laravel queryList万能采集器

这套根据 kongqi laravel admin2.0 layui 框架做的插件,用于采集内容,以上采集器仅供学习和研究。

特色

  • jquery选择器写法
  • 编写了处理自定义函数
  • 队列采集
  • 在线采集
  • 采集多线程
  • 在线/队列入其他数据库

技术解析

  • 使用 laravel 框架,框架的独有魅力,可以使用队列,可以使用redis等。
  • QueryList 包,采集规则简单,会使用jquery就会用。
  • Kongqi laravel admin 插件包,方便插拔使用,不影响主体的模块,互不干扰。

安装使用

  • 1.安装kongqi laravel admin2.0 layui,详细安装请查阅 文档
    1. 下载解压之后,将plugin复制到根目录下。
    1. 修改扩展包composer.json
 "require": {
    ..........
    "jaeger/querylist": "^4.1",
    "jaeger/querylist-absolute-url": "^4.0",
    "jaeger/querylist-curl-multi": "^4.0",
         "league/html-to-markdown": "^4.10"
  },
    1. 更新下包,完成后台安装即可。
composer update
  • 5.队列监听脚本

监听采集列表队列是否掉线,挂到定时任务下

#!/bin/sh
now=`date "+%Y-%m-%d %H:%M:%S"`
server=`ps -aux | grep '网站存储路径/artisan queue:work redis --tries=3 --queue=collect_list' | grep -v grep | awk '{print $2}' `
if [ ! "$server" ]; then
    nohup /usr/bin/php 网站存储路径/artisan queue:work redis --tries=3 --queue=collect_list >> /日志存储路径/sh/collect_list_queue.log 2>>/日志存储路径/sh/collect_list_queue_error.log &
    echo "${now}:开始运行"
else
    echo "${now}:已运行"

fi

监听采集内容列表是否掉线

#!/bin/sh
now=`date "+%Y-%m-%d %H:%M:%S"`
server=`ps -aux | grep '网站存储路径/artisan queue:work redis --tries=3 --queue=collect_cont' | grep -v grep | awk '{print $2}' `
if [ ! "$server" ]; then
    nohup /usr/bin/php 网站存储路径/artisan queue:work redis --tries=3 --queue=collect_cont >> /日志存储路径/sh/collect_cont_queue.log 2>>/日志存储路径/sh/collect_cont_queue_error.log &
    echo "${now}:开始运行"
else
    echo "${now}:已运行"

fi

监听采集图片资源

#!/bin/sh
now=`date "+%Y-%m-%d %H:%M:%S"`
server=`ps -aux | grep '网站存储路径/artisan queue:work redis --tries=3 --queue=collect_pic' | grep -v grep | awk '{print $2}' `
if [ ! "$server" ]; then
    nohup /usr/bin/php 网站存储路径/artisan queue:work redis --tries=3 --queue=collect_pic >> /日志存储路径/sh/collect_pic_queue.log 2>>/日志存储路径/sh/collect_cont_queue_error.log &
    echo "${now}:开始运行"
else
    echo "${now}:已运行"

fi

监听数据库

#!/bin/sh
now=`date "+%Y-%m-%d %H:%M:%S"`
server=`ps -aux | grep '网站存储路径/artisan queue:work redis --tries=3 --queue=collect_db' | grep -v grep | awk '{print $2}' `
if [ ! "$server" ]; then
    nohup /usr/bin/php 网站存储路径/artisan queue:work redis --tries=3 --queue=collect_db >> /日志存储路径/sh/collect_db_queue.log 2>>/日志存储路径/sh/collect_cont_queue_error.log &
    echo "${now}:开始运行"
else
    echo "${now}:已运行"

fi

系统演示

基础配置

可设置超时时间
file

采集分类

file

采集规则

添加入库操作,图片资源采集,内容采集,复制采集规则。

laravel queryList万能采集器

laravel queryList万能采集器
laravel queryList万能采集器
laravel queryList万能采集器

采集内容

file
file
file

采集资源

file

入库数据库

黑白课堂

黑白课堂

黑白课堂

黑白课堂

演示待续

评论区 (0)

没有记录
支持 markdown,图片截图粘贴拖拽都可以自动上传。

下载此源码

学币 10000
立即购买
  • 学币兑现人民币 : 1000.00 元
黑白课堂

黑白课堂 · 技术专家

专业PHP开发

年度VIP 站长创业者玉树凌风每天醒来0收入
查看更多

最新视频课程

钻级赞助商