大小：16.8 MB - 简体中文 - 自由软件 - 其他网站源码

WebCollector 是一个无须配置、便于二次开发的Java爬虫框架（内核），它提供精简的的API，只需少量代码即可实现一个功能强大的爬虫。WebCollector-Hadoop是WebCollector的Hadoop版本，支持分布式爬 详情>>

https://www.a5xiazai.com/qita/146130.html 更新：2020-08-12

大小：443 KB - 简体中文 - 免费软件 - css样式

CSS3爬虫样式进度条动画特效是一款使用bootstrap自带的爬虫小图标来作为进度条的刻度，并使用CSS3 animation帧动画来制作进度条的动画效果。 详情>>

https://www.a5xiazai.com/texiao/135530.html 更新：2016-12-16

大小：141 KB - 简体中文 - 免费软件 - 电子商务

使用js编写的爬虫源码，用于爬取京东商城上的商品评论。 代码粘贴到神箭手云爬虫平台（http://www.shenjianshou.cn/）上就可以直接跑了，不需要安装编译环境。要爬取其他网站，可以更改源码即可。 代码执行具体步骤请参考： http... 详情>>

https://www.a5xiazai.com/jsp/132542.html 更新：2016-05-19

大小：292 KB - 简体中文 - 自由软件 - 其它源码

iWebCrawler搜索爬虫加速工具 提供常见搜索引擎日志分析(重点是百度爬虫)；可根据网站提供的符合格式的百度sitemap网站地图，把每天的新产出链接主动推送给百度推送接口，并且能够在推送前过滤掉百度爬虫已抓取链接及系统已... 详情>>

https://www.a5xiazai.com/php/140955.html 更新：2018-06-28

大小：24KB - 简体中文 - 免费软件 - 留言日记

这是小爬虫留言板v0.1版本，主要包括发布留言，删除留言,翻页，判断等基本功能，对php+mysql初学者是一个不错的小例子; 详情>>

https://www.a5xiazai.com/php/71629.html 更新：2011-01-21

大小：1.07 MB - 简体中文 - 免费软件 - 其他网站源码

Crawlab 是一个基于Golang的分布式爬虫管理平台，支持Python、NodeJS、Go、Java、PHP等多种编程语言以及多种爬虫框架。 Crawlab架构 Crawlab的架构包括了一个主节点（Master Node）和多个工作节点（Worker Node），以及负责通信和数据储存的Re... 详情>>

https://www.a5xiazai.com/qita/147361.html 更新：2020-09-30

大小：2.20 MB - 英文 - 自由软件 - 其他网站源码

PySipder 是一个Python爬虫程序。 PySipder特点 使用Python编写脚本，提供强大的API Python 23 强大的WebUI和脚本编辑器、任务监控和项目管理和结果查看 支持JavaScript页面 后端系统支持：MySQL, MongoDB, SQLite, Postgresql 支持任务优先级、重试... 详情>>

https://www.a5xiazai.com/qita/146995.html 更新：2020-09-16

大小：118 KB - 简体中文 - 免费软件 - 其它源码

SeimiCrawler(Java 爬虫框架）更新 支持在Request对象中，通过header(map)来自定义本次请求的header，以及支持通过seimiCookies来自定义cookies，自定义cookies会直接进入cookiesStore，对同域下第二次请求依然有效 优化默认启动方式，改造cn.wangh... 详情>>

https://www.a5xiazai.com/jsp/135437.html 更新：2016-12-09

大小：0.1 MB - 简体中文 - 免费软件 - z-blog插件

Z-blog搜索引擎爬虫管理插件(RobotsMng)v1.0 插件简介：搜索引擎爬虫管理插件(RobotsMng)是一款可以帮助新手管理你的Robots.txt文件的插件，如果你还不知道什么是Robots.txt请百度一下先。写这个插件的初衷在于帮助不懂Robots.txt写作规范... 详情>>

https://www.a5xiazai.com/chajian/70947.html 更新：2010-12-08

大小：56 KB - 简体中文 - 免费软件 - 小偷采集

hon6 WAP爬虫小说系统程序特色 1.内容自动抓取，让您远离繁忙的采集工作 2.抓取后自动生成静态文件，更新较快的栏目20分钟抓取一次，内容栏目600分钟抓取一次，做到了每日更新两次！ 3.程序支持整合传承导航 4.排版简单，模... 详情>>

https://www.a5xiazai.com/php/72224.html 更新：2011-03-07