【免费】可视化浏览器自动化测试/数据采集/爬虫软件(易采集/EasySpider)

开源:https://github.com/NaiboWang/EasySpider

一个可视化浏览器自动化测试/数据采集/爬虫软件,可以使用图形化界面,无代码可视化的设计和执行任务。只需要在网页上选择自己想要操作的内容并根据提示框操作即可完成任务的设计和执行。同时软件还可以单独以命令行的方式进行执行,从而可以很方便的嵌入到其他系统中。

A visual browser automation test/data collection/crawler software, which can be used to design and execute tasks in a code-free visual way. You only need to select the content you want to operate on the web page and follow the prompts to complete the design and execution of the task. At the same time, the software can also be executed separately in the command line, so that it can be easily embedded into other systems.

 【免费】可视化浏览器自动化测试/数据采集/爬虫软件(易采集/EasySpider)-第1张图片-代哥网推

官方网站/Official Website

访问易采集官网:www.easyspider.cn

Visit the official website of EasySpider: www.easyspider.net

示例1/Example 1

(右键)选中一个大商品块 -> 软件自动检测到同类型商品块 -> 点击“选中全部”选项 -> 点击“选中子元素”选项 -> 点击“采集数据”选项,即可采集到所有商品的所有信息,并分成不同字段保存。

(Right click) Select a large product block -> The software will automatically detect similar blocks -> Click the 'Select All' option -> Click the 'Select Child Elements' option -> Click the 'Collect Data' option, you can collect the information of all products, and will be saved by sub-field.

示例2/Example 2

(右键)选中一个商品标题,同类型标题会被自动匹配,点击“选中全部”选项 -> 点击“采集数据”选项,即可采集到所有商品的标题信息。

同时,选中全部后如果选择“循环点击每个元素”选项,即可自动打开每个商品的详情页,然后可以再继续设置采集详情页的信息。

(Right Click) Select a product title, the same type of title will be automatically matched, click the 'Select All' option -> Click the 'Collect Data' option, you can collect the title information of all products.

At the same time, if you select the 'Loop-click every element' option after selecting all, you can automatically open the details page of each product, and then can set to collect the information of the details page.

 

教程导航

 

Issues中的文档和示例(作为下面教程的补充)

https://github.com/NaiboWang/EasySpider/issues?q=label%3Adocumentation+

EasySpider介绍:中国地震台网采集案例

https://www.bilibili.com/video/BV1th411A7ey/

设置页面向下滚动

https://www.bilibili.com/video/BV1G14y1o7Qa/

如何爬取需要登录才能爬的网站

https://www.bilibili.com/video/BV1BN411t71C/

循环点击列表中每个链接进入详情页采集详情页内容+设计时动态调试+动态JS

https://www.bilibili.com/video/BV12V411D7RZ/

实战采集汽车网文章内容并下载文章内图片

https://www.bilibili.com/video/BV14u4y1x7S5/

Ebay样例博客

https://blog.csdn.net/ihero/article/details/130805504

多种选中子元素模式区别展示+将最后一次提取到的数据作为变量进行输入+定时执行任务展示

https://www.bilibili.com/video/BV1N94y1a7Lp/

【重要】自定义条件判断之使用循环项内的JS命令返回值

https://www.bilibili.com/video/BV18C4y1V7J7/

如何执行自己写的JS代码和系统代码 (自定义操作)

https://www.bilibili.com/video/BV1UH4y1f7BM/

如何自定义循环和判断条件

https://www.bilibili.com/video/BV18w411a77e/

如何对元素和网页截图及命令行执行指南

https://www.bilibili.com/video/BV1ch4y1E7cn/

OCR识别元素内容功能

https://www.bilibili.com/video/BV1GP411y7u4/

如何爬需要输入验证码的网站

https://www.bilibili.com/video/BV1Rw411C7Hs/

如何切换IP池和使用隧道IP - 打开详情页采集案

https://www.bilibili.com/video/BV1zw411w7BN/

流程图执行逻辑解析 - 58同城房源描述采集案例

https://www.bilibili.com/video/BV14N4y1o73Y/

MacOS系统设计和执行eBay网站爬虫任务教程

https://www.bilibili.com/video/BV1E34y137fT/

如何定时执行任务

https://github.com/NaiboWang/EasySpider/issues/22

如何通过API调用来获得任务执行ID

https://github.com/NaiboWang/EasySpider/wiki/API-Invoke-Example

如何使用命令行执行任务|Commandline Arguments Instruction

https://github.com/NaiboWang/EasySpider/issues/28

https://github.com/NaiboWang/EasySpider/wiki/Argument-Instruction

任务流程有多个提取数据操作时,软件的执行和输出逻辑

https://github.com/NaiboWang/EasySpider/issues/35

并行多开,同时执行多个任务教程

https://www.bilibili.com/video/BV1Dj411b77M/

当前循环项包含元素的XPATH的写法

https://github.com/NaiboWang/EasySpider/wiki/%E5%BD%93%E5%89%8D%E5%BE%AA%E7%8E%AF%E9%A1%B9%E5%8C%85%E5%90%AB%E5%85%83%E7%B4%A0%E7%9A%84XPATH%E7%9A%84%E5%86%99%E6%B3%95

python代码运算后的结果作为文本框的输入

https://www.bilibili.com/video/BV1kF411R7VJ/

Cloudflare反爬处理(已失效)

https://www.bilibili.com/video/BV1Ph4y1E7R9/

MySQL数据库写入教程

https://www.bilibili.com/video/BV1os4y1679S/

Exec和Eval模式使用教程

https://github.com/NaiboWang/EasySpider/wiki/EXEC%E5%92%8CEVAL%E7%94%A8%E6%B3%95%E7%A4%BA%E4%BE%8B

执行JavaScript语句时用正则表达式示例

https://github.com/NaiboWang/EasySpider/wiki/%E6%89%A7%E8%A1%8CJavaScript%E8%AF%AD%E5%8F%A5%E6%97%B6%E7%94%A8%E6%AD%A3%E5%88%99%E8%A1%A8%E8%BE%BE%E5%BC%8F%E7%A4%BA%E4%BE%8B

调整浏览器窗口大小&最大化浏览器窗口

https://github.com/NaiboWang/EasySpider/wiki/%E8%B0%83%E6%95%B4%E6%B5%8F%E8%A7%88%E5%99%A8%E7%AA%97%E5%8F%A3%E5%A4%A7%E5%B0%8F&%E6%9C%80%E5%A4%A7%E5%8C%96%E6%B5%8F%E8%A7%88%E5%99%A8%E7%AA%97%E5%8F%A3

操作台挡住登录页面的处理办法

https://github.com/NaiboWang/EasySpider/wiki/%E6%93%8D%E4%BD%9C%E5%8F%B0%E6%8C%A1%E4%BD%8F%E7%99%BB%E5%BD%95%E9%A1%B5%E9%9D%A2%E7%9A%84%E5%A4%84%E7%90%86%E5%8A%9E%E6%B3%95

循环次数设定(包括无限循环)及检测到页面内容才提取数据

https://github.com/NaiboWang/EasySpider/wiki/%E5%BE%AA%E7%8E%AF%E6%AC%A1%E6%95%B0%E8%AE%BE%E5%AE%9A%EF%BC%88%E5%8C%85%E6%8B%AC%E6%97%A0%E9%99%90%E5%BE%AA%E7%8E%AF%EF%BC%89%E5%8F%8A%E6%A3%80%E6%B5%8B%E5%88%B0%E9%A1%B5%E9%9D%A2%E5%86%85%E5%AE%B9%E6%89%8D%E6%8F%90%E5%8F%96%E6%95%B0%E6%8D%AE

无下一页按钮只有具体页面按钮时的翻页方法(EXEC和EVAL教程)

https://github.com/NaiboWang/EasySpider/wiki/%E6%97%A0%E4%B8%8B%E4%B8%80%E9%A1%B5%E6%8C%89%E9%92%AE%E5%8F%AA%E6%9C%89%E5%85%B7%E4%BD%93%E9%A1%B5%E9%9D%A2%E6%8C%89%E9%92%AE%E6%97%B6%E7%9A%84%E7%BF%BB%E9%A1%B5%E6%96%B9%E6%B3%95%EF%BC%88EXEC%E5%92%8CEVAL%E6%95%99%E7%A8%8B%EF%BC%89


本站资源来自会员发布以及互联网收集,不代表本站立场,如有侵犯你的权益请联系管理员,站内发信内容投诉联系 我们会第一时间进行审核删除。站内资源为网友个人学习或测试研究使用,未经原版权作者许可,禁止用于任何商业途径!请用户仔细辨认内容的真实性,避免上当受骗!本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。请在下载24小时内删除!
代哥网推 » 【免费】可视化浏览器自动化测试/数据采集/爬虫软件(易采集/EasySpider)

发表评论

欢迎 访客 发表评论

服务热线

0735-2353753

来电请说问题,谢谢!

微信客服

微信客服