神箭手 for mac版是一款适用于macOS系统的开发软件,可以自动生成爬虫代码,选取需要的网页数据,所以又被大家称之为“神箭手云爬虫”。国内第一家创作的大数据和AI应用在线一站式开发,在浏览器上就可以随时写代码,快速构建分布式爬虫系统,支持自动切换私密ip,自动识别验证码,自动网页JS渲染,文件自动下载托管,多种数据抽取方式,以及爬虫生命周期等等,只需要轻轻点击鼠标,神箭手就可以自动生成爬虫代码。无缝对接现有系统,数据可以自动发布,并且支持批量导出,有webhook推送,restful接口,graphql调用,定时爬取和pipeline等功能。
软件内容
一、如何爬取数据?
1、登录:打开客户端软件, 输入”账户”和”密码”,点击”登录”进入控制台。
2、创建爬虫:你可以从神箭云市场获取需要的爬虫直接使用,或者自己创建一个新爬虫,在线开发。
3、设置爬虫:打开爬虫,在爬虫设置页面,可以通过【功能设置】设置文件云托管和代理IP种类 等;通过【自定义设置】设置具体要爬取的方式和范围等。
4、启动爬虫:在爬虫总览页面,点击【启动爬虫】按钮,启动爬虫运行。启动前,可以设置启动方式和定时运行等。
5、预览和导出数据:在爬虫爬取结果页,您可以将爬取的数据导出到本地文件、发布到数据库/网站/邮箱/媒体等;也可以设置Webhook,神箭手会将爬取的数据POST到您的服务器;还可以通过GraphQL接口查询数据。
6、更新爬虫:从市场获取的爬虫,如果爬取失效或者其他原因导致的爬虫代码修改和升级,您都可以登录神箭手后进行更新。如果爬虫正在运行中,需要重启(停止后再启动 或者 暂停后继续)下新代码才会生效。
二、如何使用API接口?
1、登录:打开客户端软件, 输入”账户”和”密码”,点击”登录”进入控制台。
2、创建API接口:你可以从神箭云市场获取需要的API接口直接使用,或者自己创建一个新的API接口,在线开发。
3、设置API接口:打开API接口,在API设置页面,可以设置调用白名单、代理IP种类和文件云托管等。
4、测试API接口:在测试工具页面,输入【请求参数】,点击【开始测试】按钮。检测调用API接口返回的数据。
5、调用API接口:在调用代码页,参考不同语言的调用代码示例,您可以通过程序调用API接口获取数据。
6、更新API接口:从市场获取的API接口,如果调用失效或者其他原因导致的API代码修改和升级,您都可以登录神箭手后进行更新。更新后重新调用新代码才生效。
三、如何使用数据源?
1、登录:打开客户端软件, 输入”账户”和”密码”,点击”登录”进入控制台。
2、获取数据源:你可以打开神箭云市场,选择需要的数据源和规格,点击”获取数据”按钮,自动创建并打开数据源。或者在后台的数据源管理中,创建一个新的数据源,上传本地文件或者连接远程数据库;也可以管理爬虫或者清洗等应用自动创建的数据源。
3、预览数据:在数据源的数据页面,您可以【查看所有数据】,也可以点击某条数据【预览】。
4、请求/发布/导出数据:在请求数据页面,可以通过调用GraphQL接口直接查询数据源中的数据;在发布数据页面,可以把数据发布到数据库/网站/邮箱/微信公众号等; 在导出数据页面,可以将数据导出到本地文件。
5、更新数据:从市场获取的数据源,会不定期进行更新。已有数据的更新是免费的,新增数据您可以登录神箭手后查看详情,支付后即可获取新增数据。
软件功能
1、分布式云爬虫
神箭手提供简单灵活的云爬虫开发框架,只需了解基本的JavaScript语法,五分钟就能开发一个分布式云爬虫!分布式云爬虫可以24小时在云服务器集群上运行,比本地采集更稳定速度更快,更能按需扩展!不懂开发也没关系,神箭云市场内有热门数据、爬虫、API接口可以直接使用,打包获取或者实时采集数据,统统没问题!
2、海量私密代理IP+自动识别验证码等
神箭手提供最专业的代理IP自动接入和切换功能,包括每天50万+企业级专属私密代理IP 以及 海外服务器节点。同时,神箭手还提供验证码自动识别、JS自动渲染、文件自动云托管等,方便开发者快速开发爬虫等大数据应用。
3、一站式大数据采集、存储、清洗、训练、导出
在神箭手上,从数据获取到处理、输出都是全站打通的!基于Google技术团队自主研发的大数据操作系统,提供一站式大数据和AI应用在线开发服务。神箭手上的数据可以一键 自动发布到数据库/网站/微信公众号/邮箱等 、导出到本地文件 、或通过 Webhook / GraphQL 获取数据。方式多样,满足您的不同需求。神箭手的技术团队在大数据和AI领域积淀深厚,旨在提供全球最前沿的大数据和AI技术服务!
4、Pipeline自动化+RESTful接口+团队协作
神箭手提供Pipeline高级功能,您可以实现多个应用依次自动运行,并设置应用交接方式。有助于实现数据从采集到处理的全流程自动化!同时,提供RESTful接口,无需登录神箭手也可以完成所有操作,真正的无缝对接!分权限的团队协作功能,让开发人员和运营人员分角色协作完成工作,离职也不用改账号,方便进行人员管理和工作分配!
5、统一调用的大数据SDK
神箭手提供不同语言(包括JAVA, PHP, Python)的SDK,方便开发者统一快速地调用神箭手的功能接口和数据:包括RESTful接口、API接口、GraphQL数据查询接口等。
发表评论
0条评论软件排行榜
热门推荐
- RubyMine 2024 mac版 v2024.2.2官方版831.99M / 多国语言[中文]
- sublime text mac版 v416938.48M / 简体中文
- pycharm2023 mac版 v2023.3.5官方版739.64M / 简体中文
- clion2023 mac版 v2023.3.4776.18M / 简体中文
- webstorm2023 mac版 v2023.3.6562.83M / 简体中文
- phpstorm2023 mac版 v2023.3.6613.9M / 多国语言[中文]
- Goland2023 mac版 v2023.3.6626.19M / 英文
- 啊哈c/c++ mac版 v3.0133.28M / 简体中文
- haroopad mac版 v0.13.1官方版38.1M / 英文
- myeclipse 2023mac版 v2023.1.2官方版1.79G / 英文