+ 我要发布
我发布的 我的标签 发现
浏览器扩展
斑点象@Edge

x-crawl 灵活的 Node.js AI 辅助爬虫库

x-crawl 灵活的 Node.js AI 辅助爬虫库,使爬虫工作变得更加高效、智能和便捷。 🤖 AI 辅助 强大的 AI 辅助功能,使爬虫工作变得更加高效、智能和便捷。 🖋️ 写法灵活 单个爬取 API 都适配多种配置,每种配置方式都各有千秋。 ⚙️ 功能丰富 支持爬动态页面、静态页面、接口数据以及文件数据。 ⚒️ 控制页面 爬取动态页面支持自动化操作、键盘输入、事件操作等。 👀 设备指纹 零配置或自定义配置,避免指纹识别从不同位置识别并跟踪我们。 🔥 异步同步 无需切换爬取 API 即可进行异步或同步的爬取模式。 ⏱️ 间隔爬取 无间隔、固定间隔以及随机间隔,决定是否高并发爬取。 🔄 失败重试 自定义重试次数,避免因短暂的问题而造成爬取失败。 ➡️ 轮换代理 搭配失败重试,自定义错误次数以及 HTTP 状态码自动轮换代理。 🚀 优先队列 根据单个爬取目标的优先级可以优先于其他目标提前爬取。 🧾 记录爬取 可控的爬取信息,会在终端输出彩色字符串信息。 🦾 TypeScrip 拥有类型,通过泛型实现完整的类型。