node,网站爬取
web前端-js教程
本篇文章给大家介绍一下node中借助第三方开源库轻松实现网站爬取功能的方法，希望对大家有所帮助！jquery 相册源码,vscode在浏览器查看,ubuntu安装gate,css怎么连接tomcat,网络爬虫频率,php登录功能实现,郑州抖音搜索seo优化排名,网站手机源码lzw
一元云购wap站源码下载,vscode有安卓吗,ubuntu自带背景,tomcat映射根目录,爬虫挑选网页,debug工具php,seo网络推广服务哪家好,易语言游戏源码网站,飞飞影视系统模板怎么上传lzw
nodejs实现网站爬取功能微信720全景源码,vscode专业版和社区版,ubuntu打印机共享,为何Tomcat部署工件出错,sqlite主从同步,聊城网页设计费用,服务器什么建站,焦点图切换js插件,前端框架技术作业,爬虫虫子图片,php发送http请求,seo好的公司,springboot3版本,jsp同乡会网站源码,网页居中css代码,phpcms 改模板 不变,bootstrap导航页面切换,php 管理系统源码,情人节程序lzw
第三方库介绍request 对网络请求的封装
cheerio node 版本的 jQuery
mkdirp 创建多层的文件夹目录
实现思路
通过request获取指定 url 内容
通过cheerio找到页面中跳转的路径（去重）
通过mkdirp创建目录
通过fs创建文件，将读取的内容写入
拿到没有访问的路径重复以上执行步骤
代码实现
const fs = require("fs");const path = require("path");const request = require("request");const cheerio = require("cheerio");const mkdirp = require("mkdirp");// 定义入口urlconst homeUrl = "https://www.baidu.com";// 定义set存储已经访问过的路径，避免重复访问const set = new Set([homeUrl]);function grab(url) { // 校验url规范性 if (!url) return; // 去空格 url = url.trim(); // 自动补全url路径 if (url.endsWith("/")) { url += "index.html"; } const chunks = []; // url可能存在一些符号或者中文，可以通过encodeURI编码 request(encodeURI(url)) .on("error", (e) => { // 打印错误信息 console.log(e); }) .on("data", (chunk) => { // 接收响应内容 chunks.push(chunk); }) .on("end", () => { // 将相应内容转换成文本 const html = Buffer.concat(chunks).toString(); // 没有获取到内容 if (!html) return; // 解析url let { host, origin, pathname } = new URL(url); pathname = decodeURI(pathname); // 通过cheerio解析html const $ = cheerio.load(html); // 将路径作为目录 const dir = path.dirname(pathname); // 创建目录 mkdirp.sync(path.join(__dirname, dir)); // 往文件写入内容 fs.writeFile(path.join(__dirname, pathname), html, "utf-8", (err) => { // 打印错误信息 if (err) { console.log(err); return; } console.log(`[${url}]保存成功`); }); // 获取到页面中所有a元素 const aTags = $("a"); Array.from(aTags).forEach((aTag) => { // 获取到a标签中的路径 const href = $(aTag).attr("href"); // 此处可以校验href的合法或者控制爬去的网站范围，比如必须都是某个域名下的 // 排除空标签 if (!href) return; // 排除锚点连接 if (href.startsWith("#")) return; if (href.startsWith("mailto:")) return; // 如果不想要保存图片可以过滤掉 // if (/\.(jpg|jpeg|png|gif|bit)$/.test(href)) return; // href必须是入口url域名 let reg = new RegExp(`^https?:\/\/${host}`); if (/^https?:\/\//.test(href) && !reg.test(href)) return; // 可以根据情况增加更多逻辑 let newUrl = ""; if (/^https?:\/\//.test(href)) { // 处理绝对路径 newUrl = href; } else { // 处理相对路径 newUrl = origin + path.join(dir, href); } // 判断是否访问过 if (set.has(newUrl)) return; if (newUrl.endsWith("/") && set.has(newUrl + "index.html")) return; if (newUrl.endsWith("/")) newUrl += "index.html"; set.add(newUrl); grab(newUrl); }); });}// 开始抓取grab(homeUrl);总结
简单的网页爬虫就完成了，可以把homeUrl改成自己想要爬取的网站试试。
nodejs 教学！！