您当前位置: 首页 »

nodejs

分类目录归档: nodejs

powershell安装.msi文件

有时候直接双击安装.msi文件的时候,由于权限问题会提示2505、2503等问题,鼠标右键的时候又没有以管理员身份运行的选项。 此时可使用powershell安装.msi文件。 第一步,开始->Windows Powershell->Windows Powershell,然后右键以管理员身份运行, 第二步, …

read more

windows下用nodejs搭建本地https服务器

原理不多说了,我也不懂,步骤大致分两步:1、生成证书 2、配置服务器 网上教程有很多,我找了一个我能看懂的:https://troyyang.com/2017/11/07/windows-ssl-node-nginx/ 说的很详细,照着他说的方法基本都能实现。 只是我没用到Nginx跟express,所以我就写一下纯“ …

read more

[nodejs实战:校花网学妹图片采集+站点发布]六、批量下载校花图片:管道流保存图片

当我们把所有校花信息采集完之后,打开对应的html文件,发现都可以看。但是里面的图片都是远程图片,如果咱采集的这个校花网倒闭了(呸呸呸乌鸦嘴),那么这些图片也就都打不开了。最保险的措施就是把这些图片也都批量下载下来。批量下载图片的思路也不难,遍历之前采集的html文件,取出里面的图片链接,然后下载下来就可以。既然是批量 …

read more

[nodejs实战:校花网学妹图片采集+站点发布]五、批量采集:异步操作async模块

上一篇的批量采集其实只是一个开头,是为了批量采集而搜集大量的url,而本篇文章才是真正的批量采集。 上一篇已经把校花网搜索校花的页面url存入了urlList.txt文件中,在批量采集前需要先读取这个文件: fs.readFile('urlList.txt', function (e …

read more

[nodejs实战:校花网学妹图片采集+站点发布]四、批量采集:模块封装及调用

前三篇文章基本完整的讲述了怎么去采集一个页面,但是一个页面的妹子不够看咋办啊,我都想要采集下来慢慢看啊! 这很简单啊,采集一个页面只要输入当前页面的url就可以,采集多个页面只要输入多个url不就得了。当然肯定不能逐个手动输入,但是我们可以把这些url存入数组中,然后遍历数组不就可以了~ 那么我们怎么去获取这些url呢 …

read more

[nodejs实战:校花网学妹图片采集+站点发布]三、数据的筛选:cheerio模块

打开上一篇下载的xiaohua.html文件发现,我们把所有代码原封不动的都下载下来了,甚至连校花网的广告都没放过,但是图片因为校花网用的是相对路径而不能正常显示的情况。而我们需要的仅仅是学妹的资料跟图片就可以了。那我们怎么从这些代码中筛选这些内容呢? 我第一时间想到的是利用正则,因为之前用php采集的时候都用的是正则 …

read more

[nodejs实战:校花网学妹图片采集+站点发布]二、数据的保存:fs.writeFile

上一篇nodejs实战:校花网美女图片采集+站点发布 [http.request采集内容]中,我们已经通过http.request获取到校花网http://www.xiaohuar.com/news-1-1722.html页面的内容,那怎么把获取到的内容保存下来呢?这就需要Node.js的文件系统了。 nodejs的文 …

read more

[nodejs实战:校花网学妹图片采集+站点发布]一、采集内容 http.request

我们需要采集校花网的哪些数据呢?最重要的当然是校花妹子们的靓照啊!如果能看到照片又能了解学妹们的名字、生日、就读学校等信息就更完美了! 那该怎么获取这些信息呢?下面以网页:http://www.xiaohuar.com/news-1-1722.html为例。 先说说采集数据的流程,首先是客户端(我们)发起请求,然后服务 …

read more

[nodejs实战:校花网学妹图片采集+站点发布]前言

声明:本系列文章是青岛知了互动前端部的内部培训资料,未经本人允许不得已任何形式转载!读本教程之前最好有一定的nodejs基础,不需要多高深,比如知道怎么使用npm安装模块,怎么用node命令运行写好的代码就行。 本教程更偏实战,理论方面的叙述会有问题,我尽量保持严谨。 ———&#82 …

read more

从Redis谈起(五)—— 那些关于Redis你所不知道的

说在前面 周末又结束了,不知道各位小伙伴们是在繁忙的加班,还是慵懒的睡觉,或者是晒甜蜜,秀幸福,抑或是五人黑别打扰,总之,周末已经没了,明天赶紧滚回去上班(笑。。。),今天说点轻松的。本篇是Redis系列第一期的最后一篇,计划还有两期,一是Redis实际使用篇,一是Redis源码分析篇,大家如果有感兴趣的主题或者遇到的 …

read more