nodejs

[nodejs实战:校花网学妹图片采集+站点发布]六、批量下载校花图片:管道流保存图片

蒙奇·D·撸码客 发布于 2017-02-21 10:26:44

当我们把所有校花信息采集完之后,打开对应的html文件,发现都可以看。但是里面的图片都是远程图片,如果咱采集的这个校花网倒闭了(呸呸呸乌鸦嘴),那么这些图片也就都打不开了。最保险的措施就是把这些图片也都批量下载下来。批量下载图片的思路也不难,遍历之前采集的html文件,取出里面的...

[nodejs实战:校花网学妹图片采集+站点发布]四、批量采集:模块封装及调用

蒙奇·D·撸码客 发布于 2017-02-06 10:22:02

前三篇文章基本完整的讲述了怎么去采集一个页面,但是一个页面的妹子不够看咋办啊,我都想要采集下来慢慢看啊!这很简单啊,采集一个页面只要输入当前页面的url就可以,采集多个页面只要输入多个url不就得了。当然肯定不能逐个手动输入,但是我们可以把这些url存入数组中,然后遍历数组不就可...

[nodejs实战:校花网学妹图片采集+站点发布]三、数据的筛选:cheerio模块

蒙奇·D·撸码客 发布于 2017-02-06 10:14:16

打开上一篇下载的xiaohua.html文件发现,我们把所有代码原封不动的都下载下来了,甚至连校花网的广告都没放过,但是图片因为校花网用的是相对路径而不能正常显示的情况。而我们需要的仅仅是学妹的资料跟图片就可以了。那我们怎么从这些代码中筛选这些内容呢?我第一时间想到的是利用正则,...

[nodejs实战:校花网学妹图片采集+站点发布]一、采集内容 http.request

蒙奇·D·撸码客 发布于 2017-01-06 10:44:47

我们需要采集校花网的哪些数据呢?最重要的当然是校花妹子们的靓照啊!如果能看到照片又能了解学妹们的名字、生日、就读学校等信息就更完美了!那该怎么获取这些信息呢?下面以网页:http://www.xiaohuar.com/news-1-1722.html为例。先说说采集数据的流程,首...

[nodejs实战:校花网学妹图片采集+站点发布]前言

蒙奇·D·撸码客 发布于 2017-01-05 18:10:14

声明:本系列文章是青岛知了互动前端部的内部培训资料,未经本人允许不得已任何形式转载!读本教程之前最好有一定的nodejs基础,不需要多高深,比如知道怎么使用npm安装模块,怎么用node命令运行写好的代码就行。本教程更偏实战,理论方面的叙述会有问题,我尽量保持严谨。-------...

从Redis谈起(五)—— 那些关于Redis你所不知道的

蒙奇·D·撸码客 发布于 2016-08-01 11:29:02

说在前面周末又结束了,不知道各位小伙伴们是在繁忙的加班,还是慵懒的睡觉,或者是晒甜蜜,秀幸福,抑或是五人黑别打扰,总之,周末已经没了,明天赶紧滚回去上班(笑。。。),今天说点轻松的。本篇是Redis系列第一期的最后一篇,计划还有两期,一是Redis实际使用篇,一是Redis源码分...

从Redis谈起(四)—— Redis协议详解,一个简单的客户端

蒙奇·D·撸码客 发布于 2016-07-15 10:10:50

协议协议是指两个实体(群)之间通信的约定标准,本文主要探讨Redis服务端和客户端交互的协议,其余集群相关的协议留待以后探讨。协议算是一个必要而伟大的发明。A和B语言不通,但他们可以通过彼此都熟知的方式交流,比如肢体语言,肢体语言在这里就是协议。语言只是交流的一种表现形式,真正的...

从Redis谈起(三)—— Redis和消息中间件

蒙奇·D·撸码客 发布于 2016-07-15 10:09:53

什么是消息中间件先看百科:消息中间件利用高效可靠的消息传递机制进行平台无关的数据交流,并基于数据通信来进行分布式系统的集成。通过提供消息传递和消息排队模型,它可以在分布式环境下扩展进程间的通信。我们来看几个关键点:消息消息中间件定义了一个协议(模型),基于该协议可以传递消息分布式...