手机浏览器扫描二维码访问
第768章 爬虫（第2页）
在大方向的理论上，周大老板比一些专业人士还强。
王小船深以为然，“是啊，大数据的处理。百度和谷歌的差距，微点和百度的差距，最主要的就是体现在我们在数据处理时的效率问题。按理来说，通过爬虫技术，可以抓取到互联网上所有信息。可相关信息太多了，数据量太大了。怎么才能在短时间内把想要的信息抓取并展示出来，是搜索引擎最大的技术难题。”
周不器打了个响指，笑道：“巧了，我这次过来，就是想问问你爬虫的事。”
王小船有些费解。
周大老板这个技术外行，怎么还关心起技术细节来了？
就缓缓的解释道：“爬虫是搜索的基础工具，爬虫搜信息……嗯，就跟使用浏览器上网差不多，都是先向服务器发送请求，获得返回的页面，然后筛选出有价值的内容。如果时间足够长计算量足够大，使用爬虫工具，就可以把互联网上的所有信息都搜索一遍。”
见周大老板似乎很感兴趣的样子。
王小船就拿过纸笔，很快速的写下了一行代码，“假如说我们要爬取微知网的信息，用这行代码就可以实现了。”
周不器拿过代码一看，嗯，是很简单。
headers={‘use-agent’:‘chaiknowsthebot’，}
r=（“
html=xt
print（html）
难怪说3月份的时候，北科有两个计算机系的大学生被开除了。
这技术好像是不太难。
因为大四写论文，可用谷歌、百度、微点等搜索引擎，却搜不到别人写的相关论文。怎么办？就有计算机系的学生，自己写了段爬虫算法。
然后成功的爬取到了几百篇相关论文。
接下来就好办了，摘抄、重组、整合。
如果查重不过关，也简单，用谷歌翻译，先汉译英、再英译汉。再人工地把句子整理通顺，查重就顺利通过。
可能是北科的创业环境被周不器给带起来了，那俩大学生就有了通过技术牟利的心思，玩起了帮同学写论文的生意。
被发现后，俩人都被开除了。
要不是周不器出面力保，上缴了非法所得，并安排到了校内网工作，他俩说不定就要蹲监狱了，前程就全毁了。
王小船接着说：“这是静态网站的爬取，如果是优酷、朋友网的这种动态页面，算法会相对复杂。可不管怎样，这都是很基础的工具。我们做搜索引擎，难点已经从复杂性变为规模量了。”
周不器皱皱眉，“老马……就是阿里的那位。他跟我说，要屏蔽百度对淘宝的爬虫，怎么回事？”
王小船笑道：“这事也简单，爬虫和网站之间有一个爬取协议，业内叫robot协议。这个协议会声明，该网站的哪些内容可以爬取，哪些内容不能爬取，并规定白名单里的爬虫可以爬取主页内容。淘宝如果要屏蔽百度，只需要把百度的爬虫加到黑名单里就行了。”
“嗯！”
周不器点了点头。
这就是他想要的答案。
爬虫黑名单！
末日法则：灾厄降临，开局先斩白莲花 渔家四时鲜 星际唯一治愈系，但是暴力奶妈 修无情道后我爆红冰雪综艺 快穿攻略之病娇大佬又黑化了 签到三年我成了八零首富 反派长媳 大世界 月光倾城不及你 神道丹帝叶尘苏傲雪列表 随母改嫁，我跟继父约法三章 远风知我意 没有人告诉我女配性转了 成为雍正妹妹之后 温柔瘾 天生甜宠命[快穿] 宇宙最强欧皇 我有一家宠兽店 师娘超强，却过分谨慎 穿梭在晋朝
钟小艾给我，侯亮平急眼
关于钟小艾给我，侯亮平急眼山水庄园，正值钟小艾过来调查，穿越过来的祁同伟激活纵欲系统，只要说出内心真实想法，就能获得积分奖励。恰逢这个时候，侯亮平突然到访！这下解释不清楚了！既然解释不清楚，那么我就表白钟小艾！小艾，我爱你，嫁给我吧，侯亮平不值得！钟小艾你在胡说些什么？钟小艾被吓了一跳，忙不迭躲进柜子里！侯亮平学长，你的柜子里到底藏了什么？有什么见不得光的事情？梁璐同伟，你赶紧把柜子打开！夫妻一场，你别做的难看！祁同伟学弟千外别打开啊，你会后悔的！...
快穿之位面养成记
妉华是虚空里的一片星云，有一天，一个系统闯了进来。系统（悲凉且无助）求你做个人吧。妉华（平静且真诚）我是要做个人。系统卒。妉华捡起死系统，打开了新世界大门。第一个世界不做影后姐妹花影后成长系统邀你上线去制霸娱乐圈妉华我爱科学，科学使我进化第二个世界借个空间好种田重生女在线等你来场争夫撕逼大战妉华拿走，不谢。别耽误我种田（本文无cp）...
谍战：开局我在宪兵队签到
周可，宪兵队小队长，今天距离他执掌樱花还有1825天。周可利用职务之便从敌人内部搞歪风邪气，官却越升越高！这一世，周可将带领樱花走上一条与前世完全不同的道路！这一世，周可就像他的代号过河卒那样，走上了一条无法回头的不归路！…周可获得了签到物品定点投放能力。且看主角如何通过个人背景和越来越强大的签到能力，在新的世界中走出一条独一无二的王者之路（本书为平行世界，多元宇宙，切勿上纲上线！）p...
光遇：树
这是一篇关于光遇的同人故事，他们是光遇世界的勇士们，他们是崩坏国度的唯一希望。愿光遇的世界迎来崭新的光，而我们都是光遇的光。...
小师妹说还有亿种破坏剧情的方法
关于小师妹说还有亿种破坏剧情的方法姜鸢穿进一个杂糅多种特色的混合修仙小说中。在这里，龙傲天，对照组，万人迷，真假少爷等等，应有尽有。好消息她不在其中的任何一个剧情中。坏消息师门里的其他人在剧情里当牛做马。但是这能难住她？大师兄被未婚妻退婚羞辱，好，上去就是横飞五米远吐血重伤，主打一个讹诈！二师兄为了白月光不仅自己割肉放血，还要对别人掏心掏肺，好，倾情奉献性转丹一枚，让他也感受一下来自白月光深沉的爱！三师兄重生依旧失智，四师兄童子鸡喜提好大儿，五师姐被迫恋爱脑，六师兄被做成寻宝罗盘还有师尊好像也有点人格分裂！嘶姜鸢人都麻了。好好好！背着我你们都玩的这么炸裂是吧？不行，我也要！但是实力好像跟不上大家的步伐啊，可这是事吗？压根不是！谁说凡是都需要用武力解决？她就信奉和平交流，但你要是不想和平的话，在下也略懂一些阵法，灵符什么的。但这就凶残了不是吗？所以还是关门放师兄吧，虽然他们之前都被玩坏了，但是修一修还是很好用的呀！...
盗墓风水录
我是一个风水先生，二十世纪初，为了赚大钱，我和牛子到了潘家园，加入到了一个盗墓团伙。凭借着自己的本事和兄弟们的照应，我在道上混的风生水起。入行之后，我深知了一个道理，害人之心不可有，防人之心不可无。三教九流八大江湖，除了三教九流之外，尚有八门的传说，八门可在山林之外，可在庙堂之中，各门甚至是到了今天都尚有...