分类目录

赞助商

热门标签

搜索

    2017年6月17日
    • robots.txt Disallow和Allow上下级目录或文件的写法
    • 我们有时需要在 robots.txt Disallow和Allow某一目录或文件,但是不知道该如何去写。其实,对于有关联的目录来说,我们只需遵循一个原则,就好处理了,那就是:先写Disallow再写Allow。我们看看Google的 robots.txt ,如图看到:先 Disallow /search 这个目录,再 Allow /search/about 这个目录或文件。

    2017年6月17日
    2017年6月10日
    • 屏蔽百度蜘蛛或某一爬虫的四种方法
    • 今天看到群里有人说被一俄罗斯爬虫一天内访问网站几千次,想屏蔽它,其实,类似这样的问题解决方案网上有不少文章,屏蔽俄罗斯爬虫跟屏蔽百度蜘蛛的原理是一样的,可以通过如下四种方法来处理。

    2017年6月10日
    • 百度蜘蛛最新UA及各大搜索引擎蜘蛛爬虫UA汇总
    • 了解各大搜索引擎蜘蛛爬虫的UA,对我们进行某些程序编写十分有用,例如网页判断客户端来源时,UA是常用的标准之一。本文收集了各大搜索引擎的蜘蛛爬虫UA,以便需要时查阅。

分页:«1»
328| 392| 650| 764| 902| 197| 867| 819| 857| 37|