网站蜘蛛日志分析 _蜘蛛

不清楚我们的网站百度蜘蛛是否来过，不知道我们网站百度蜘蛛是否能来，那你可以利用网站日志来分析蜘蛛是否来过，爬行过哪些页面，什么时候来过等问题，那么我们应该如何去分析网站蜘蛛日志。

文章插图
在我们分析网站日志的前提是必须要下载ISS日志，一般的情况下，我们都使用ftp,那么ISS日志均为空间商会给你提供下载地址。一般是在文件中，我们可以直接从这一文件中获取站点的日志文件。一般的情况下，ISS日志是每天生成一次，但是对于网站较大，站点内容较多的可以设置每小时生成一次。
如何分析蜘蛛日志61.135.168.22 - - [11/Feb/2014:04:02:45 +0800] " //161.html HTTP/1.1" 200 8450 "-" "+(+)"
以上的代码是我从自己的空间下载的一段日志，现在与大家一起来分析一下，这段代码具体意思如下：
61.135.168.22：来路IP，也就是说这个用户或者蜘蛛进来我们网站的IP是多少。
11/Feb/2014:04:02:45：时间2014年2月11日早上4点02分45秒。
//161.html：蜘蛛访问的页面，加上网站的主域名如：
200：表示能够正常访问你的网站。
8450：表示此次加载了8450个字节。

文章插图
：百度蜘蛛的全名。
以上是网站日志分析的细节，那么以上的内容有两点，是我们需要注意的，同时在分析的过程中也需要记住的。那就是状态代码和程序名的解析。
状态代码
200 - 服务器成功返回网页
404 - 请求的网页不存在
503 - 服务器暂时不可用
500 - 服务器出现错误
蜘蛛名称
百度（Baidu）爬虫名称（）
谷歌（）爬虫名称（）

文章插图
雅虎（Yahoo）爬虫名称（Yahoo Slurp）
有道（Yodao）蜘蛛名称（）
搜狗（sogou）蜘蛛名称（sogou ）
MSN的蜘蛛名称：
如何让蜘蛛经常访问我们的网站
那么看懂这些数据以后，很多朋友可能会很失望，觉得自己的网站蜘蛛访问的很少甚至没有访问记录，那么你也别担心，可能是你网站的一些小问题引起了蜘蛛的不关注。下面来看看面对蜘蛛不关注我们的网站，我们应该如何操作吧。
定时更新：对于小网站或者博客网站，我们可以定时更新1-3篇少量信息，那么对于论坛门户这种栏目较多的网站，我们就需要更具自己网站的情况来更新，以便获得蜘蛛的青睐。
网站地图：制作蜘蛛网站地图，当蜘蛛在抓取你的页面，蜘蛛会先抓取你的文件，所以网站地图写在文件里面来引导蜘蛛抓取网站地图内容。
外链引导：我曾经做过一次这样的实验，新建一个文本页面的网站，不做任何操作，仅仅在A5论坛发了一个纯文本链接，第二天百度收录了我的那个文本页面。这一点说明SEO外链是可以引导百度蜘蛛来收录你的网站的。
推荐此文：如果你的条件允许的情况下，你可以将你的内容文字推荐到首页，或者在其他内容页推荐，因为一个网站首页的权重是最高的，所以在首页推荐的情况下，是非常容易就可以收录你的文章。
【网站蜘蛛日志分析】郑重声明：本文版权归原作者所有，转载文章仅为传播更多信息之目的，如作者信息标记有误，请第一时间联系我们修改或删除，谢谢。