安防网

安防站长网首页-为安防创业者服务
> 优化技术 > 如何查看网站虚拟空间的百度蜘蛛访问记录!

如何查看网站虚拟空间的百度蜘蛛访问记录!

23 2019-07-30

网站日志,是服务器端自动生成的一个文本记录,详细记载了网站的访问详情,做为站长的你,如果是需要查看访问统计数据,那用51.la或者百度统计 工具就可以了,但是如果你想查看各搜索引擎的蜘蛛是否准时来爬行自己的网站,那就要学会自己查看网站日志文件了。结合我们自己的网站做为一个实例来做一个介绍:
首先利用FTP工具登录服务器端,一般在服务器根目录之下存在一个logs文件夹,这里面装的就是网站日志,当然不同的服务器类型,日志文件的文件夹名称和我介绍的不一样,但没关系,日志文件的扩展名是log。

进入日志文件夹,你会发现,日志文件是按每一天的访问情况为一个文件保存的:

好吧,我的服务器只保留最近三天的日志文件,真小气,我还用过一个国外的服务器,人家是按月记录,并且当月结束后会将当月的日志打包供下载,只要你不人为删除,该日志文件会永远存在,这才叫个性化,但是没办法,谁叫我们只能用国内的服务器。
OK,报怨了几句,随便下载一天的日志文件,用Windows文本工具打开该日志文件,会看到一堆酷似代码的字符,祝文件大小打开速度也不同:

注意看有背景的这一小部分,我用CTRL+F搜索功能查找baiduspider,好吧,为什么要查找baiduspider,这里先普及一下关于搜索引擎蜘蛛的一点小知识,各大搜索引擎的蜘蛛都有名字:
百度的叫baiduspider;
谷歌的叫Googlebot;
微软的叫bingbot;
搜狐的叫Sogou web spider;
腾讯的叫Sosospider;
因为国内主要是以百度为优化对象,我们来看看关于百度蜘蛛爬行记录的信息分析,在日志记录中随便找一个百度蜘蛛的信息:
125.90.88.96 – – [07/Sep/2012:19:16:21 +0800] “GET / HTTP/1.1” 200 5374 “-” “Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)”
怎么解读这些信息呢?蜘蛛IP–【访问时间】“获取路径”HTTP反馈值200 反馈字节数5357 百度蜘蛛标记。
好吧,这里面获取路径与HTTP反馈值是非常重要的信息,200为正常读取,读取了5374个字节。我们再分析一条记录:
220.181.51.118 – – [07/Sep/2012:09:54:15 +0800] “GET /product/disp.php?id=93 HTTP/1.1” 301 249 “-” “Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)”
认真看获取路径这一项,因为我的网站是老域名,原来的主人被收录的路径/product/disp.php?id=93,百度蜘蛛同样爬行,结果我的 新网站里肯定不会有这一条信息,由于HTTP反馈了301,而301代表已移动 — 请求的数据具有新的位置且更改是永久的。其实这对于我来说是一件好事,蜘蛛爬行不通,知道这条收录记录已经失效,慢慢就会从百度的收录数据库中删除。现在 百度正在审核我的新站点,一天爬行只有23次,也很不错了的。
好了,大家是不是可以举一反三的学会看其它搜索引擎蜘蛛的爬行记录了呢?下次,笔者将重点再分享一下HTTP的反馈值,大家通过这个反馈值可以获悉自己网站的健康状态哦,非常重要。
当然,有朋友会说为什么不利用一些日志查看工具,人工手动察看费时费力,是的,有些不错的工具可以提供更便捷的操作,今天笔者所述内容旨在用最初级的方法教会大家学会察看自己网站的日志。希望以上内容能对你有点帮助。

著作权归作者所有。
商业转载请联系作者获得授权,非商业转载请注明出处。
作者:站长之家编辑
链接:https://www.chinaz.com/web/2012/0912/274058.shtml
来源:站长之家

返回:优化技术

相关阅读

置顶推荐
猜您喜欢
热门阅读
  • 监控安装500万摄像机全天录制Smart265编码一天需26G!

    监控安装套装如何选配:王杨安防根据实际需求,选择合适的摄像机数量和硬盘大小。500万摄像机数量、硬盘大小对应录像存储天数见下表(仅供参考);硬盘大小对应录制天数(供参考)(500万摄像机全天录制,Smart265编码一天需26G)*以上Smart265编码测试时间仅供参考因环境不同、编码选择不同保存时间有所差异;

  • 监控安装摄像头的角度与距离「图文」介绍收藏!

    监控安装说明:①支持墙面或吊顶安装(需要单独立杆的场景,不在服务范围);②摄像机的安装高度不超过3.5米(登高工具用户提供);③每路摄像机含30米内的穿管布线,布线为标准RVV2*1.O电源线标准超五类网线,穿管为PVC管/PVC槽;*镜头数字越大,角度越小,看得越远;镜头数字越小,角度越大,看的越近。*注:监控距离为建议距离,实际距离以现场使用环境为准半球焦距只有2.8mm,4mm, 6mm

  • 安防建站:宝塔面板同步服务器时间图文教程!

    登录服务器的宝塔控制面板:如图看见左边的Linux工具箱,左边栏时区设置。选择Asia/Shanghai在控制面板:导航栏--计划任务--选择--同步时间--执行周期--随便选择,如图:以上操作完成,添加完任务,在任务列表,添加的同步时间的任务。点击执行,操作完毕,简单的教程。

  • 监控摄像头镜头选择:2.8mm,4mm,6mm,8mm,12mm【图文】!

    安装监控摄像头效果,具体要多少毫米的镜头,就要根据你实际地点来确定毫米数,一般有3.6MM、4MM、6MM、8MM、12MM、16MM这几个是最常用的。角度和距离成反比,角度越大距离越近。3.6毫米镜头是67.4度,距离15米。6毫米镜头是42.3度,距离是20米。8毫米镜头是32.6度,距离是25米。12毫米镜头是22.1度,距离是40米。16毫米镜头是17.1度,距离是60米。

  • 海康威视渠道经销商、海康代理商、海康总代!

    海康威视是安防产品及行业解决方案提供商,致力于不断提升视频处理技术和视频分析技术,面向全球提供的安防产品、专业的行业解决方案与优质的服务,为客户持续创造更大价值。海康威视拥有业内的自主核心技术和可持续研发能力,提供摄像机/智能球机、光端机、DVR/DVS/板卡、BSV液晶拼接屏、网络存储、视频综合平台、中心管理软件等安防产品,并针对金融、公安、电讯、交通、司法、教育、电力、水利、军队等众多行业提供合适的细分产品与专业的行业解决方案。这些产品和方案面向全球100多个国家和地区,在北京奥运会、大运会、亚运会、

  • 安防网站:WordPress移动端/手机端底部悬浮(拨打电话)菜单!

    打开WordPress后台,进入安装插件页面,然后搜索了一番,找到了Call Now Button 这款WordPress手机端底部悬浮菜单插件,于是立马安装启用,下面是我们公司网站底部现在使用的悬浮菜单,大家先看一下吧。WP插件:Call Now Button 帮你快速为WordPress设置底部悬浮菜单Call Now Button插件设置教程:第一步:进入WordPress后台,在插件功能中查找并安装启用Call Now Button插件,如下图;第二步:我们在WordPress后台左侧导航栏找到设

  • 监控安装1台500万星光摄像机录像1天需要多大硬盘!

    监控安装1台500万星光摄像机录像1天需要多大硬盘!常规场景下,4个500W摄像机存储2个星期,只需1.5TB硬盘智能编码存储更长!采用Smart265编码,比H.265编码更强大,存储更省,带宽更低,大约只需4MBps码流,大大缩短每小时存储空间,低宽带也能流畅播放。

  • 安防监控公司网站文章带更新服务!

    为安防监控安装公司的网站,提供安防网站文章带更新服务,只提供网站系统是WordPress、Z-Blog等开源的CMS系统。

  • 公安备(安全评估报告)地址,写法,图文,范本!

    全国互联网安全管理服务平台登录这个网址 http://www.beian.gov.cn/安全评估报告(图文教程)如下:这里我已经复制出来:请填写主要内容1、安全管理负责人、信息审核人员及安全管理机构设立情况。公司设有编辑审核部门、运营管理部门、运维管理部门;编辑审核部门将对每日的新闻内容进行审核;运营部门对用户的帖子内容进行审核;运维管理部门负责日志留存记录、内容拦截等工作。2、用户真实身份核验及注册信息留存措施。在用户注册时需要使用手机号注册,我们可以根据手机号对其身份信息进行核验,同时通过日志留存设备

  • 疫情期间出行工作证明.doc[小区物业出入证明专用]免费下载!

    疫情期间出行工作证明,小区物业专用:关于疫情防控期间出行事项的说明为做好当前疫情防控工作,规范出入秩序,根据市新型...单位工作人员凭单位开具的证明可以通行小区;腾讯微云链接:https://share.weiyun.com/5J8Y9AJ 密码:8wvnwj百度网盘链接: https://pan.baidu.com/s/1c2lA2wuSsCKpyTHmI02Isw 提取码: ua82

标签云