易优CMS网站蜘蛛爬取日志访问统计查询插件

蜘蛛爬取日志网站插件介绍
一、易优蜘蛛访问统计插件目前统计的搜索引擎爬虫主要有:百度、谷歌、搜狗、360、Yandex、微软bing;
二、该插件只保留蜘蛛爬取最近30天的记录,避免给数据表过大的数据量,容易造成管理员在备份数据库时,因多余的无效数据导致备份失败。

图片[1]-易优CMS网站蜘蛛爬取日志访问统计查询插件-萌果小站
图片[2]-易优CMS网站蜘蛛爬取日志访问统计查询插件-萌果小站

Robots技巧
1、如何拒绝搜索引擎爬取不相关的JS接口URL;
如下图所示:JS接口URL都有一个特性,前缀是 /index.php?m=api&c=Ajax&a=

图片[3]-易优CMS网站蜘蛛爬取日志访问统计查询插件-萌果小站

可以编辑网站的根目录下robots.txt文件,追加一条如下代码:
Disallow: /index.php?m=api&c=Ajax&a=*
2、如何拒绝搜索引擎爬取不想被收录的插件URL;
如下图所示:每个插件URL都有一个特性,前缀是 /index.php?m=plugins&c=插件标识

图片[4]-易优CMS网站蜘蛛爬取日志访问统计查询插件-萌果小站

红色圈住的是一个微信分享插件,如果这个URL在浏览器上打开是无效页面,可以通过如下robots.txt规则进行屏蔽,拒绝搜索引擎爬取。
编辑网站的根目录下robots.txt文件,追加一条如下代码:

Disallow: /index.php?m=plugins&c=WeixinShare&a=*
易优CMS网站蜘蛛爬取日志访问统计查询插件-萌果小站
易优CMS网站蜘蛛爬取日志访问统计查询插件
此内容为付费资源,请付费后查看
5
您当前未登录!建议登陆后购买,可保存购买订单
资源分类站长工具 / 网站插件
插件类型 易优CMS蜘蛛插件
运行环境PHP / Mysq
插件大小204.0 K
插件语言简体中文
付费资源
© 版权声明
THE END
喜欢就支持一下吧
点赞9
分享
评论 抢沙发

请登录后发表评论