如果我们是希望运营网站的话，你应该是需要有一个可以查看网站蜘蛛爬行抓取状态的工具。当然，我们可以通过百度站长工具后台进行查看抓取数据，但是这个数据信息不够具体化，而且只能看到百度蜘蛛的抓取数据，如果我们也需要查看谷歌、搜狗、360等等其他搜索引擎的蜘蛛抓取信息呢？

这里，我可以借助 wordpress蜘蛛记录插件来看WordPress网站的蜘蛛信息，如果我们有需要可以选择。这里麦子有整理比较常见的2个插件。
1、SpiderDisplay

麦子推荐这款 SpiderDisplay 搜索引擎蜘蛛痕迹记录插件。

这里我们安装好插件之后，可以等待蜘蛛抓取爬虫，然后可以看到根据天数记录和删除记录。我们可以看到抓取次数，以及详细的抓取情况。

这个插件功能看似不多，而且也不美观，但是我们实际需要的功能是满足我们看到抓取的页面目录以及可以看到抓取的搜索引擎蜘蛛。

2、无插件实现

function get_naps_bot(){
$useragent = strtolower($_SERVER['HTTP_USER_AGENT']);
if (strpos($useragent, 'googlebot') !== false){
return 'Googlebot';
}
if (strpos($useragent, 'msnbot') !== false){
return 'MSNbot';
}
if (strpos($useragent, 'slurp') !== false){
return 'Yahoobot';
}
if (strpos($useragent, 'baiduspider') !== false){
return 'Baiduspider';
}
if (strpos($useragent, 'sohu-search') !== false){
return 'Sohubot';
}
if (strpos($useragent, 'lycos') !== false){
return 'Lycos';
}
if (strpos($useragent, 'robozilla') !== false){
return 'Robozilla';
}
return false;
}
function nowtime(){
date_default_timezone_set('Asia/Shanghai');
$date=date("Y-m-d.G:i:s");
return $date;
}
$searchbot = get_naps_bot();
if ($searchbot) {
$tlc_thispage = addslashes($_SERVER['HTTP_USER_AGENT']);
$url=$_SERVER['HTTP_REFERER'];
$file="robotslogs.txt";
$time=nowtime();
$data=fopen($file,"a");
$PR="$_SERVER[REQUEST_URI]";
fwrite($data,"Time:$time robot:$searchbot URL:$tlc_thispage\n page:$PR\r\n");
fclose($data);
}

我们将代码插入到当前的主题 Functions.php 文件中。然后我们需要在网站根目录创建一个文件：robotslogs.txt

且需要给予写入权限。

另外，长时间的积攒会使这个文件越来越大，我们可以利用宝塔的计划任务添加 Shell任务：
命令行如下：

echo > /www/wwwroot/www.im2828.com/robotslogs.txt

时间设置为一周，这样以来，一周就会自动清空一次这个文件。