特征:CPU 宽带爆满.
排查方法:
查看网站日志或使用iftop软件查看流量来源

yum -y install iftop

查看对应网卡eth0的流量:

iftop -i eth0 -P

结果显示大量谷歌蜘蛛抓取,如下:

1:减少抓取,而不禁止,一天后生效,可以在谷歌站长工具中进行限制

https://www.google.com/webmasters/tools/home?hl=zh-CN

先验证站点权限，然后访问老版本地址，把下面网址中的网站地址换成你的网址

https://www.google.com/webmasters/tools/settings?siteUrl=网址

================================================================================================
2:立即禁止蜘蛛抓取,释放服务器资源,谷歌站长工具生效后便可去除
使用.htaccess挡掉搜寻引擎机蜘蛛
挡掉Google搜寻引擎

如果你想要挡掉Google搜寻引擎，当然也可以透过.htaccsee挡掉，只要输入以下程式码就可以了，放在htaccsee文件中。

SetEnvIf User-Agent "^Googlebot" google
Deny from env=google

也可以屏蔽ip 屏蔽多个IP，中间用空格隔开就可以

Deny from ip

屏蔽IP段,只需前3位

xx.xx.xx

重启apache生效