Nginx 设置只允许蜘蛛访问其他访问为404或者301跳转
nginx 设置只允许蜘蛛访问其他访问为 404 或者 301 跳转
ngxinx 设置只允许百度 360 蜘蛛访问，其他任何 IP 或者蜘蛛访问为 404 状态
if ($http_user_agent !~* "Baidu|Yisou|Sogou|Google|360")
{return 404;
}
实测浏览器打开为 404 状态，网站日志百度蜘蛛为 200 正常状态。
设置只允许百度 360 蜘蛛访问，访客浏览器跳转
if ($http_user_agent !~* "Baidu|Yisou|Sogou|Google|360")
{return 301 http://www.hao123.com;
}
解释：这个是，非这几个蜘蛛，就 301 跳转到 hao123.com
if ($http_user_agent !~* "Baidu|Yisou|Sogou|Google|6531.22.7")
{return 302 http://www.baidu.com;
}
解释： 这是 302 跳转
