首页 >

测试的网站不想被百度抓取 – PHP基础 – 前端,chrome无法访问php

php 时区访问网站,php登录连数据库代码,php动态读取数据库数据库连接,phpcms兄弟连,php调用外部文件函数调用函数,linux nginx php解析,thinkphp or and结合,php开关按钮,chrome无法访问php测试的网站不想被百度抓取 - PHP基础 - 前端,chrome无法访问php

有些站长比较喜欢将站点上线测试(不喜欢在本地测试),但是又不想被百度等搜索引擎抓取,那么应该怎么暂时屏蔽呢?今天boke112就跟大家简单介绍几种方法。

方法一:WordPress站点的直接后台设置

WordPress站点可以直接登录站点后台 >> 设置 >> 阅读 >> 勾选“建议搜索引擎不索引本站点”并点击【保存更改】即可。

方法二:通过robots.txt禁止

直接在网站根目录中新建一个robots.txt文件,然后在文件中添加以下代码:

User-Agent: *

Disallow: /

方法三:通过noindex标记来禁止

直接在站点的头文件header.php文件中添加以下代码:

<meta name=”robots” content=”noindex” >

方法四:通过PHP代码禁止(WordPress站点为例)

将以下代码添加到主题目录的functions.php当中:

ob_start(“Deny_Spider_Advanced”);

function Deny_Spider_Advanced() {

$UA = $_SERVER[‘HTTP_USER_AGENT’];

$Spider_UA = ‘/(spider|bot|)/i’; //定义需要禁止的蜘蛛UA,一般是spider和bot

//如果检测到UA不为空而且发现是蜘蛛则返回404

if($UA && preg_match_all($Spider_UA,$UA)) {

header(‘HTTP/1.1 403 Forbidden’);

header(“status: 403 Forbidden”);

}

}

可以自行替换或添加以上的spider|bot,多个用|隔开即可。

方法五:Nginx禁止

在server{}中添加以下代码:

#如果抓取的UA中含有spider或bot时返回403

if ($http_user_agent ~* “spider|bot”) {

return 403; #如果是删除已收录的,则可以返回404

break;

}

可以自行替换或添加以上的spider|bot,多个用|隔开即可。

方法六:Apache禁止

在.htaccess中添加以下代码:

RewriteEngine On

RewriteCond %{HTTP_USER_AGENT} (^$|spider|bot) [NC]

RewriteRule ^(.*)$ – [F]

可以自行替换或添加以上的spider|bot,多个用|隔开即可。

总结

理论上以上6种方法都有效,建议找适合自己站点的一种办法来使用即可。一般采用方法二比较普遍,如果能够结合方法五或六来使用估计效果更佳。


测试的网站不想被百度抓取 - PHP基础 - 前端,chrome无法访问php
  • 群晖如何重新安装 - 网络|
  • 群晖如何重新安装 - 网络| | 群晖如何重新安装 - 网络| ...

    测试的网站不想被百度抓取 - PHP基础 - 前端,chrome无法访问php
  • 红米note4x高通版可以升级到MIUI9吗 - 网络|
  • 红米note4x高通版可以升级到MIUI9吗 - 网络| | 红米note4x高通版可以升级到MIUI9吗 - 网络| ...

    测试的网站不想被百度抓取 - PHP基础 - 前端,chrome无法访问php
  • 生活中哪些地方需要讲诚信 - PHP基础 - 前端,php授权白名单
  • 生活中哪些地方需要讲诚信 - PHP基础 - 前端,php授权白名单 | 生活中哪些地方需要讲诚信 - PHP基础 - 前端,php授权白名单 ...