一聚教程网：一个值得你收藏的教程网站

ps教程| flash教程| 路由器设置| Jsp教程| 加入收藏

首页游戏下载软件下载专题资讯教程 php教程 asp.net教程 css教程网页制作网页特效手机开发办公数码

+ -

当前位置：一聚教程网 > php教程 > apache

推荐专题

最新下载

1

涂鸦射手最新版
88.8MB 类型： 休闲益智
2

航海生活2辅助菜单
136.86MB 类型： 休闲益智
3

天天国际象棋游戏
36.09M 类型： 休闲益智
4

飞盘高尔夫
284.25MB 类型： 休闲益智
5

球球绝地大作战
47.35MB 类型： 休闲益智
6

恐龙任务2无限金币钻石
152.5MB 类型： 休闲益智
7

梦幻马戏团
110.49MB 类型： 休闲益智
8

魔塔精灵跑酷手游
65.26MB 类型： 休闲益智
9

oppo谁是卧底
213.51MB 类型： 休闲益智
10

我是谜
188.79M 类型： 动作冒险

热门教程

1

诛仙2鬼王怎么加点鬼王加点推荐
时间：2025-08-20 类型： 游戏攻略
2

诛仙2见影灵泉奇遇任务怎么做见影灵泉奇遇任务流程攻略
时间：2025-08-20 类型： 游戏攻略
3

三国天下归心诸葛亮怎么样诸葛亮技能介绍一览
时间：2025-08-20 类型： 游戏攻略
4

三国天下归心追击队怎么玩追击队玩法教学
时间：2025-08-20 类型： 游戏攻略
5

三国天下归心武将怎么获得武将获取方法
时间：2025-08-20 类型： 游戏攻略
6

星痕共鸣剧毒蜂巢怎么获取剧毒蜂巢获取攻略
时间：2025-08-20 类型： 游戏攻略
7

新三国志曹操传李儒之影怎么打李儒之影打法教学
时间：2025-08-20 类型： 游戏攻略
8

辉烬队伍怎么搭配配队攻略指南
时间：2025-08-20 类型： 游戏攻略
9

创造吧我们的星球种田玩法怎么玩种田玩法介绍一览
时间：2025-08-20 类型： 游戏攻略
10

华夏千秋怎么表白表白方法一览
时间：2025-08-20 类型： 游戏攻略

apache如何禁止网络爬虫采集的配置方法

时间：2022-06-25 00:11:58 编辑：袖梨来源：一聚教程网

Apache中禁止网络爬虫，其实也挺简单的，只要把下面的代码配置到apache的httpd.conf文件中的Location中，就可以了。

SetEnvIfNoCase User-Agent "spider" bad_bot
BrowserMatchNoCase bingbot bad_bot
BrowserMatchNoCase Googlebot bad_bot
Order Deny,Allow
#下面是禁止soso的爬虫
Deny from 124.115.4. 124.115.0. 64.69.34.135 216.240.136.125 218.15.197.69 155.69.160.99 58.60.13. 121.14.96. 58.60.14. 58.61.164. 202.108.7.209
Deny from env=bad_bot

这是禁止了所有包含spider字符的爬虫。

如果要针对性的禁止爬虫，改成精确匹配的爬虫字符串，如果bingbot、Googlebot等等

相关文章

热门栏目