更新爬虫过滤实例

jaywcjlove · jaywcjlove · commit 677a2a1a9c17 · 2018-03-23T20:34:48.000+08:00
diff --git a/README.md b/README.md
@@ -64,6 +64,7 @@ Nginx版本：`1.11.5`
   - [强制将http重定向到https](#强制将http重定向到https)
   - [两个虚拟主机](#两个虚拟主机)
   - [虚拟主机标准配置](#虚拟主机标准配置)
+  - [爬虫过滤](#爬虫过滤)
   - [防盗链](#防盗链)
   - [虚拟目录配置](#虚拟目录配置)
   - [防盗图配置](#防盗图配置)
@@ -1233,6 +1234,22 @@ http {
 }
 ```
 
+### 爬虫过滤
+
+根据 `User-Agent` 过滤请求，通过一个简单的正则表达式，就可以过滤不符合要求的爬虫请求(初级爬虫)。
+
+> `~*` 表示不区分大小写的正则匹配
+
+```nginx
+location / {
+    if ($http_user_agent ~* "python|curl|java|wget|httpclient|okhttp") {
+        return 503;
+    }
+    # 正常处理
+    # ...
+}
+```
+
 ### 防盗链
 
 ```nginx
