現在、ネットワーク上には多くのクローラーがあり、Webサイトにトラフィックをもたらすのに役立つものもありますが、ロボットに準拠していない一部のクローラーはサーバーに大きな影響を与えるため、この記事では、これらの役に立たないユーザーエージェントがWebサイトにアクセスすることを禁止する方法を紹介します。
必要に応じて、次のコードスニペットをnginx構成ファイルディレクトリのdeny_agented.confファイルに保存し、ファイルが存在しない場合は新しいファイルを作成できます。
'''ジャワ if ($httpuseragent ~* (Scrapy| カール| HttpClient)) { 403を返します。 }
## 指定された UA と UA が空のアクセスを無効にする: '''ジャワ if ($http_user_agent ~ "FeedDemon| ジケスパイダー| インディライブラリ| アレクサツールバー| AskTbFXTV| アーレフスボット| クロールパパ| クールパッドウェブキット| ジャワ| フィードリー| ユニバーサルフィードパーサー| アパッチベンチ| マイクロソフト URL コントロール| スイフトボット| ZmEu|oBot|jaunty| Python-urllib|lightDeckReports Bot| YYスパイダー| デグエクスト| イソウスパイダー| HttpClient| MJ12bot|ヘリトリックス| イーソウスパイダー| Ezooms|^$" ) { 403を返します。 }
'''ジャワ
if ($request_method !~ ^(GET| ヘッド| 投稿)$) { 403を返します。 }
----- 保存後、Webサイトの関連する構成の「場所/ {」の後に次のコードを挿入します。
deny_agented.conf を含める。
保存後、次のコマンドを実行してnginxをスムーズに再起動します。 '''ジャワ [root@SaltyLeo~]# nginx -t nginx: 設定ファイル /etc/nginx/nginx.conf 構文は問題ありません nginx: 設定ファイル /etc/nginx/nginx.conf テストが成功しました [root@SaltyLeo~]# nginx -s リロード
一部のWebクローラーのUAのリストは次のとおりです。
> フィードデーモンコンテンツの取り込み > BOT/0.1 (JCE 用 BOT) SQL インジェクション > クロールパパSQLインジェクション > Java コンテンツの取り込み > Julloコンテンツコレクション > フィードコンテンツキャプチャ > ユニバーサルフィードパーサーのコンテンツキャプチャ > アパッチベンチCC攻撃者 > スウィフトボットは役に立たないクローラーです > YandexBotは役に立たないクローラーです > AhrefsBotは役に立たないクローラーです > YisouSpiderは役に立たないクローラーです > ジケスパイダー役に立たないクローラー > MJ12botは役に立たないクローラーです > ZmEu phpmyadmin 脆弱性スキャン > WinHttp インジェスト cc 攻撃 > イーソウスパイダー役に立たないクローラー > HttpClient tcp 攻撃 > マイクロソフト URL コントロール スキャン > YYSpider役に立たないクローラー > ジャウンティワードプレスブラストスキャナー >oBotは役に立たないクローラーです > Python-urllib コンテンツキャプチャ >インディライブラリスキャン > フライトデッキレポートボットは役に立たないクローラーです > Lingueeボットは役に立たないクローラーです
Ubuntu を Mac のように見せる
ワークフロー ガジェットの使用方法と、それを使用して DHT11 センサー データを表示する方法を簡単に紹介します。
Raspberry Pi は Python を介して DHT11 温度および湿度センサー データを取得します
init.d を使用して、起動時に Homebridge を自動的に開始するようにします
advchange を使用してシステム フォントを変更します, これは非常に簡単で便利です. 変更後、ログアウトし、再度ログインして効果を確認します.
目次
人気タグ
その他の言語
サイト情報