Maintenant, il y a beaucoup de robots d’exploration sur le réseau, certains sont utiles pour apporter du trafic sur le site Web, mais certains robots d’exploration qui ne se conforment pas aux robots causeront un impact énorme sur le trafic sur le serveur, cet article est de présenter comment interdire à ces agents utilisateurs inutiles d’accéder au site Web.

Vous pouvez enregistrer l’extrait de code suivant dans le fichier deny_agented.conf dans le répertoire du fichier de configuration nginx selon vos besoins, et en créer un nouveau si le fichier n’existe pas.

# Désactiver scrapy|curl et d’autres outils d’exploration:

'''java if ($httpuseragent ~* (Scrapy| Curl| HttpClient)) { retour 403; }

## Désactiver l’accès avec UA spécifié et UA vide:
'''java 
if ($http_user_agent ~ « FeedDemon| JikeSpider| Bibliothèque Indy| Barre d’outils Alexa| AskTbFXTV| AhrefsBot| CrawlDaddy| CoolpadWebkit| Java| Nourrir| UniversalFeedParser| ApacheBench| Contrôle d’URL Microsoft| Swiftbot| ZmEu|oBot|jaunty| Python-urllib|lightDeckReports Bot| YYSpider| DigExt| YisouSpider| HttpClient| MJ12bot|heritrix| EasouSpider| Ezooms|^$ » ) 
{ 
retour 403;   
} 

# Interdire les non-GET| TÊTE| Méthode POST de saisie:

'''java

if ($request_method !~ ^(GET| TÊTE| POSTE)$) { retour 403; }

----- 

Après l’enregistrement, insérez le code suivant après 'location / {' dans la configuration appropriée du site Web: 

inclure deny_agented.conf;

Après l’enregistrement, exécutez la commande suivante pour redémarrer nginx en douceur: 
'''JAVA 
[root@SaltyLeo~]# nginx -t 
nginx: la syntaxe du fichier de configuration /etc/nginx/nginx.conf est correcte 
nginx: le test du fichier de configuration /etc/nginx/nginx.conf est réussi 
[root@SaltyLeo~]# Nginx -s Reload  

Voici une liste d’UA pour certains robots d’indexation :

> Ingestion de contenu FeedDemon 
> BOT/0.1 (BOT pour JCE) injection sql 
> Injection SQL CrawlDaddy 
> Ingestion de contenu Java 
> Jullo Content Collection 
> Capture de contenu Feedly 
> UniversalFeedParser capture de contenu 
> Attaquant Apache Bench cc 
> Swiftbot est un crawler inutile 
> YandexBot est un crawler inutile 
> AhrefsBot est un crawler inutile 
> YisouSpider est un crawler inutile 
> jikeSpider robot d’exploration inutile 
> MJ12bot est un crawler inutile 
Analyse de vulnérabilité de > ZmEu phpmyadmin 
> WinHttp ingest cc attack 
> EasouSpider crawler inutile 
> attaque TCP HttpClient 
Analyse > Contrôle d’URL Microsoft 
> YYSpider robot d’exploration inutile 
> Jaunty WordPress Blast Scanner 
> oBot est un crawler inutile 
> Capture de contenu Python-urllib 
> Analyse de la bibliothèque Indy 
> FlightDeckReports Bot est un robot inutile 
> bot Linguee est un crawler inutile