Bloquez toutes ces demandes inutiles que vous voyez dans les journaux
Je suppose que vous avez regardé dans les journaux des visiteurs de votre site Web et que vous en avez assez de ces demandes indésirables. Ils peuvent ne pas être nécessairement mauvais ou spam, mais ils peuvent ne pas ajouter de valeur à l'entreprise. Imaginez si la majorité des hits proviennent de cet utilisateur-agent ou de ces référents indésirables et que vous pensez que votre site génère un bon trafic, mais en réalité, ils sont inutiles.
La meilleure façon de les gérer est de les arrêter à la périphérie comme les périphériques réseau, l'équilibreur de charge, le pare-feu ou CAN. Mais, je comprends que cela peut ne pas être faisable pour un blogueur personnel ou de petits sites Web à utiliser, et vous voudrez peut-être bloquer à un niveau inférieur comme les serveurs Web, WordPress, etc.
J'espère que vous avez déjà une liste de référents et d'agents utilisateurs que vous souhaitez bloquer. Commençons.
En tant que meilleure pratique, effectuez une sauvegarde du fichier de configuration avant de le modifier afin de pouvoir revenir en arrière en cas de problème.
Nginx
Nginx alimente des millions de sites et est très populaire parmi hébergement web. Si vous utilisez Nginx, voici comment vous pouvez les arrêter. Disons que vous recevez beaucoup de requêtes automatisées avec l'agent utilisateur suivant et que vous avez décidé de les bloquer.
- Java
- boucle
- python
if ($http_user_agent ~* "java|curl|python") {
return 403;
}Si vous souhaitez que ceux-ci soient redirigés quelque part, alors:
if ($http_user_agent ~* "java|curl|python") {
return 301 https://yoursite.com;
}La configuration ci-dessus doit être sous le server bloque.
Et ce qui suit pour bloquer par les référents. L'exemple suivant qui devrait passer sous le location bloquer pour bloquer les requêtes de semalt.com, badsite.net, example.com.
if ($http_referer ~ "semalt\.com|badsite\.net|example\.com") {
return 403;
}Après avoir apporté les modifications nécessaires, vous devez enregistrer le fichier et redémarrer Nginx pour prendre les effets.
Pour redémarrer Nginx, vous pouvez utiliser:
service nginx restartNginx est un serveur Web puissant et si vous êtes intéressé par l'apprentissage, consultez ceci Cours en ligne.
Apache HTTP
Pour bloquer l'agent utilisateur dans Apache, vous pouvez utiliser le mod_rewrite module. Assurez-vous que le module est activé, puis ajoutez ce qui suit dans l'un ou l'autre .htaccess fichier ou respectif .conf fichier.
Si vous avez plusieurs sites configurés et que vous souhaitez bloquer pour une URL spécifique, vous pouvez les mettre dans les VirtualHost .
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} badcrawler [NC,OR]
RewriteCond %{HTTP_USER_AGENT} badbot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} badspider [NC]
RewriteRule . - [R=403,L]La règle ci-dessus bloquera toute requête contenant un user-agent en tant que badcrawler, badbot et badspider.
Et, l'exemple ci-dessous pour bloquer par le nom de référence BlowFish, CatchBot, BecomeBot.
RewriteEngine on
RewriteCond %{HTTP_REFERER} blowfish|CatchBot|BecomeBot [NC]
RewriteRule . - [R=403,L]Comme d'habitude, redémarrez le serveur Apache et testez les résultats.
WordPress
Si vous utilisez WordPress sur un hébergement partagé ou que vous n'avez pas accès à la configuration du serveur Web ou que vous n'êtes pas à l'aise pour modifier le fichier, vous pouvez utiliser le plugin WP. Il y a beaucoup de Plugins de sécurité WP, et l'un des plus populaires pour bloquer les mauvais bots est Blackhole pour Bad Moteurs de recherche.
Conclusion
J'espère que les conseils ci-dessus vous aideront à arrêter le mauvais afin que les demandes légitimes ne soient pas affectées. Si vous recherchez une protection de sécurité complète, vous pouvez également envisager d'utiliser un WAF basé sur le cloud comme Astra or SUCURI.
