¿Cómo bloquear bots con el cortafuegos de Cloudflare?

¿Recibe muchas peticiones de crawlers y bots que no aportan valor a su negocio?

Hay miles de rastreadores/bots que visitan su sitio cada día, y muy pocos son útiles. Algunos de ellos se consideran bots malos o spam.

¿Cómo saber qué bots visitan sus sitios web?

No hay una respuesta fácil. Para averiguarlo, necesita revisar su servidor web access.log y busque la columna User-Agent. Digamos que quieres listar todos los bots excepto Googlebot entonces puedes ejecutar el siguiente comando en tu servidor web donde existe el archivo access.log.

grep bot access.log |grep -v Googlebot

¿Le sorprende ver tantos?

Yo también lo estaba cuando comprobé mis registros.

root@gf-prod:nginx# grep bot access.log |grep -v Googlebot | wc -l
616834
root@gf-prod:nginx#

Antes de bloquear nada, es necesario revisarlos para asegurarse de que no está bloqueando, lo que puede ser necesario para su negocio. Y, hay muchas maneras de conseguir esto, pero yo siempre prefiero bloquearlos en el borde. 

La razón es sencilla: ¿por qué dejar que las peticiones lleguen al servidor web cuando no las necesita en absoluto? 

Como el titular, vamos a averiguar cómo bloquear los bots que no necesitas usando el firewall de Cloudflare.

NotaSi dirige una empresa grande o mediana, puede que le interese Gestión de bots de Cloudflare servicio.

• Iniciar sesión en Cloudflare
• Vaya a la pestaña Firewall y luego a reglas de firewall y cree una regla de firewall

• Introduzca el nombre de la regla
• Seleccione Campo como Agente de usuario, Operador como contiene y valor como el nombre del bot que desea bloquear
• Utilice la condición o para añadir varios robots en una única regla

NotaLos bots mencionados en la imagen de arriba son sólo ilustrativos. No es necesario, son bots malos.

• y, a continuación, seleccione la acción como bloque y despliegue
• Si conoce la expresión, también puede escribirla haciendo clic en Editar expresión en lugar de seguir la GUI. Una vez desplegada, debería ver la regla recién creada en la lista, y el estado debería ser ON para ser efectiva.

Fácil, ¿verdad?

¿Qué más se puede hacer con las reglas del cortafuegos?

Mucho más para mayor seguridad. Veamos las siguientes condiciones de bloqueo.

• Si una solicitud procede de un ASN concreto, dirección IP
• Coincidencia de cookies, remitente, palabras clave X-Forwarded-for
• Restringir el servicio de solicitudes a todo el país
• Desactivar no deseados Método HTTP como PUT, DELETE, OPTIONS, PURGE, etc.

Y más opciones...

Todo lo que puede hacer ya sea a través de GUI builder o escribir su expresión. La aplicación de los cambios es casi instantánea.

Conclusión

Las reglas del cortafuegos de Cloudflare son una excelente forma de añadir protección a sus aplicaciones web en el borde de la red sin tiempo de inactividad. Si aún no lo ha hecho, también puede considerar el uso de WAF en la nube para mejorar la seguridad de las aplicaciones y la protección frente a DDoS y otras vulnerabilidades en línea.