Fișierul .htaccess este un fișier de configurare Apache care vă permite să modificați comportamentul serverului pentru fiecare director în parte. Un caz de utilizare frecvent este blocarea roboților și a crawlerelor nedorite care generează trafic inutil, consumă resurse sau încearcă să desfășoare activități rău intenționate.
Înainte de a efectua modificări la fișierul .htaccess, creați întotdeauna o copie de rezervă a fișierului existent.
Cuprins
Blocarea unei adrese IP specifice
Dacă un bot se conectează în mod repetat de la o singură adresă IP, îl puteți bloca direct.
Deny from 111.222.333.444
Înlocuiți 111.222.333.444 cu adresa IP pe care doriți să o blocați.
Blocarea unui interval întreg de adrese IP
Dacă traficul nedorit provine dintr-o rețea specifică, puteți bloca întregul interval.
Deny from 111.222.333.0/24
Acest exemplu blochează toate adresele din subrețeaua specificată.
Blocarea bot-urilor după User-Agent
Mulți boți se identifică prin antetul User-Agent. Puteți bloca un anumit nume de bot folosind:
SetEnvIfNoCase User-Agent "badbot" bad_bot
Order Allow,Deny
Allow from all
Deny from env=bad_bot
În acest exemplu, orice cerere care conține badbot în șirul User-Agent va fi respinsă.
Blocarea mai multor User-Agents nedorite
Puteți bloca mai mulți boți cunoscuți într-o singură regulă:
SetEnvIfNoCase User-Agent "(badbot|evilcrawler|spamcrawler)" bad_bot
Order Allow,Deny
Allow from all
Deny from env=bad_bot
Blocarea anteturilor User-Agent suspecte
Unele instrumente automatizate utilizează șiruri User-Agent identificabile.
Exemplu:
SetEnvIfNoCase User-Agent ".*(libwww-perl|aesop_com_spiderman)" HTTP_SAFE_BADBOT
Deny from env=HTTP_SAFE_BADBOT
Solicitările care corespund acestor tipare vor fi blocate automat.
Considerații importante
Înainte de a implementa reguli de blocare a boturilor:
- verificați dacă botul este cu adevărat nedorit
- evitați blocarea crawlerelor legitime ale motoarelor de căutare
- testați modificările după ce editați fișierul
.htaccess - monitorizați jurnalele serverului pentru a depista eventualele efecte secundare neintenționate
Regulile incorecte pot bloca vizitatorii legitimi sau pot afecta funcționalitatea site-ului web.
Abordări alternative
În funcție de mediul dvs. de găzduire, gestionarea bot-urilor poate fi efectuată și folosind:
- firewall-uri pentru aplicații web (WAF)
- servicii de securitate CDN
- reguli de firewall la nivel de server
- plugin-uri de securitate pentru platforme CMS
Aceste soluții oferă adesea mai multă flexibilitate și o gestionare mai ușoară decât .htaccess regulile utilizate singure.
Rezumat
Fișierul .htaccess poate fi utilizat pentru a bloca roboții nedoriți pe baza adreselor IP, a intervalelor de adrese IP, a șirurilor User-Agent sau a anteturilor de solicitare suspecte. Regulile configurate corespunzător pot contribui la reducerea traficului nedorit și la îmbunătățirea utilizării resurselor serverului, protejând în același timp site-ul dvs. web împotriva crawlerelor abuzive.