Fișierul robots.txt vă permite să oferiți instrucțiuni crawlerelor motoarelor de căutare și altor roboți automatizați cu privire la părțile site-ului dvs. web care ar trebui sau nu ar trebui indexate.
Este unul dintre cele mai utilizate fișiere pentru optimizarea de bază pentru motoarele de căutare (SEO) și gestionarea indexării site-ului web.
Cuprins
Ce este fișierul robots.txt?
Fișierul robots.txt conține reguli destinate exclusiv programelor de indexare web.
Spre deosebire de .htaccess, fișierul robots.txt:
- Nu afectează modul în care vizitatorii accesează site-ul dvs.
- Nu oferă protecție de securitate.
- Nu blochează accesul la fișiere sau directoare.
- Oferă doar îndrumări crawlerelor care aleg să respecte regulile sale.
Important
Fișierul robots.txt se bazează pe respectarea regulilor de către crawlerele de indexare. Deși motoarele de căutare majore, precum Google și Bing, respectă regulile acestuia, roboții rău intenționați le pot ignora complet.
Sintaxă de bază
Permiteți unui bot să indexeze un director
User-agent: BotName
Allow: /directory/
Împiedicați un bot să indexeze un director
User-agent: BotName
Disallow: /directory/
Specificați un sitemap
Sitemap: https://yourdomain.com/sitemap.xml
Directive comune
Agent de utilizator
Definește la ce crawler se aplică regula.
Exemplu:
User-agent: Googlebot
Caracter wildcard
Aplică regula tuturor crawlerelor:
User-agent: *
Disallow
Împiedică indexarea unei căi specifice:
Disallow: /private/
Allow
Permite în mod explicit indexarea unei căi:
Permite: /images/
Sitemap
Furnizează locația sitemap-ului dvs. XML:
Sitemap: https://yourdomain.com/sitemap.xml
Unde ar trebui să se afle fișierul robots.txt?
Fișierul trebuie plasat în directorul rădăcină al site-ului dvs.
În mod implicit, locația este:
public_html/robots.txt
Exemplu de structură a directorilor:
public_html
├── robots.txt
├── index.php
├── wp-content
└── wp-admin
Odată încărcat, fișierul ar trebui să fie accesibil la:
https://yourdomain.com/robots.txt
Fișierul robots.txt recomandat pentru WordPress
O configurație frecvent utilizată pentru site-urile WordPress este:
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /refer/
Sitemap: https://yourdomain.com/post-sitemap.xml
Sitemap: https://yourdomain.com/page-sitemap.xml
Înlocuiți:
yourdomain.com
cu numele dvs. de domeniu real.
De ce să includeți un sitemap?
Un sitemap ajută motoarele de căutare să descopere și să indexeze conținutul dvs. mai eficient.
Sitemap-urile tipice pentru WordPress includ:
Postări
https://yourdomain.com/post-sitemap.xml
Pagini
https://yourdomain.com/page-sitemap.xml
Multe pluginuri SEO le generează automat.
Printre opțiunile populare se numără:
- Yoast SEO
- Rank Math
- All in One SEO
Testarea fișierului robots.txt
După crearea fișierului:
- Încărcați-l în directorul rădăcină al site-ului web.
- Accesați:
https://yourdomain.com/robots.txt
- Verificați dacă conținutul fișierului este afișat corect.
De asemenea, puteți testa fișierul folosind instrumentele pentru webmasteri ale motoarelor de căutare, pentru a vă asigura că regulile sunt interpretate așa cum este de așteptat.
Limitări importante
Fișierul robots.txt:
- Nu protejează conținutul sensibil.
- Nu împiedică accesul direct la fișiere.
- Nu oprește crawlerele rău intenționate.
- Nu ar trebui utilizat ca mecanism de securitate.
Pentru conținut cu adevărat privat, utilizați:
- Protecție cu parolă.
- Autentificare.
- Restricții de acces prin
.htaccess. - Permisiuni la nivel de aplicație.
Rezumat
Fișierul robots.txt vă permite să controlați modul în care motoarele de căutare și alte programe de indexare interacționează cu site-ul dvs.
Pentru a-l utiliza:
- Creați un fișier cu numele:
robots.txt
- Plasați-l în:
public_html
- Adăugați reguli folosind:
User-agentPermitețiInterzicețiSitemap
- Verificați dacă este accesibil la:
https://yourdomain.com/robots.txt
Un fișier robots.txt configurat corespunzător poate contribui la îmbunătățirea eficienței indexării și poate oferi motoarelor de căutare instrucțiuni mai clare cu privire la părțile site-ului dvs. web care ar trebui indexate.