...

directiva „disallow”

Cum să utilizați fișierul robots.txt