...

directiva „allow”

Cum să utilizați fișierul robots.txt