Instrumente SEO

Tester robots.txt

Verificați dacă un URL este permis sau blocat pentru un anumit robot (RFC 9309).

Introduceți adresa site-ului sau a unei pagini — descărcăm robots.txt și verificăm pagina.

robots.txt

URL sau cale

User-agent

Permis

Nicio regulă nu se aplică

Logica urmează RFC 9309: regula cea mai lungă câștigă, Allow câștigă la egalitate, suport pentru * și $.

Sitemap-uri declarate

robots.txt este un fișier text din rădăcina site-ului care spune roboților ce secțiuni pot sau nu pot fi scanate.

Bugetul de crawl este numărul de URL-uri pe care un robot le poate și vrea să le scaneze pe un site într-o perioadă dată.

Descrieți proiectul

Discutăm proiectul dvs.?

Lăsați adresa site-ului și obiectivul — în decurs de o zi lucrătoare primiți primele observații și pașii următori.

Sau scrieți direct