Slovník pojmů • SEO & Marketing

Soubor robots.txt

Soubor robots.txt je textový soubor umístěný v kořenové složce domény (např. www.technologio.eu/robots.txt), který vyhledávacím robotům (Googlebot, SeznamBot) říká, které části webu smějí procházet a kde najdou mapu stránek Sitemap.xml.

Stručná definice pojmu

Soubor robots.txt je textový soubor umístěný v kořenové složce domény (např. www.technologio.eu/robots.txt), který vyhledávacím robotům (Googlebot, SeznamBot) říká, které části webu smějí procházet a kde najdou mapu stránek Sitemap.xml.

Jak Soubor robots.txt funguje v praxi?

Když vyhledávací robot navštíví váš web, jeho úplně prvním krokem je načtení adresy /robots.txt. Pomocí direktiv User-agent, Allow a Disallow v něm můžete robotům povolit procházení celého veřejného webu a zároveň jim zakázat plýtvat časem v interních složkách (např. Disallow: /api/ nebo /admin/).

Na konci souboru robots.txt se vždy uvádí přesná cesta k hlavnímu indexu sitemapy (Sitemap: https://www.vasedomena.cz/sitemap_index.xml), aby o všech vašich podstránkách věděly i vyhledávače, kde nemáte založený účet.

Proč je Soubor robots.txt důležitý pro váš web a podnikání?

  • Navádí vyhledávače přímo k vaší mapě stránek Sitemap.xml a Sitemap_index.xml.
  • Šetří kapacitu procházení (Crawl Budget) tím, že roboty nepouští do systémových a API endpointů.
  • Chybně nastavený řádek Disallow: / dokáže nechtěně vymazat celý web z výsledků vyhledávání.
Praktický tip z praxe Technologio:Při spuštění nového webu do ostrého provozu vždy jako první zkontrolujte /robots.txt, zda v něm nezůstal zákaz procházení z testovacího (staging) prostředí.
Časté otázky k pojmu Soubor robots.txt

Jak by měl vypadat čistý soubor robots.txt pro firemní web?

Standardně obsahuje povolení pro všechny roboty (User-agent: * a Allow: /), zákaz systémových API cest (Disallow: /api/) a odkazy na Sitemap: https://www.vasedomena.cz/sitemap_index.xml.

Související služba Technologio

Technický SEO audit a kontrola robots.txt

Pomůžeme vám toto řešení profesionálně nasadit do praxe na vašem webu nebo e-shopu.

Domluvit
konzultaci zdarma.

Ozvěte se přímo hlavnímu vývojáři. Zkonzultujeme váš záměr, navrhneme optimální technické řešení nebo vám do 48 hodin zdarma zašleme 5minutový video audit stávajícího webu.

Odpověď do
24 hodin

Tip: Čím víc detailů uvedete ve zprávě, tím přesnější nabídku vám můžeme připravit. Odkaz na stávající web nebo reference na konkurenci také pomůže.

nepovinné

Odesláním souhlasíte se zpracováním osobních údajů pro účely odpovědi na vaši poptávku.