Soubor robots.txt
Soubor robots.txt je textový soubor umístěný v kořenové složce domény (např. www.technologio.eu/robots.txt), který vyhledávacím robotům (Googlebot, SeznamBot) říká, které části webu smějí procházet a kde najdou mapu stránek Sitemap.xml.
Soubor robots.txt je textový soubor umístěný v kořenové složce domény (např. www.technologio.eu/robots.txt), který vyhledávacím robotům (Googlebot, SeznamBot) říká, které části webu smějí procházet a kde najdou mapu stránek Sitemap.xml.
Jak Soubor robots.txt funguje v praxi?
Když vyhledávací robot navštíví váš web, jeho úplně prvním krokem je načtení adresy /robots.txt. Pomocí direktiv User-agent, Allow a Disallow v něm můžete robotům povolit procházení celého veřejného webu a zároveň jim zakázat plýtvat časem v interních složkách (např. Disallow: /api/ nebo /admin/).
Na konci souboru robots.txt se vždy uvádí přesná cesta k hlavnímu indexu sitemapy (Sitemap: https://www.vasedomena.cz/sitemap_index.xml), aby o všech vašich podstránkách věděly i vyhledávače, kde nemáte založený účet.
Proč je Soubor robots.txt důležitý pro váš web a podnikání?
- Navádí vyhledávače přímo k vaší mapě stránek Sitemap.xml a Sitemap_index.xml.
- Šetří kapacitu procházení (Crawl Budget) tím, že roboty nepouští do systémových a API endpointů.
- Chybně nastavený řádek Disallow: / dokáže nechtěně vymazat celý web z výsledků vyhledávání.
Jak by měl vypadat čistý soubor robots.txt pro firemní web?
Standardně obsahuje povolení pro všechny roboty (User-agent: * a Allow: /), zákaz systémových API cest (Disallow: /api/) a odkazy na Sitemap: https://www.vasedomena.cz/sitemap_index.xml.
Technický SEO audit a kontrola robots.txt
Pomůžeme vám toto řešení profesionálně nasadit do praxe na vašem webu nebo e-shopu.
Související pojmy ve slovníku
Zpět na celý Slovník A–ZSitemap.xml a Sitemap Index
Sitemap.xml (mapa stránek) je strukturovaný XML soubor, který obsahuje kompletní seznam všech důležitých URL adres na vašem webu včetně data jejich poslední úpravy a priority pro vyhledávače.
Indexace webu ve vyhledávačích
Indexace webu je proces, při kterém vyhledávací robot (Googlebot, SeznamBot) projde vaše stránky, přečte jejich HTML obsah a uloží je do své databáze (indexu), aby je mohl zobrazovat lidem ve výsledcích vyhledávání.
Google Search Console (GSC)
Google Search Console (GSC) je oficiální bezplatný nástroj od Googlu, který umožňuje majitelům webů sledovat stav indexace stránek, nahrát soubor Sitemap.xml, odhalovat technické chyby a analyzovat, na jaká klíčová slova se web ve vyhledávání zobrazuje.
Domluvit
konzultaci zdarma.
Ozvěte se přímo hlavnímu vývojáři. Zkonzultujeme váš záměr, navrhneme optimální technické řešení nebo vám do 48 hodin zdarma zašleme 5minutový video audit stávajícího webu.
Tip: Čím víc detailů uvedete ve zprávě, tím přesnější nabídku vám můžeme připravit. Odkaz na stávající web nebo reference na konkurenci také pomůže.