Soubor robots.txt slouží ke kontrole toho, které části vašeho webu mohou procházet roboti vyhledávačů. Správně nastavený robots.txt může pomoci optimalizovat web pro vyhledávače a zvýšit jeho zabezpečení.
V tomto článku si ukážeme, jak jednoduše upravit nebo vytvořit soubor robots.txt na WordPress webu dvěma metodami: ručně pomocí FTP a pomocí pluginu.
Co je to soubor robots.txt?
Soubor robots.txt se nachází v kořenovém adresáři vašeho webu (stejně jako například soubor wp-config.php). Tento soubor určuje, jaké stránky nebo složky smějí či nesmějí vyhledávací roboti (např. Googlebot nebo Seznambot) procházet.
Pokud na svém webu soubor robots.txt nemáte, vyhledávací roboti mohou procházet celý obsah bez jakýchkoli omezení.
Jak zkontrolovat existenci robots.txt?
Jednoduše napište za adresu svého webu /robots.txt, například:
https://www.wplama.cz/robots.txtPokud soubor existuje, zobrazí se vám jeho obsah přímo v prohlížeči.
Jak vypadá výchozí robots.txt WordPressu?
WordPress automaticky vytváří výchozí robots.txt, který obvykle vypadá takto:
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Metoda 1: Ruční úprava robots.txt pomocí FTP
Pokud máte základní technické znalosti, nejjednodušší je upravit soubor přímo přes FTP klienta:
- Přihlaste se pomocí FTP klienta (například FileZilla) do kořenového adresáře vašeho webu.
- Stáhněte soubor
robots.txtdo počítače. Pokud neexistuje, vytvořte nový textový soubor a pojmenujte horobots.txt. - Otevřete soubor v libovolném textovém editoru (například Notepad++, VS Code nebo Poznámkový blok).
- Proveďte požadované úpravy a soubor uložte.
- Nahrajte upravený soubor zpět na FTP.
Metoda 2: Úprava robots.txt přímo v administraci WordPressu (pomocí pluginu)
Pokud nechcete pracovat s FTP, můžete použít jednoduchý plugin pro správu robots.txt:
- V administraci WordPress přejděte na Pluginy → Instalace pluginů.
- Vyhledejte a nainstalujte plugin WP Robots Txt a aktivujte jej.
- Poté přejděte do Nastavení → Zobrazování, kde najdete sekci „Robots.txt“.
- Zde můžete přímo editovat obsah souboru robots.txt. Po provedených úpravách změny nezapomeňte uložit.
Na co si dát pozor při úpravě robots.txt
- Chybná konfigurace může vést k tomu, že vyhledávače nebudou schopné správně indexovat váš obsah, což negativně ovlivní SEO a pozice ve vyhledávání.
- Nikdy nezakazujte indexaci celého webu, pokud to není váš záměr.
- Pokud si nejste jisti úpravami, raději využijte plugin a uložte si původní verzi souboru robots.txt.
Tip: Ověření správnosti nastavení
Pro kontrolu správnosti konfigurace robots.txt můžete použít bezplatné nástroje jako Google Search Console → Nástroje a přehledy → Testování souboru robots.txt. Snadno tak zjistíte, zda váš soubor neblokuje důležité stránky.
Shrnutí
Správně nastavený soubor robots.txt pomáhá vašemu webu správně komunikovat s vyhledávacími roboty a chrání citlivé části webu. Vyberte metodu, která vám nejvíce vyhovuje, a nebojte se otestovat svá nastavení pomocí dostupných nástrojů.
Dobrý deň, vemi pekne prosím, ak mám web v takom tvare
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
je to takto správne? je to pre vyhladávače a SEO pre mna dobré. Zatial tomu velmi nerozumiem. Ďakujem
Ano, takto to je OK.
Zdravím,
v rootu webu není žádný soubor robots.txt umístěn, nicméně pokud napíšu název souboru do prohlížeče za doménu, objeví se:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Kde bych měl v tomto případě daný soubor hledat?
Zdravím,
WordPress tento soubor generuje, nikde se nenachází. Můžete si jej buď ručně vytvořit nebo použít plugin, který jej umí editovat.
Dobry den,
po instalacii stranky som v administracii zakazal indexovanie. Teraz som to v admin. odskrtol do povodneho stavu, ale google search console mi pri kontrole adresy vyhodi ze je blokovane indexovanie suborom robots.txt.
ked skontrolujem subor robots.txt. na mojej stranke tak tam je v tomto tvare co som sa docital ze je spravne.
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
pouzivam cachovanie, ale cache som vymazal.
Neviete kde moze byt problem, preco stale webmastrtools eviduje blokovanie suborom robots.txt.
Prosim vas o radu.
Dakujem Vam
Noro
Zdravím,
zkuste upravit na:
User-agent: *
Allow: /
Dobry den, dakujem vam, vyskusal som to a stale je indexovanie blokovane. V adresari som nemal subor robots.txt, vytvoril som ho aj v takom tvare ako ste napisal a nic. Skusal som to aj cez plugin ale marne.
Nemoze mat suvis s tym daky plugin ktory som instaloval vtedy ked bolo idexovanie vypnute v administracii. Napriklad monsterinsights ked som prepajal analitics?
Zdravím,
možné to je. Nicméně třeba Monsterinsight bych z toho neobviňoval. V jiném vyhledávači váš web najdete? Máte nainstalovaný nějaký SEO plugin? Ten to také může ovlivňovat.