Soubor robots.txt slouží k nastavení pravidel pro stahování stránek roboty a nachází se v základní složce webu. U WordPressu jej najdete na stejném místě jako soubor wp-config.php.
Pomocí příkazů obsažených v robotst.txt můžete robotům dovolit nebo zakázat stahování obsahu. Mezi nejznámější roboty (anglicky také: bots, spiders), které navštěvují vaší stránku patří roboti vyhledávačů Seznam (Seznambot) a Google (Googlebot).
Pokud se u vás na webu žádný soubor robots.txt nenachází, pak platí, že roboti mohou stahovat všechen obsah webu bez omezení. Ověřit, že na webu soubor máte je jednoduché, stačí v prohlížeči za doménu napsat “/robots.txt“.
WordPress robots.txt automaticky vytváří, ale již v administraci neumožňuje jeho editaci. V tomto článku si ukážeme, jak u WordPressu upravit soubor robots.txt.
WordPressem automaticky vygenerovaný robots.txt vypadá takto:
User-agent: * Disallow: /wp-admin/ Disallow: /wp-includes/
Metoda 1: bez pluginu
Jak jsme si již řekli, soubor se nachází v základní složce webu. Stačí se tedy pomocí FTP klienta připojit na hosting. Postup úpravy je poté následující:
- Soubor robots.txt stáhněte do počítače.
- Otevřte (například v Poznámkovém bloku).
- Upravte.
- Uložte.
- Znovu nahrajte na web.
Poznámka: Jestliže soubor robots.txt na webu nemáte, jednoduše vytvořte stejnojmenný textový soubor a jen jej na web nahrajte.
Metoda 2: pomocí pluginu
Pro méně zkušenější uživatele je jednodušší upravit soubor robots.txt pomocí pluginu. Do WordPressu si nainstalujte plugin WP Robots Txt a aktivujte jej.
Poté se vám do stránky Nastavení zobrazování webu (Nastavení -> Zobrazování) přidá položka Robots.txt Content.
Nyní můžete soubor robots.txt upravovat v administračním rozhraní WordPressu. Úpravy nezapomeňte uložit.
Buďte opatrní: špatně nastavený robots.txt může negativně ovlivnit i pozici webu ve vyhledávání.
Dobrý deň, vemi pekne prosím, ak mám web v takom tvare
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
je to takto správne? je to pre vyhladávače a SEO pre mna dobré. Zatial tomu velmi nerozumiem. Ďakujem
Ano, takto to je OK.
Zdravím,
v rootu webu není žádný soubor robots.txt umístěn, nicméně pokud napíšu název souboru do prohlížeče za doménu, objeví se:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Kde bych měl v tomto případě daný soubor hledat?
Zdravím,
WordPress tento soubor generuje, nikde se nenachází. Můžete si jej buď ručně vytvořit nebo použít plugin, který jej umí editovat.
Dobry den,
po instalacii stranky som v administracii zakazal indexovanie. Teraz som to v admin. odskrtol do povodneho stavu, ale google search console mi pri kontrole adresy vyhodi ze je blokovane indexovanie suborom robots.txt.
ked skontrolujem subor robots.txt. na mojej stranke tak tam je v tomto tvare co som sa docital ze je spravne.
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
pouzivam cachovanie, ale cache som vymazal.
Neviete kde moze byt problem, preco stale webmastrtools eviduje blokovanie suborom robots.txt.
Prosim vas o radu.
Dakujem Vam
Noro
Zdravím,
zkuste upravit na:
User-agent: *
Allow: /
Dobry den, dakujem vam, vyskusal som to a stale je indexovanie blokovane. V adresari som nemal subor robots.txt, vytvoril som ho aj v takom tvare ako ste napisal a nic. Skusal som to aj cez plugin ale marne.
Nemoze mat suvis s tym daky plugin ktory som instaloval vtedy ked bolo idexovanie vypnute v administracii. Napriklad monsterinsights ked som prepajal analitics?
Zdravím,
možné to je. Nicméně třeba Monsterinsight bych z toho neobviňoval. V jiném vyhledávači váš web najdete? Máte nainstalovaný nějaký SEO plugin? Ten to také může ovlivňovat.