robots.txt
Definice
robots.txt je textový soubor v kořenovém adresáři webu, který vyhledávacím robotům (crawlerům) říká, které části webu smějí procházet a které nikoliv. Pro AI éru je klíčové správně nastavit přístup pro AI crawlery jako GPTBot, Google-Extended, PerplexityBot nebo ClaudeBot.
Výklad
Soubor robots.txt funguje na bázi direktiv User-agent (pro kterého robota) a Allow/Disallow (co smí/nesmí). Moderní AI boti respektují tento standard a pokud je nezakážete, začnou váš web procházet. Pozor: řada WordPress hostingů má v default konfiguraci blokované AI crawlery, takže se o vašem webu AI modely nemají jak dozvědět. Kromě klasických pravidel lze v robots.txt uvést odkaz na sitemap.xml pomocí direktivy Sitemap:.
Příklad z praxe
Pro povolení všech hlavních AI crawlerů stačí v robots.txt mít „User-agent: GPTBot\nAllow: /” a analogicky pro další roboty.