Technické informace
- User-agent string
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; [email protected])- Respektuje robots.txt
- ano
- Publikované IP
- Rozsahy IP
- Oficiální dokumentace
- Odkaz
Podrobný popis
ClaudeBot je hlavní tréninkový crawler společnosti Anthropic. Prochází veřejně přístupné stránky, stahuje jejich obsah a ten se stává součástí datasetů, na kterých se učí budoucí verze modelu Claude. Jde o stejnou kategorii nástrojů jako GPTBot od OpenAI nebo Google-Extended — nesbírá data pro aktuální odpovědi, ale pro výcvik dalších generací modelů.
Crawler se představuje user-agent řetězcem obsahujícím „ClaudeBot“ a odkaz na kontaktní e-mail [email protected]. Respektuje standardní direktivy v robots.txt včetně nestandardního Crawl-delay, kterým můžete omezit frekvenci jeho návštěv. Anthropic také uvádí, že jejich boti respektují anti-circumvention technologie — nebudou obcházet CAPTCHA ani jiné ochrany.
V únoru 2026 Anthropic oficiálně formalizoval, že pro interakci s weby používá tři samostatné boty — ClaudeBot (trénink), Claude-User (uživatelem vyvolané dotazy) a Claude-SearchBot (indexace pro vyhledávání uvnitř Claude). Každý z nich můžete v robots.txt nastavit nezávisle. Při stejné aktualizaci byly ukončeny starší user-agenty anthropic-ai a claude-web — pokud je ještě vidíte v serverových logách, jde buď o zastaralé crawlery, nebo o spoofované požadavky, které se za Anthropic vydávají.
Pro majitele B2B webu je důležité pochopit rozdíl mezi ClaudeBot a Claude-SearchBot: ClaudeBot ovlivňuje, co se Claude naučí v budoucnu (projeví se v nových verzích modelu s odstupem měsíců), zatímco Claude-SearchBot ovlivňuje, jestli vás Claude najde právě teď při vyhledávání uvnitř aplikace.
Co se stane, když bota zablokujete
Pokud v robots.txt zakážete ClaudeBotu přístup, Anthropic vyřadí váš web z tréninkových dat budoucích verzí modelu Claude. Vaše současné umístění v Claude odpovědích to nezmění — aktuální model už byl trénovaný na datech, která byla k dispozici v době jeho výcviku, a ta se zpětně nemažou.
V dlouhodobém horizontu to ale znamená, že nové verze Claude nebudou o vaší firmě, produktech, případových studiích nebo expertíze „vědět“ z tréninku. Budou vás moci najít jen skrze aktivní vyhledávání (Claude-SearchBot) nebo na přímou žádost uživatele (Claude-User) — pokud ty dva boty zároveň nezablokujete.
Blokovat ClaudeBot má smysl primárně u obsahu, který nechcete v tréninkových datech — typicky placený prémiový obsah, citlivé informace nebo materiály chráněné autorskými právy, u kterých řešíte licencování.
Doporučení pro B2B
<p>Pro typickou B2B firmu nebo e-shop převažují výhody povolení. Čím víc kvalitního obsahu o vaší firmě je v tréninkových datech, tím pravděpodobnější je, že vás Claude v budoucích verzích zmíní v odpovědích. Jde o investici s odloženým výsledkem — efekt uvidíte až v další generaci modelu.</p>
Ukázky robots.txt
Povolit bota
User-agent: ClaudeBot
Allow: /Zablokovat bota
User-agent: ClaudeBot
Disallow: /Omezit frekvenci (Crawl-delay)
Částečné blokování
User-agent: ClaudeBot
Disallow: /premium/
Disallow: /members/
Allow: /Historie
Do února 2026 Anthropic používal obecnější user-agenty anthropic-ai a claude-web. Nové boty jsou jejich nástupci, ale některé servery pořád v logách staré UA stringy vidí — buď jde o zastaralé verze crawlerů, nebo o spoofované požadavky, které se za Anthropic vydávají.
Časté dotazy
Musím ClaudeBot povolit, aby mě Claude citoval v odpovědích?
Ne nutně. ClaudeBot ovlivňuje jen to, jestli se Claude o vašem webu „naučí“ při tréninku budoucích verzí. Pro aktuální citace v Claude odpovědích je klíčový Claude-SearchBot (indexace pro vyhledávání uvnitř aplikace) a Claude-User (když se uživatel ptá na konkrétní web). Pokud chcete být v Claude viditelní co nejdřív, ujistěte se, že máte povolené všechny tři — a prioritně Claude-SearchBot.
Jak často ClaudeBot stahuje obsah z mého webu?
Anthropic nezveřejňuje přesnou frekvenci. Z logů produkčních webů se běžně vidí návštěvy v řádu jednotek až desítek požadavků denně u středních webů. Frekvenci můžete snížit nastavením Crawl-delay v robots.txt — Anthropic tuto nestandardní direktivu oficiálně respektuje.
Co je rozdíl mezi ClaudeBot a staršími user-agenty anthropic-ai a claude-web?
anthropic-ai a claude-web byly starší identifikátory, které Anthropic používal do února 2026. V rámci přechodu na tři-bot model byly deprecnuty. Pokud je stále vidíte v serverových lozích, jde buď o neaktualizované verze crawlerů, nebo o cizí boty, kteří se za Anthropic vydávají. Pravidlo pro ClaudeBot v robots.txt na staré user-agenty neplatí — pokud je chcete blokovat, přidejte je jako samostatné záznamy.
Jak si ověřím, že požadavek skutečně přišel od Anthropicu, a ne od podvrženého bota?
Anthropic nepublikuje strojově čitelný JSON s IP adresami (na rozdíl od OpenAI nebo Perplexity). Pro ověření musíte použít reverse DNS: zjistěte hostname přes dig -x
Pokud ClaudeBot nechci pouštět na celý web, ale jen na část, jak to udělám?
V robots.txt použijete pravidlo pro konkrétní sekce. Například pokud chcete ClaudeBot pustit jen na blog a zablokovat mu placenou sekci: User-agent: ClaudeBot Disallow: /premium/ Disallow: /members/ Allow: / Pravidla musíte uvést v pořadí od nejspecifičtějších k obecnějším. Pokud máte web s více subdoménami, robots.txt musíte nastavit na každé z nich zvlášť.
Je váš web dobře nastavený pro AI crawlery?
Nechte si zauditovat robots.txt a další signály.
Auditovat web zdarma