ClaudeBot
Definice
ClaudeBot je crawler společnosti Anthropic, výrobce AI asistenta Claude. Sbírá webová data pro trénování modelů a je řízen klasickým souborem robots.txt.
Výklad
Anthropic dlouho neprovozoval vlastní crawler a spoléhal na veřejné datasety. ClaudeBot byl spuštěn v roce 2024 a postupně se stává významným. Oproti GPTBotu je zatím méně aktivní, ale jeho role roste s rostoucí popularitou Claude. User-agenty Anthropic jsou „ClaudeBot”, „Claude-Web” a „anthropic-ai”. Povolení ClaudeBota má smysl stejně jako u GPTBota – zvyšuje šanci být citován Claude modelem.
Příklad z praxe
Firma, která chce být ve výsledcích Claude, nastaví v robots.txt „User-agent: ClaudeBot\nAllow: /” a zkontroluje, že ji nebloku firewall.