Как же задобавили боты, которые обучаются на наших сайтах а по факту тупо ложат сервера.
18.222.4.44 - - [17/May/2024:17:10:16 +0300] "GET /robots.txt HTTP/1.1" 200 0 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)"
Блокируем!
В /etc/nginx/nginx.conf
в секцию http { (перед include /etc/nginx/conf.d/*.conf;) добавляем:
map $http_user_agent $blocked_bots {
default 0;
"~Claude-Web" 1;
"~ClaudeBot" 1;
"~SemrushBot" 1;
}
Создаем файл /etc/nginx/vhosts-includes/claudebot.conf в котором укажем
if ( $blocked_bots = 1 ) { return 444; }
проверим конфигурацию nginx и перезагрузим его если с конфигурацией ОК
nginx -t
service nginx restart