Как заблокировть ботов

[admin]

Как же задобавили боты, которые обучаются на наших сайтах а по факту тупо ложат сервера.

18.222.4.44 - - [17/May/2024:17:10:16 +0300] "GET /robots.txt HTTP/1.1" 200 0 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)"

Блокируем!

В /etc/nginx/nginx.conf

в секцию http { (перед include /etc/nginx/conf.d/*.conf;) добавляем:

Код Выделить Развернуть

map $http_user_agent $blocked_bots {
  default 0;
  "~Claude-Web" 1;
  "~ClaudeBot" 1;
  "~SemrushBot" 1;
}

Создаем файл /etc/nginx/vhosts-includes/claudebot.conf в котором укажем

Код Выделить Развернуть

if ( $blocked_bots = 1 ) { return 444; }
проверим конфигурацию nginx и перезагрузим его если с конфигурацией ОК

Код Выделить Развернуть

nginx -t
service nginx restart