Контентная платформа «Дзен», принадлежащая VK, уведомила о запрете для робота GPTBot от OpenAI на сбор данных с ее страниц.
Эту директиву обнаружил «Коммерсант» в файле robots.txt, предназначенном для автоматического сбора информации с веб-сайтов.
В декабре 2023 года Главный радиочастотный центр, подведомственный Роскомнадзору, предложил провайдерам хостинга заблокировать обращения GPTBot. По информации газеты, GPTBot используется OpenAI для сбора данных, которые затем применяются для создания нейросетевых продуктов. На данный момент они недоступны в России, так как доступ к сайту заблокирован для российских пользователей.
В пресс-службе VK пояснили, что блокировка GPTBot была введена для снижения нагрузки на серверы «Дзена». Рекомендательная система «Дзена» является одной из крупнейших в стране, обслуживая более 150 тысяч запросов в секунду. Представитель компании отметил, что решение не включать GPTBot в файл robots.txt связано с необходимостью «грамотного использования технического ресурса, чтобы не создавать дополнительную нагрузку».
«В «Дзене» постоянно появляются миллионы новых материалов в различных форматах, и мы направляем все усилия на обеспечение качественного опыта для наших пользователей и авторов», — добавили в компании-владельце контент-платформы. Тем не менее «Коммерсант» подчеркнул, что технически ничто не мешает роботам игнорировать указанные в файле robots.txt директивы, поскольку сам файл имеет рекомендательный характер.
