Перейти к публикации

Рекомендованные сообщения

GigXeo

Приветствую!

Подскажите, есть как то вести черный список сайтов при парсинге, чтобы он их не собирал вновь каждый раз?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
Woll

Здравствуйте.

Вы можете в разделе настроек базы включить чёрный список:

BlackList.jpg.c07cae436eb616b774b8e298f2e56e83.jpg

Тогда указанные там ресурсы, при запуске прогона, будут отбрасываться.
Обратите внимание что у чёрного списка есть два режима.
В первом ресурс будет отбрасываться по доменному имени, а во втором при наличии в ссылке определенных слов.

Для того чтобы парсер не сохранял ресурсы подпадающие под настройки чёрного списка, то в настройках парсера нужно включить соответствующую опцию:

BlackListParser.jpg.a8322399eda066cb55ebcc8e10d8649c.jpg

Если для ваших целей этого функционала не хватает, то вы можете внести своё предложение в данном разделе:

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

×
×
  • Создать...