Блокируется чекер CMS(сайт некорректно обработан)

[kontakt 26]

Подскажите, сталкивался ли кто с такой проблемой, что чекер cms блокируется средствами windows?

Как это происходит при запуске прогона идет чек, сначала примерно 5% базы линки чекаются, а потом остальное 95% улетает в "другие ошибки" -  "сайт некорректно обработан".

В прошлый раз, когда была такая проблема, мы с разработчиком на другом сервере добавили программу в исключения в фаерволе, далее  отключили Smartscreen и это проблему решило, но почему-то сейчас на другом сервере, где стоит windows 10 pro не получается решить проблему таким образом, поотключал уже все что можно, делал это и через стандартные средства, через групповую политику, а также через реестр, но результата нет. Другого какого-то защитника или АП не сервере нет.

Сервер менять не вариант, он мощный и во всем меня устраивает, уже год примерно у меня, проблема вот только с xneo, с Хрумером, Зенкой, Ксевилом, А-парсером и другим софтом проблем нет.

Изменено 12 ноября 2022 пользователем kontakt

[kontakt 26]

Может быть кто-то поможет и поделится файлом C:\Users\ВАШ_ЮЗЕР\AppData\Roaming\XNEOLINKS\data\current trust sites.txt ?

Нужно запустить прогон по паблик последней базе июньской и скинуть мне этот результат, у меня получается всего 67 строк....

Вся работа встала из-за этой проблемы...

Изменено 12 ноября 2022 пользователем kontakt

[evol22 89]

Сколько стоит потоков?

[kontakt 26]

32 минуты назад, evol22 сказал:

Сколько стоит потоков?

Да всего 50 потоков при проверке cms, но сервер мощный, можно чуть ли на порядок больше ставить. Пробовал и их уменьшать, но результата также не дало.

При прогоне 20 стоит.

И если просто взять линки из базы и отдельно открыть чекер, то получается такой же результат https://skr.sh/sGshZ4iPnhH?a

Изменено 12 ноября 2022 пользователем kontakt

[evol22 89]

То, что часть сайтов слегла это 100 %, но так много явно не могло. Это локальная проблема.

[exinor 33]

руби защитника через реестр, службы и где только возможно

Сервак можно на виртуалки разрубить, если безопасность смущает

[kontakt 26]

2 часа назад, exinor сказал:

руби защитника через реестр, службы и где только возможно

Сервак можно на виртуалки разрубить, если безопасность смущает

Дело не в этом оказалось, как я думал также, перепробовал реально все, потратил почти 2 дня. Нашел решение сам, в общем после включения функции "Не использовать прокси при анализе cms" все заработало. В итоге в чем было дело, я так и не понял, но понять в чем дело(когда выйдет на связь Администратор) хочется, написал также в саппорт хостеру, он говорит что блокировок никаких нет.

С проксями также проблем нет, я их уже арендую несколько лет и делаю с них активный парсинг через А-парсер+ работаю с ними с Зенкой.

[MaxPan 706]

С проксями также проблем нет, я их уже арендую несколько лет и делаю с них активный парсинг через А-парсер+ работаю с ними с Зенкой.

 

post/get запросы CMS детектора это совсем другое кино, я уверен на 90% что на проксях идет блокировка частых post/get запросов.  Zenno и a-parser работаю потому чтоне делают это.

Post/get  запросы CMS детектора каждого софта а не только Xneolinks очень похожи по сути на ddos атаки.

[kontakt 26]

3 часа назад, MaxPan сказал:

С проксями также проблем нет, я их уже арендую несколько лет и делаю с них активный парсинг через А-парсер+ работаю с ними с Зенкой.

 

post/get запросы CMS детектора это совсем другое кино, я уверен на 90% что на проксях идет блокировка частых post/get запросов.  Zenno и a-parser работаю потому чтоне делают это.

Post/get  запросы CMS детектора каждого софта а не только Xneolinks очень похожи по сути на ddos атаки.

Кстати, вполне может быть и такое.. Если там есть post запросы, с get запросами я постоянно работаю с зенкой, проблем не было, а вот с post запросами почти не работал.

Вспомнил, как-то на одном сервере у меня вообще post запросы не выполнялись.

[MaxPan 706]

все зависит от количества в самом post/get нет ничего плохого, но если это 250 витков? А  Zino делает пусть 20.

на прокси блокировка/ограничение post/get запросов всегда есть чтобы их не использовали для ddos атак.

[Administrator 1 582]

18.11.2022 в 19:44, kontakt сказал:

Кстати, вполне может быть и такое.. Если там есть post запросы, с get запросами я постоянно работаю с зенкой, проблем не было, а вот с post запросами почти не работал.

post запросов в чекере нет, только get. Вероятно у вас есть какие-то ограничение на проксях, учитывая тот факт, что как только вы их отключили - всё заработало. К примеру могут быть ограничения на число запросов в минуту, число потоков и т.д., здесь может подсказать только провайдер прокси.

[kontakt 26]

12 часов назад, Administrator сказал:

post запросов в чекере нет, только get. Вероятно у вас есть какие-то ограничение на проксях, учитывая тот факт, что как только вы их отключили - всё заработало. К примеру могут быть ограничения на число запросов в минуту, число потоков и т.д., здесь может подсказать только провайдер прокси.

К сожалению нет, потому что я работаю и делаю парсинг в промышленных объемах, это очень больше данные, никогда не было проблем с другим софтом, а софтом я также много каким пользуюсь.

[Administrator 1 582]

Если проблема существует, можете написать нам в поддержку, тикет или в телеграм @xneolinks, можем помочь изучить вопрос по тимвиверу или rdp. Кроме проксей да, стоит смотреть в сторону фаервола/антивируса.

[kontakt 26]

17 часов назад, Administrator сказал:

Если проблема существует, можете написать нам в поддержку, тикет или в телеграм @xneolinks, можем помочь изучить вопрос по тимвиверу или rdp. Кроме проксей да, стоит смотреть в сторону фаервола/антивируса.

Писал по этому поводу сразу в ЛС всей администрации на форуме. Тема называется: "Вопрос по работе", у вас пока что стоит статус "Еще не прочитано". Сообщение от 11 ноября.

По поводу фаервола/антивируса я реально отключил все что мог на сервере, сейчас нет никакой вообще защиты, но проблему не решило.

Готов, конечно, показать вам ситуацию по тимке, так как самому ооочень интересно в чем дело.

Изменено 3 декабря 2022 пользователем kontakt

[Administrator 1 582]

@kontakt, присылайте доступ к тимвиверу в ЛС или в телеграм @xneolinks, посмотрим. И конечно заранее подготовьте примеры, где происходит ошибка.