Проблема с потоками

[kontakt 26]

Доброго времени суток!

Замечаю следующее, что при 50 потоков для чека CMS, софт грузит все 8 ядер процессора под 100%.

Сервер следующего конфига: e3-1270 v5, ОЗУ 16 ГБ, ssd 120 Гб, он у меня уже где-то около 2 лет в аренде, весь софт для работы стоит там, ранее не наблюдалось проблем на подобных софтах: Хрумер, А-парсер, Зеннопостер и многих других менее известных.

Также замечаю, что при самом уже прогоне потоки падают или зависают, это видно по скорости прогона и даже по нагрузке на сервер(ее почти нет).

Сталкивался кто-нибудь с подобной проблемой?

Забыл еще добавить следующее: сам сервер настроен на максимальную производительность, это указано в электропитании и в настройках системы стоит макс. производительность.

ОС: windows server 2016 standart

[Administrator 1 582]

2 часа назад, kontakt сказал:

Также замечаю, что при самом уже прогоне потоки падают или зависают, это видно по скорости прогона и даже по нагрузке на сервер(ее почти нет).

Включите перезапуск программы по времени, установив к примеру раз в 40-50 минут. Это значительно улучшит быстродействие.

Потоки действительно могут "тупить", но - это редкие ситуации и возникают они из-за сайтов  и единственный способ корректно устранить это - перезапуск браузера. 

Это редкие случаи, и возникают из-за сайтов с очень кривым javascript, к слову, положить можно любой браузер, вбейте в гугл "crash chrome website".

Мы давно уже хотим с 0 переписать браузер, где было бы больше возможностей по контролю потоков, но на текущем этапе мы работаем над другими задачами, которые по своей полезности, намного ценней, с точки зрения результативности. Во главе угла - результаты ?.

2 часа назад, kontakt сказал:

Замечаю следующее, что при 50 потоков для чека CMS, софт грузит все 8 ядер процессора под 100%.

Мы уже отвечали вам, что это не нормальное поведение и подобного не должно быть. Если у вас это происходит всегда, стоит разобраться в ситуации, создайте тикет в поддержку https://xneolinks.com/forums/support/, в списке (обязательно) выберите технический отдел. Распишите о проблеме подробней, приложив список запускаемых сайтов. Подробно изучим и поможем в решение.

[kontakt 26]

2 часа назад, Administrator сказал:

Включите перезапуск программы по времени, установив к примеру раз в 40-50 минут. Это значительно улучшит быстродействие.

Потоки действительно могут "тупить", но - это редкие ситуации и возникают они из-за сайтов  и единственный способ корректно устранить это - перезапуск браузера. 

Это редкие случаи, и возникают из-за сайтов с очень кривым javascript, к слову, положить можно любой браузер, вбейте в гугл "crash chrome website".

Мы давно уже хотим с 0 переписать браузер, где было бы больше возможностей по контролю потоков, но на текущем этапе мы работаем над другими задачами, которые по своей полезности, намного ценней, с точки зрения результативности. Во главе угла - результаты ?.

Мы уже отвечали вам, что это не нормальное поведение и подобного не должно быть. Если у вас это происходит всегда, стоит разобраться в ситуации, создайте тикет в поддержку https://xneolinks.com/forums/support/, в списке (обязательно) выберите технический отдел. Распишите о проблеме подробней, приложив список запускаемых сайтов. Подробно изучим и поможем в решение.

Спасибо! Обратился с ТП, подробно все описал. Хочу сделать тесты на своем ноутбуке, у которого попугаев намного больше, чем даже на рабочем сервере, но столкнулся с проблемой лицензии, проверьте, пожалуйста, почту.

[Pazak124 208]

забейте чекер в xneo то еще говно... юзайте rank cms A parser  чекером от xneo пользоватся не рекомендую 

[kontakt 26]

Только что, Drondo1241 сказал:

забейте чекер в xneo то еще говно... юзайте rank cms A parser  чекером от xneo пользоватся не рекомендую 

Да я и так использую для чека cms А-парсер, но ведь в начале работы xneolinks все равно чекает cms, это если только выбирать cms вручную и отключать чекер в xneolinks.

Наверное, так и стоит делать. Просто сейчас проверил на своем мощном ноуте, который по попугаям почти в 2 раза больше, чем мой рабочий сервер, там такая же проблема.

Отписал все подробно в тикет ТП.

[Pazak124 208]

Как вариант нормального чекера Cms Анализатор баз Xrumer и быстрее и чище....

14 часов назад, kontakt сказал:

Да я и так использую для чека cms А-парсер, но ведь в начале работы xneolinks все равно чекает cms, это если только выбирать cms вручную и отключать чекер в xneolinks.

Наверное, так и стоит делать. Просто сейчас проверил на своем мощном ноуте, который по попугаям почти в 2 раза больше, чем мой рабочий сервер, там такая же проблема.

Отписал все подробно в тикет ТП.

бесполезно данная трабла была не раз описана и администрация в курсе сробытий ... только как всегда у нас ... всем ДВАЖДЫ Н*Х*Й ТРИЖДЫ ПОХ*Й

14 часов назад, Drondo1241 сказал:

Как вариант нормального чекера Cms Анализатор баз Xrumer и быстрее и чище....

бесполезно данная трабла была не раз описана и администрация в курсе сробытий ... только как всегда у нас ... всем ДВАЖДЫ Н*Х*Й ТРИЖДЫ ПОХ*Й

ДЛЯ БОЛЬШИХ БАЗ ЧЕКАЮ А ПАРСЕРОМ ДЛЯ НЕБОЛЬШИХ ХРУМЕР АНАЛИЗАТОР БАЗ

14 часов назад, Drondo1241 сказал:

Как вариант нормального чекера Cms Анализатор баз Xrumer и быстрее и чище....

бесполезно данная трабла была не раз описана и администрация в курсе сробытий ... только как всегда у нас ... всем ДВАЖДЫ НАХУЙ ТРИЖДЫ ПОХУЙ

ДЛЯ БОЛЬШИХ БАЗ ЧЕКАЮ А ПАРСЕРОМ ДЛЯ НЕБОЛЬШИХ ХРУМЕР АНАЛИЗАТОР БАЗ

Чекер в хнео нихера не оптимизирован  по потокам хоть 5 хоть 105 он ресурсы сожрет в любом варианте а вот по скорости отличий не будет ... 

14 часов назад, kontakt сказал:

Отписал все подробно в тикет ТП.

ню ню мне  поэтому поводу отморозили что потоки мол меняйте до ЧЕКА а не вовремя или после типа я вообще в голову клюнутый и со справкой и комп вижу второй раз в жизни

[Administrator 1 582]

18.12.2020 в 12:53, kontakt сказал:

Да я и так использую для чека cms А-парсер, но ведь в начале работы xneolinks все равно чекает cms, это если только выбирать cms вручную и отключать чекер в xneolinks.

Наверное, так и стоит делать. Просто сейчас проверил на своем мощном ноуте, который по попугаям почти в 2 раза больше, чем мой рабочий сервер, там такая же проблема.

Проблема о которой вы пишите, к сожалению не воспроизводится на тестовых машинах, вероятно есть какие-то нюансы, детали, о которых мы не знаем. К примеру если вы используете очень большой пулл прокси, может это как-то связано, т.к. к примеру текущий тест выполнялся с 30 ip. На машинах характеристики немного слабее, результаты такие:

Везде равносильные результаты, без каких-либо отклонений. Выполнение происходило в 50 потоков.

Т.е. дело здесь точно не в запускаемых сайтах, нужно искать причину глубже. Не факт, что в программе есть проблема. И ситуацию стоит рассматривать подробнее, это легко могут быть какие-то особенности системы.

18.12.2020 в 12:53, Drondo1241 сказал:

Как вариант нормального чекера Cms Анализатор баз Xrumer и быстрее и чище....

Приведите примеры, что сторонний анализатор способен определять поддерживаемы cms в xneo точнее. Иначе подобные заявления выглядят как минимум странно.

По нашим данным не один из существующих чекеров cms, на текущий момент, не проверяет лучше, чем наш чекер.

Предлагаю вам доказать обратное, если вы сделаете это, покажите ценные сравнения (не 1-2 сайта, на которых и так нельзя будет в ручную оставить ссылку), а какие-то более показательные данные в точности определения (ещё раз с акцентируем внимание, не в скорости, а именно в точности и корректности, или как  вы выразились - "чище"), мы - подарим год бесплатной абонентской платы. И конечно займёмся исправлением. Опять же, если вы сможете привести действительно ценные сравнения, в чём очень большие сомнения, т.к. мы можем легко привести обратные, контр примеры и сравнительные тесты, с доказательной базой по качеству определения, где разительное преимущество будет за нашим чекером.

18.12.2020 в 12:53, Drondo1241 сказал:

бесполезно данная трабла была не раз описана и администрация в курсе сробытий ... только как всегда у нас ... всем ДВАЖДЫ Н*Х*Й ТРИЖДЫ П*Х*Й

Когда вы именно так озвучиваете свои проблемы - к сожалению мы бессильны помочь.

И по поводу мата, - пожалуйста, спокойнее.

18.12.2020 в 12:53, Drondo1241 сказал:

ню ню мне  поэтому поводу отморозили что потоки мол меняйте до ЧЕКА а не вовремя или после типа я вообще в голову клюнутый и со справкой и комп вижу второй раз в жизни

В чекере CMS действительно нельзя менять потоки на ходу. Только до запуска.

Повторюсь, когда вы так излагаете мысли, не даёте никаких подробностей о вашей проблеме, мы опираемся исключительно на предположения и стараемся помочь отталкиваясь от них. Если вы считаете, что мы отморозились, извините, но когда нет конкретики, проблема не воспроизводится, как мы можем помочь в этой ситуации? Здесь идеальное решение, брать тимвивер и смотреть, что у вас происходит.

Если вы считаете, что мы пишем всякий бред, отмораживаемся, вы можете смело показать примеры наших ответов под спойлером. Но мы специально подняли всю историю ваших обращений по текущему аккаунту и не видим, где бы вы хоть раз писали в службу поддержки о подобной проблеме.

 

В заключение добавим,

xneolinks на текущий момент оптимизирован для работы с базами на 500к сайтов. Если у вас список больше - разбивайте на несколько частей. Наши тесты на текущий момент ограничиваются таким объёмом данных. Чтобы сделать поддержку куда больших значений, потребуется переписать очень большой объём кода, на текущий момент эта задача отложена, простой пример - гораздо эффективней за это время сделать обновлённый режим для комментариев, чем это время уделить переписыванию кода, отвечающего за данные. С этим согласится большинство. Когда будет возможность, мы естественно расширим поддержку данных. Но на текущий момент, есть определённые ограничения, накладываемые технической реализацией. Мы уже расширяли возможности по работе с данными, как это запрашивали пользователи и остановились на оптимальном значение, т.к. ещё большие значения, требуют ещё более существенных изменений и время-затрат.

[kontakt 26]

2 часа назад, Administrator сказал:

Проблема о которой вы пишите, к сожалению не воспроизводится на тестовых машинах, вероятно есть какие-то нюансы, детали, о которых мы не знаем. К примеру если вы используете очень большой пулл прокси, может это как-то связано, т.к. к примеру текущий тест выполнялся с 30 ip. На машинах характеристики немного слабее, результаты такие:

Очень странно, что так получается... По поводу прокси, я ранее писал, что я их не использую для чека cms вообще, а так всего 800 проксей у меня загружено в программе.

Базы все у меня до 300к сайтов. В ТП предложили еще посмотреть момент нагрузки на моем сервере по тимвиверу, наверное, это сейчас единственный вариант остается...

Еще я ранее писал, что если смотреть по потокам в диспетчере задач для программы xneolinks то по факту там выходит больше потоков, до 220, при этом в настройках в чекере стоит 50, по поводу браузера, там тоже самое, если в настройках стоит 15, то там по факту до 30.

Может быть в этом проблема как-то?

И еще если в момент работы нажимать на паузу, то видно, что потоков больше, чем установлено в программе.

На почте я приводил вам примере, у меня в настройках стоит 15, но если нажимать на паузу или идет перезапуск браузера, то там 19 почему-то всегда.

[Administrator 1 582]

10 минут назад, kontakt сказал:

Еще я ранее писал, что если смотреть по потокам в диспетчере задач для программы xneolinks то по факту там выходит больше потоков, до 220, при этом в настройках в чекере стоит 50, по поводу браузера, там тоже самое, если в настройках стоит 15, то там по факту до 30.

Предлагаю не гадать, согласовать время и посмотреть на ситуацию по тимвиверу. Так будет яснее, т.к. на текущий момент это - предположения. 

К примеру для браузера - это нормальное поведение, там для каждого потока 3-4 процесса.

26 минут назад, kontakt сказал:

На почте я приводил вам примере, у меня в настройках стоит 15, но если нажимать на паузу или идет перезапуск браузера, то там 19 почему-то всегда.

Если ранее вы устанавливали больше потоков для браузера, а затем изменили значение, то количество потоков уменьшится не моментально, а как только отработают уже запущенные. Просто так 19 потоков запуститься не могло, когда в настройках стоит 15. Так не бывает. Убедитесь так же, что вы сохранили настройки, т.к. если вы меняете потоки, когда браузер уже запущен, если не нажать на кнопку сохранения - настройки не вступят в силу.

Так же заметим, что практически все изменения настроек вступают в силу, только после перезапуска браузера. Потоки - исключение и их можно менять, не перезапуская браузер.

30 минут назад, kontakt сказал:

В ТП предложили еще посмотреть момент нагрузки на моем сервере по тимвиверу, наверное, это сейчас единственный вариант остается...

В подобных ситуациях это единственный способ разобраться в ситуации. В будние дни согласуем время и поможем в решение.

[kontakt 26]

3 часа назад, Administrator сказал:

Если ранее вы устанавливали больше потоков для браузера, а затем изменили значение, то количество потоков уменьшится не моментально, а как только отработают уже запущенные. Просто так 19 потоков запуститься не могло, когда в настройках стоит 15. Так не бывает. Убедитесь так же, что вы сохранили настройки, т.к. если вы меняете потоки, когда браузер уже запущен, если не нажать на кнопку сохранения - настройки не вступят в силу.

Так же заметим, что практически все изменения настроек вступают в силу, только после перезапуска браузера. Потоки - исключение и их можно менять, не перезапуская браузер.

Да вот в том то и дело, что я запускаю с нуля программу, потоков стоит 15, но в процессе работы если нажать на паузу, то видно что активных потоков больше: 19-20, сами потоки я не трогаю вообще и программу запускаю с нуля.

[Administrator 1 582]

@kontakt, магия ?. Вы можете загрузить скриншот главной панели настроек (где указываются потоки для браузера и post/get), и фрагмент скриншота (чтобы не попали данные по вашему проекту), где вы смотрите, что потоков больше 19-20.

[Pazak124 208]

7 часов назад, Administrator сказал:

Когда вы именно так озвучиваете свои проблемы - к сожалению мы бессильны помочь.

И по поводу мата, - пожалуйста, спокойнее.

это не мат местные идиоматические выражения)))) типа крок ескусто беншлак мордюк или мордюк ту бишлак)))

8 часов назад, Administrator сказал:

чекере CMS действительно нельзя менять потоки на ходу. Только до запуска.

Повторюсь, когда вы так излагаете мысли, не даёте никаких подробностей о вашей проблеме, мы опираемся исключительно на предположения и стараемся помочь отталкиваясь от них. Если вы считаете, что мы отморозились, извините, но когда нет конкретики, проблема не воспроизводится, как мы можем помочь в этой ситуации? Здесь идеальное решение, брать тимвивер и смотреть, что у вас происходит.

Если вы считаете, что мы пишем всякий бред, отмораживаемся, вы можете смело показать примеры наших ответов под спойлером. Но мы специально подняли всю историю ваших обращений по текущему аккаунту и не видим, где бы вы хоть раз писали в службу поддержки о подобной проблеме.

не хочу спорить и делать себе нервы ... да действительно  я в сапорт с данной проблемой не обращался.... я в принципе в сапорт с никакой проблемой не обращался ... если есть  уж очень сложные траблы с софтом пишу напрямую на почту... по данной проблеме неоднократно писались ветки в форуме и не только я хотя я ветку никогда не создавал  только учавствовал. Для себя нашел альтернативу  чекера в виде  Rank Cms и анализатора баз хрумер ... радуюсь что хоть на прогонах Xneo еще работает а чекер это мелочи. На сим разрешите откланятся 

[kontakt 26]

1 час назад, Administrator сказал:

@kontakt, магия ?. Вы можете загрузить скриншот главной панели настроек (где указываются потоки для браузера и post/get), и фрагмент скриншота (чтобы не попали данные по вашему проекту), где вы смотрите, что потоков больше 19-20.

Извиняюсь, тут реально моя ошибка( Оказывается, в одной из программ я сам поставил 20 потоков и как раз смотрел по ней, а не по другой, где было 15..

Но столкнулся с более серьезной проблемой, в общем когда попадается сайт в блоке каспера и стоит каспер, то получается вот такая ситуация: каспер выдает, что опасная ссылка, далее опасное поведение программы и блокирует работу программы и удаляем сам экзешник xneolinks..

Получается если стоит каспер, то тут только один вариант -  останавливать его?

[Pazak124 208]

12 минут назад, kontakt сказал:

Извиняюсь, тут реально моя ошибка( Оказывается, в одной из программ я сам поставил 20 потоков и как раз смотрел по ней, а не по другой, где было 15..

Но столкнулся с более серьезной проблемой, в общем когда попадается сайт в блоке каспера и стоит каспер, то получается вот такая ситуация: каспер выдает, что опасная ссылка, далее опасное поведение программы и блокирует работу программы и удаляем сам экзешник xneolinks..

Получается если стоит каспер, то тут только один вариант -  останавливать его?

антивир в обязательном варианте выключаем не дружит что каспер что другой антивир с xneo... у меня вообще 10 там антивир не удалишь только выкл на время

[Administrator 1 582]

19 часов назад, kontakt сказал:

Но столкнулся с более серьезной проблемой, в общем когда попадается сайт в блоке каспера и стоит каспер, то получается вот такая ситуация: каспер выдает, что опасная ссылка, далее опасное поведение программы и блокирует работу программы и удаляем сам экзешник xneolinks.

Настроить исключения. Мы со своей стороны всё же рекомендуем оставлять антивирус.

Если это ваша основная система и вы хотите работать без антивируса, установите виртуалку и изолируйте её от основной системы.

Добавим, что встроенный антивирус и фаервол создают куда больше проблем для работы. К примеру в совокупности с xevil на одной машине и включенным встроенным фаерволом и антивирусом - подобное может загрузить систему на 100%, какое бы мощное железо не было. Т.к. начинается проверка создаваемого кэша программами, а там очень большой объём файлов, что в итоге приводит к диким тормозам и максимальной загрузки системы.

Что кстати и может происходить у вас. Но как правило подобное возникало на этапе работы браузера, при проверке cms, мы не встречали таких ситуаций.

20 часов назад, Drondo1241 сказал:

Для себя нашел альтернативу  чекера в виде  Rank Cms и анализатора баз хрумер ... радуюсь что хоть на прогонах Xneo еще работает а чекер это мелочи. На сим разрешите откланятся 

Вот только они будут иметь очень серьёзные погрешности в определение, к примеру той же joomla. Единственное, если у вас очень большие базы, то здесь без обсуждений, нам действительно есть над чем поработать в плане оптимизации обработки больших баз. Но что касается самой проверки, здесь качество должно быть выше у xneolinks.

Если не желаете вы, добавим, что предложение выше актуально для всех пользователей, т.к. если действительно есть чекер cms лучше, чем наш (по качеству определения), и будет сравнительный обзор, мы выполним наше предложение.

[Pazak124 208]

2 часа назад, Administrator сказал:

Настроить исключения. Мы со своей стороны всё же рекомендуем оставлять антивирус.

Если это ваша основная система и вы хотите работать без антивируса, установите виртуалку и изолируйте её от основной системы.

Добавим, что встроенный антивирус и фаервол создают куда больше проблем для работы. К примеру в совокупности с xevil на одной машине и включенным встроенным фаерволом и антивирусом - подобное может загрузить систему на 100%, какое бы мощное железо не было. Т.к. начинается проверка создаваемого кэша программами, а там очень большой объём файлов, что в итоге приводит к диким тормозам и максимальной загрузки системы.

Что кстати и может происходить у вас. Но как правило подобное возникало на этапе работы браузера, при проверке cms, мы не встречали таких ситуаций.

Вот только они будут иметь очень серьёзные погрешности в определение, к примеру той же joomla. Единственное, если у вас очень большие базы, то здесь без обсуждений, нам действительно есть над чем поработать в плане оптимизации обработки больших баз. Но что касается самой проверки, здесь качество должно быть выше у xneolinks.

Если не желаете вы, добавим, что предложение выше актуально для всех пользователей, т.к. если действительно есть чекер cms лучше, чем наш (по качеству определения), и будет сравнительный обзор, мы выполним наше предложение.

погрешность я переживу ... а вот время проверки на признак cms  у 500 000 линков  - 2 часа или неделю ... уже не переживу.

7 минут назад, Drondo1241 сказал:

Что кстати и может происходить у вас. Но как правило подобное возникало на этапе работы браузера, при проверке cms, мы не встречали таких ситуаций.

увы встроенный антивир зло... что для xneo что для  xrumer и xevil ... с этим даже пытаться спорить не буду

[Pazak124 208]

от себя те у которых Win 10 https://habr.com/ru/post/451216/#:~:text=Перейдите по следующему пути%3A Конфигурация,программу „Защитник Windows“».

[Administrator 1 582]

39 минут назад, Drondo1241 сказал:

увы встроенный антивир зло... что для xneo что для  xrumer и xevil ... с этим даже пытаться спорить не буду

Попробуйте отключить все CMS, где проверка делается по внутренним страницам и сравните скорость, в документации есть пример, как выглядят CMS с проверкой по внутренним страницам:

По итогу вы вероятно получите аналогичную скорость.

[Pazak124 208]

ок сегодня попробую тем более работаю с 2 нещасными cms bitrix dle остальные мне нафиг не впали... даже даром

 

[Pazak124 208]

57 минут назад, Administrator сказал:

Попробуйте отключить все CMS, где проверка делается по внутренним страницам и сравните скорость, в документации есть пример, как выглядят CMS с проверкой по внутренним страницам:

По итогу вы вероятно получите аналогичную скорость.

https://prnt.sc/w6gpvq Попробовал существенного прироста скорости не увидел вожможно на других cms где проверка проще чекер и летает  на bitrix увы и ах

8 минут назад, Drondo1241 сказал:

https://prnt.sc/w6gpvq Попробовал существенного прироста скорости не увидел вожможно на других cms где проверка проще чекер и летает  на bitrix увы и ах

в общем разобрался сначала в менеджере cms вырубаешь все cms которые те не нужны  в моём случае остались вкл только bitrix dle потом тоже самое делаешь в чекере cms  сохраняешь  и грузишь файл на чек ... вроде тогда пошустрее работает... вообщем 470 кило закинул интересно за сколько пройдет...

[Pazak124 208]

@Administrator Огромное спасибо за участие и дельные советы. На меня просьба особо не обижаться характер у меня такой зл...бучий ... тяжелое детство деревянные игрушки   ...  бонусом от меня выложу в паблик то что прочекает Xneo c 470 кило парсинга... так сказать за моральный ущерб и местные идиоматические выражения)

Хорошего всем дня и с наступающими.

[kontakt 26]

Работая плотнее с программой все-таки заметил следующее, есть проблема с подвисанием потоков при работе браузера, причем самое интересное другое.

На сервере e3-1270 v5, ОЗУ 16 ГБ, ssd 120 Гб потоки зависают и отваливаются сами, а на ноуте ryzen 3550h, 16 ОЗУ DDR4, ssd 120 ГБ потоки зависают, но не отваливаются при этом даже мышкой нельзя пошевелить, все очень глючит, далее если нажать на паузу, то особо ничего не происходит, чтобы восстановить работу системы тут приходится закрывать программу целиком и включать снова....

Обе системы настроены на максимальную производительность, на ноуте я также отключил каспера, так как он стоял главным по защите системы, сейчас вообще защиты никакой нет. В настройках везде включен перезапуск браузера каждые 30 минут и проверка на зависание браузера каждые 8 минут.

Хочется разобраться почему происходит так. Жду пока саппорт назначит время, чтобы мы вместе посмотрели данную проблему.

Также читал на форумах, что были у многих подобные проблемы, поделитесь, пожалуйста, как вы их решали.

[Pazak124 208]

9 часов назад, kontakt сказал:

Работая плотнее с программой все-таки заметил следующее, есть проблема с подвисанием потоков при работе браузера, причем самое интересное другое.

На сервере e3-1270 v5, ОЗУ 16 ГБ, ssd 120 Гб потоки зависают и отваливаются сами, а на ноуте ryzen 3550h, 16 ОЗУ DDR4, ssd 120 ГБ потоки зависают, но не отваливаются при этом даже мышкой нельзя пошевелить, все очень глючит, далее если нажать на паузу, то особо ничего не происходит, чтобы восстановить работу системы тут приходится закрывать программу целиком и включать снова....

Обе системы настроены на максимальную производительность, на ноуте я также отключил каспера, так как он стоял главным по защите системы, сейчас вообще защиты никакой нет. В настройках везде включен перезапуск браузера каждые 30 минут и проверка на зависание браузера каждые 8 минут.

Хочется разобраться почему происходит так. Жду пока саппорт назначит время, чтобы мы вместе посмотрели данную проблему.

Также читал на форумах, что были у многих подобные проблемы, поделитесь, пожалуйста, как вы их решали.

Совет попробуй отключить при прогоне https://prnt.sc/w7d5om возможно конфликтует с скриптами сайтов в прогоне есть ебанутые мастера такую хрень пхают в скрипты шо  я  ...ухуел...

 

Только что, Drondo1241 сказал:

Совет попробуй отключить при прогоне https://prnt.sc/w7d5om возможно конфликтует с скриптами сайтов в прогоне есть ебанутые мастера такую хрень пхают в скрипты шо  я  ...ухуел...

 

тоже раньше зависоны были жуткие .... сейчас вроде ровнее хоть работать можно

[Administrator 1 582]

13 часов назад, kontakt сказал:

На сервере e3-1270 v5, ОЗУ 16 ГБ, ssd 120 Гб потоки зависают и отваливаются сами, а на ноуте ryzen 3550h, 16 ОЗУ DDR4, ssd 120 ГБ потоки зависают, но не отваливаются при этом даже мышкой нельзя пошевелить, все очень глючит, далее если нажать на паузу, то особо ничего не происходит, чтобы восстановить работу системы тут приходится закрывать программу целиком и включать снова....

Отключите встроенный фаервол и антивирус. Именно они в подавляющем большинстве случаев провоцируют такие лаги, начиная анализировать создаваемый кэш браузером. Особенно это заметно в связке xneo+xevil на одной машине. Так же если в xevil установлено слишком много потоков, это так же в купе c xneo может вызывать лаги.

13 часов назад, kontakt сказал:

Работая плотнее с программой все-таки заметил следующее, есть проблема с подвисанием потоков при работе браузера

Подобное действительно может случаться, мы уже писали не однократно на форуме и в том числе отвечая вам. Самый простой пример, сайт с кривым javascript. Для простоты, на этом языке пишут целые игры и на нём можно делать код так, что это приведёт к бесконечным циклам и начнёт очень сильно загружать систему или приведёт к крашу. Падают да же современные версии браузеров, т.е. это та проблема, которая не решается какими-то простыми манипуляциями. В рамках плановой перезагрузки, подобные потоки будут закрыты. Чтобы исключить перезагрузку и дополнительные время - затраты, нужно полностью переписывать ядро браузера, где закладывать обработку крашей на уровне ядра, что в текущей версии нет. Полностью избавиться от них нельзя, т.к. повторимся, кривой код может положить да же современные версии браузера или вызвать 100% нагрузку вашего процесса только от 1 открытой вкладки. Мы ведь не можем контролировать, что вы запускаете и это было бы неправильно.

Но можем добавить, что такие сайты никогда не попадут в список успешных, и часто они будут отображаться в логе, с ошибкой "Не удалось выполнить", вы можете создать свой блэклист, берите сайты с этой ошибкой, запускайте повторно, если они снова будут неуспешны с такой же ошибкой, стоит добавить в временный черный список.

И опять же добавим, подобных ситуаций не должно быть много, это скорее редкие исключения. Мы пишем открыто, т.к. хотим, чтобы у пользователей было полное понимание, как всё работает и вы могли максимально эффективно использовать инструмент.

4 часа назад, Drondo1241 сказал:

Совет попробуй отключить при прогоне https://prnt.sc/w7d5om возможно конфликтует с скриптами сайтов в прогоне есть ебанутые мастера такую хрень пхают в скрипты шо  я  ...ухуел...

К сожалению очень многие сайты используют JS для защиты или подгрузки различных динамичных данных, отключение отразится на пробиве. Но конечно если сделать 2 проекта, в начале пройтись с отключённым JS, а затем с включённым, здесь уже другое. 

С отключённым JS и CSS - всё будет летать. Но так же это отразиться на качестве выполнения.

Если же отключить картинки, конечно xneo сам умеет подгружать капчи, и это не должно разительно ударить на качестве выполнения, но есть в ситуациях, когда картинка подгружается с помощью JS или хитро прописана в CSS, она не будет подгружена.

14 часов назад, kontakt сказал:

Обе системы настроены на максимальную производительность, на ноуте я также отключил каспера, так как он стоял главным по защите системы, сейчас вообще защиты никакой нет. В настройках везде включен перезапуск браузера каждые 30 минут и проверка на зависание браузера каждые 8 минут.

Лучше установить раз в 55 минут, всё же мёртвые потоки по статистике не такое частое явление (только если очень повезёт с базой, но на практике мы такого не видели, или в случае, если у вас не хватило ресурсов для работы программы, а в случае, когда у вас всё тормозит на компьютере - такое возможно, и здесь уже может быть виноват не плохой JS, а именно не хватка ресурсов, что так же может вызвать краш потока, т.е. состояние, когда у вас всё тормозит - это не нормально, и стоит разобраться в причине, иначе это может отразиться на качестве выполнения, как выше написали, в первую очередь отключите встроенный фаервол и антивирус, если есть xevil на этой машине - уменьшите ему потоков, возможно они забиваются, что так же провоцирует лаги).

Проверьте так же дополнительные настройки для xevil, чтобы они были не ниже данных значений:

Т.к. если не дожидаться ответа решения рекапчи, это будет плодить потоки в xevil, а если там установлен большой лимит, в результате это приведёт к очень сильным тормозам системы.

[Pazak124 208]

В продолжение: с Xevil нужно аккуратно выставить оптимальное соотношение потоков смотреть на загрузку проца оперативы... например у меня Xeon 6 ядер 12 потоков 12 гб оперативы Xevil 5 выставил 70 потоков ... в принципе хватает ... на ряженке можно и больше проц мощный главное чтоб в оперативу не упиралось ... плюс у меня куча софта с Xneo паралельно трудится A parser  но основное потреблен6ие ресурсов Xevil 

14 часов назад, Drondo1241 сказал:

В продолжение: с Xevil нужно аккуратно выставить оптимальное соотношение потоков смотреть на загрузку проца оперативы... например у меня Xeon 6 ядер 12 потоков 12 гб оперативы Xevil 5 выставил 70 потоков ... в принципе хватает ... на ряженке можно и больше проц мощный главное чтоб в оперативу не упиралось ... плюс у меня куча софта с Xneo паралельно трудится A parser  но основное потреблен6ие ресурсов Xevil 

Если потребление оперативы выше 90% повод задуматся и уменьшить количество потоков в Xevil

14 часов назад, Drondo1241 сказал:

В продолжение: с Xevil нужно аккуратно выставить оптимальное соотношение потоков смотреть на загрузку проца оперативы... например у меня Xeon 6 ядер 12 потоков 12 гб оперативы Xevil 5 выставил 70 потоков ... в принципе хватает ... на ряженке можно и больше проц мощный главное чтоб в оперативу не упиралось ... плюс у меня куча софта с Xneo паралельно трудится A parser  но основное потреблен6ие ресурсов Xevil 

Если потребление оперативы выше 90% повод задуматся и уменьшить количество потоков в Xevil

К примеру если оператива загружена на 90% Xevil5 зависает и отваливается напрочь

[Pazak124 208]

15 минут назад, Drondo1241 сказал:

В продолжение: с Xevil нужно аккуратно выставить оптимальное соотношение потоков смотреть на загрузку проца оперативы... например у меня Xeon 6 ядер 12 потоков 12 гб оперативы Xevil 5 выставил 70 потоков ... в принципе хватает ... на ряженке можно и больше проц мощный главное чтоб в оперативу не упиралось ... плюс у меня куча софта с Xneo паралельно трудится A parser  но основное потреблен6ие ресурсов Xevil 

Если потребление оперативы выше 90% повод задуматся и уменьшить количество потоков в Xevil

К примеру если оператива загружена на 90% Xevil5 зависает и отваливается напрочь

т.е основная трабла в прожорливом Xevil сам по себе Xneo не особо прожорлив  с отключеным A parserom запускал и 100 и 150 потоков нормально работает ... 

По поводу Антивируса в Win 10 эту падлу отключить не смог  постоянно выключаю в ручном режиме... пока решения не нашел