Обсуждение 4.2.1

[Starlei 74]

Что не так? Вот мне побоку какие то там недоработки... Суть я гоню купленную базу битриксов, покупаю. жду новую версию, она выходит, начинаю гонять, прогоняю 20 кило урл, трачу на капчу 600р и выцепляю при этом 50 пробитых ресурсов - печаль... ну да ладно, подождем новую версию. Выходит новая версия, загоняем в неё 6 кило ресурсов, спокойно уезжаем работать, приезжаем - 1 пробитый... аааа. А тут и новая версия -  ок, загоняем те же самые 6000 урл и с 300 пройденных получаем 9 пробитых - это как понимать вообще, какое должно сложиться мнение, локальные проблемы?

Ребят я не против проб и ошибок, я против голословных убеждений что все работает четко и отрицания недоработок. Заявите прямо - критическая ошибка - юзаем предидущую версию.

А так потрачено 1500 на капчу и профита 0.0

[seodonor 66]

Настал тест 423 версии. Напомню. База из 93 сайтов. И пробив по версиям такой:

Ниже версия и количество успешных из 93 сайтов.

419 - 91 успешных

420 - 10 успешных

421 - 9 успешных

422 - 48 успешных

423 - 76 успешных

Как видно улучшения уже есть, но пока до 419 версии пробив не дошел, т.е. не сравнялся. Все данные для анализа отправил в личку.

Также сегодня сравнил скорость 2 версий. 419 и 423. Везде все было одинаково. 13 потоков. База была 250 сайтов.

419 версия - 243 из 250

423 версия - 203 из 250

Пробив подкачал. 419 версия пока побеждает.

Теперь что касается скорости.

419 версия - 93 минуты

423 версия - 63 минуты

 

Однозначный победитель по скорости - 423 версия. Стоит еще отметить, что 13 потоков для 423 версии недостаточно, т.е. можно еще увеличить в 2 раза, т.к. нагрузка на процессор при прогоне была в районе 25%-35%.

Общие выводы: пробив лучше на версии 419.  А вот, что касается скорости, то 423 версия отработала на 33% быстрее, чем 419 версия.

[seodonor 66]

Выше писал, что скорость увеличилась. И нагрузка снизилась на 423 версии.

Поэтому я поставил 26 потоков. И начал тестирование.

Пробив по какой-то причине увеличился.

423 версия - 235 из 250

Т.е. практически сравнялся пробив с 419 версией. Причина при которой на меньшем количестве потоков вышло меньше - не выяснена. Поэтому последний результат и будем считать верным.

Что касается скорости.

13 потоков - 63 минуты

26 потоков - 40 минут

Ускорение не в 2 раза, но оно есть.

А теперь сравним 419 и 423 версии на максимально возможных настройках (т.е. максимально возможная нагрузка на ЦП без потери качества).

419 версия (13 потоков) - 93 минуты

423 версия (26 потоков) - 40 минут

И теперь ускорение 423 версии быстрее 419 версии на 67%. А это большое ускорение.

Вывод: если до конца допилить пробив и сделать его таким же как на 419 версии, то новая версия софта будет просто БОМБА!

[Administrator 1 582]

В 30.12.2016 at 4:32 AM, Starlei сказал:

Ребят я не против проб и ошибок, я против голословных убеждений что все работает четко и отрицания недоработок. Заявите прямо - критическая ошибка - юзаем предидущую версию.

Нет никаких критических ошибок.

Версия 4.2.3 закрыла последние жалобы и они так же не являлись критическими и затрагивали логику только на определённых cms, общая логика работала исправно.

Если что-то не работает, создайте тикет в поддержке, приложив 1-5 примеров, разберём вместе с вами.

По вопросам пробива исключительно: http://xneolinks.com/forums/support/

23 часа назад, goliafz сказал:

Однозначный победитель по скорости - 423 версия. Стоит еще отметить, что 13 потоков для 423 версии недостаточно, т.е. можно еще увеличить в 2 раза, т.к. нагрузка на процессор при прогоне была в районе 25%-35%.

Прирост в скорости ощущается на больших базах, от тысячи. Всё что небольшое, в рамках 100-200 ресурсов- не даст многократного прироста, это действительно так, мы про это писали в списке изменений к версии. 

20 часа назад, goliafz сказал:

Пробив по какой-то причине увеличился.

Есть моменты, которые не зависят ни от вас, ни от нас. Ответ от сервера, т.е. в момент выполнения сервер может лежать или долго отвечать, может не прийти письмо активации в силу загруженности, а через 10 минут при повторной попытке уже прийдёт. И это самые базовые примеры, почему такое может произойти. Прежде всего нужно изучать лог неуспешных и смотреть информацию по ошибке, чаще всего она раскрывает проблему. Так же можно дополнительно запустить перепрогон по неуспешным, что так же может поспособствовать росту.

Конкретно по вашим примерам, сейчас ничего не отличается.

 

Напоминаем, у кого есть проблемы с пробивом, создайте тикет: http://xneolinks.com/forums/support/ будем помогать и разбираться в вашей ситуации.

По всем другим вопросам, моментам - пишите здесь.

[fusion77 18]

За последнюю неделю активно пользовался Xneolinks и хотел бы высказаться по поводу последней на данный момент версии 4.2.4. Скорость прогона стала немного выше, особенно это заметно при прогоне по большим базам, состоящих из нескольких сотен и тысяч ресурсов. Однако следующие проблемы, которые повторяются от версии к версии, сохранились и в этой:

- Xneobrowser зависает и перезапускается по несколько раз (обычно за раз прогоняю по 500 сайтам)
- Программа может просто остановиться и на протяжении длительного времени ничего не делать (приходится нажимать паузу и возобновлять прогон)
- Появляются различные ошибки (см. скрины)
- Прогресс бар неверно отображает информацию (появилась в новой версии, подробнее см. скрин)

Общие впечатления: радует, что программа хотя бы работает и размещает ссылки. А с браузером в Xneolinks конечно беда полная.

P.S. Разработчикам: никаких локальных проблем у меня нет. Никакого желания распространять негатив на форуме также нет. Я привёл лишь факты ошибок, которые надеюсь вам по силам устранить. Очень хочется юзать качественный продукт, который бы работал как следует и не тратил время на регулярные зависания и долговременный перезапуск браузера по несколько раз.

[evol22 89]

Попробуйте во время прогона не "нагружать" компьютер и уменьшить число потоков.

Как по мне, все эти ошибки (на скринах которые) это из-за нагрузки. Кроме 415 из  408, тут другое дело.

[fusion77 18]

1 час назад, evol22 сказал:

Попробуйте во время прогона не "нагружать" компьютер и уменьшить число потоков.

Как по мне, все эти ошибки (на скринах которые) это из-за нагрузки. Кроме 415 из  408, тут другое дело.

Использую 15 потоков, при этом процессор бывает редко грузится максимум на 80%, оперативка забивается также на 70-80%.

[Starlei 74]

Я так же раз в месяц полностью чищу программу - включая папки с проектами и папки браузера. Потом просто качаю заново и запускаю скачивая при этом все вспомогательные файлы. Помогает от частых зависаний и мелких ошибок...

[Nonsys 101]

5 часов назад, fusion77 сказал:

- Xneobrowser зависает и перезапускается по несколько раз (обычно за раз прогоняю по 500 сайтам)

Перезапуск браузера, происходит в основном по двум причинам:
1. В базе попадаются сайты, на которых идёт большая утечка в JavaScript. Желательно такие сайты находить и заносить в черный список
2. В критический момент, нагрузка 100%

 

5 часов назад, fusion77 сказал:

Появляются различные ошибки (см. скрины)

Транспортное соединение. - проблема с проксями или с вашим интернетом. 

[Administrator 1 582]

7 часов назад, fusion77 сказал:

- Xneobrowser зависает и перезапускается по несколько раз (обычно за раз прогоняю по 500 сайтам)

Первая ситуация. Xneobrowser не может зависать. Но может упасть - это факт, единственный способ это исключить, с нуля писать свой браузер. Сейчас мы используем решение на базе старого браузера, но оно, тем не менее, весьма стабильное и что бы постоянно крашился, нужно соблюдать определённые условия, что весьма тяжело достичь. В вашей базе должны быть ресурсы с кривым javascript кодом, которые постоянно приводят к таким ситуациям, данные ресурсы (или ресурс) не попадут в список успешных и будут с ошибкой "не удалось выполнить", при этом замечу, что не все с этой ошибкой будут плохими, нужно запускать отдельно по этому списку в 1-2 потока и смотреть, какой именно сайт приводит к данной ошибки, затем заносить его в Чёрный список. Таких ресурсов крайне мало.

Вторая ситуация, по которой такое возможно, вы запускаете слишком много потоков и ваш компьютер не успевает обработать данные. В этом случае браузер может зависнуть и не совершать никаких действий до плановой перезагрузки. Так же браузер может упасть (крашнутся), в связи с нехваткой ресурсов. 

Вам важно определить, что именно приводит к зависанию или крашу и исключить этот момент. Если это нехватка ресурсов - сменить железо на более мощное или уменьшить число потоков. Если железо мощное, проверить нагрузку другим программным обеспечением и проверить на наличие вирусов. Если это ресурсы, которые приводят к крашам - найти и исключить их из списка.

Все моменты упираются исключительно в ваше желание решить данную ситуацию. Мы можем только подсказать, что именно может привести к подобному.

7 часов назад, fusion77 сказал:

- Программа может просто остановиться и на протяжении длительного времени ничего не делать (приходится нажимать паузу и возобновлять прогон)

Это указывает на отсутствие свободных ресурсов. Кроме того, программа не может зависнуть. Внутренние алгоритмы не дадут этому произойти. Сколько времени вы ждали? Раз в 10-15 минут происходит проверка и если браузер не совершает никаких действий он будет перезапущен. Ситуации описываемой вами, что приходится делать что-то в ручную - возникнуть не может, да же теоретически. 

Дополнительно, как вы определили предмет зависания? Долгое время не менялись данные? Может в момент были ресурсы, которые выполнялись дольше? Есть те, которые требуют несколько минут на поиск размещение, а ещё есть те, которые медленно отвечают и увеличивают время выполнения и это нужно учитывать. Если ждать 5 минут и не видеть изменений в прогресс баре и на основе этих данных решить, что программа зависла - это плохое решение.

Дополнительно есть функция перезапуска по времени, она осуществляет ваши действия автоматически, останавливая выполнение, дожидаясь, пока будут завершены потоки и затем закрытие и перезапуск браузера. Но эта функция сделана для прогонов не по 500 ресурсам, а для затяжённых, на десятки часов, с целью высвобождать лишние ресурсы и исключать из списка ресурсы, которые зависли (по причине плохого javascript кода)

7 часов назад, fusion77 сказал:

- Появляются различные ошибки (см. скрины)

По поводу некорректных значений в прогресс баре, о ситуации знаем. Будет визуальное улучшение.

Этот момент исключительно графический и никак не влияет на выполнение. Данные некорректные, т.к. во время второго этапа выполняются ресурсы, предназначенные для выполнения на третьем этапе и есть одна ситуация, на двух или трёх cms, которые лишний раз увеличивают значение.

Все другие ошибки - это исключительно локальные проблемы, например "Сбой операции чтения, см. внутренее исключение.", возможно что-то блокирует работу программы, например антивирус или фаервол, либо это следствие ошибки: "Не удаётся прочитать данные из транспортного соединение". Ошибка про транспортное соединение - это проблемы с подключением к почте, вы можете из текста ошибки понять характер проблемы, не вижу смысла дублировать.

7 часов назад, fusion77 сказал:

Прогресс бар неверно отображает информацию (появилась в новой версии, подробнее см. скрин)

Будет исправлено. На выполнение это никак не отражается. Это исключительно визуальный момент.

7 часов назад, fusion77 сказал:

P.S. Разработчикам: никаких локальных проблем у меня нет.

А на стороне почтового сервера, проблемы явно могут быть, учитывая частоту ошибки с транстпортным соединением.

7 часов назад, fusion77 сказал:

Я привёл лишь факты ошибок, которые надеюсь вам по силам устранить

Объективно, есть одна проблема с счётчиком, да мы её устраним.

Браузер - выше озвучены возможные ситуации, здесь исправить ситуацию по силам только вам. Новый браузер у нас есть в планах, но это явно не план на ближайшие 2 месяца. А разработка браузера это не на 2-3 месяца. Это очень большой проект, ещё больше, чем Xneolinks.

7 часов назад, fusion77 сказал:

Никакого желания распространять негатив на форуме также нет. . Очень хочется юзать качественный продукт, который бы работал как следует и не тратил время на регулярные зависания и долговременный перезапуск браузера по несколько раз.

Всё автоматизировано. Непонятно, зачем вы тратите время на зависания, когда такие ситуации обрабатывает Xneolinks и единственное, если у вас всегда одна и та же база, смотрите нагрузку, если не хватает ресурсов - уменьшайте потоки, если же всего хватает, смотрите сами запускаемые сайты, уберите "плохие" и забудете про такие ситуации.

3 часа назад, fusion77 сказал:

Использую 15 потоков, при этом процессор бывает редко грузится максимум на 80%, оперативка забивается также на 70-80%.

Нужно следить в динамике. Например, сейчас у вас 80%, попались в списке ресурсоёмкие ресурсы и тут у вас уже постоянная нагрузка в 100%. Нужно смотреть за такими моментами, т.к. некоторые cms (сайты) можно запускать и в 40 потоков, они не будут создавать особой нагрузки, а некоторые - наоборот. Но если вы всё же уверены, что нет стабильной (постоянной 100% нагрузки), разовые скачки, это нормально. То тогда нужно смотреть по логу неуспешных и искать ресурсы из-за которых у вас прерывается выполнение.

----

Надеюсь этот пост поможет решить ваши ситуации, т.к. уверяю вас - всё работает. Вам нужно поэкспериментировать и изучить ситуацию, что именно приводит к этой ситуации, на основе полученных данных вы легко сможете сделать так, что у вас всё будет работать стабильно, 24/7 . Попробуйте в качестве эксперимента уменьшить число потоков, проверить, как всё пройдёт. Если проблема сохранится, это сразу сможет указать на наличие проблемы именно в сайтах. Но судя по описанию, скорее всего в какой-то момент у вас есть пиковые нагрузки и они приводят к таким ситуациям. Но в таких ситуациях вам так же не нужно за всем следить, всё сделает Xneolinks, он обработает такие ситуации. Мы разрабатывали программу с заделом на работу 24/7 и очень тщательно обрабатывали каждый момент, который мог остановить выполнение.