Jump to content

XNEO News and updates

  • entries
    112
  • comments
    207
  • views
    453,658

Contributors to this blog

  • Administrator 111
  • Iskander 1

Обновление Xneolinks v4.3.2.0, v4.3.1.9, v4.3.1.8, v4.3.1.7, v4.3.1.6, v4.3.1.5 и v4.3.1.4

Administrator

2,594 views

Одно из самых крупных обновлений - уже доступно для загрузки! Собственный OCR для графических и текстовых капч, абсолютно новый xneopars, открывающий безграничные возможности в сборе данных и сотни других улучшений направленных на повышение потенциала и качества программы! Ниже мы рассмотрим ключевые изменения по порядку.

 

[v4.3.2.0] Список изменений

  • Исправлено отключение проверки корректности ссылок при старте.
  • Исправлено взаимодействия отключения проверки CMS и опции проверки корректности ссылок.
  • Улучшено отображение очереди выполнения в xneopars, теперь в самом начале списка отображаются задачи, которые работают в данный момент.
  • Восстановлена проверка OCR при запуске выполнения.
  • Добавлена обработка некорректных данных в настройках OCR.

Снимок экрана 2020-02-23 в 2.26.17.png

  • Улучшена проверка корректности ссылок. Теперь в программе отображается подробная информация о каждой ошибке, ранее была информация только о первых 5 неправильных результатов. Это изменение позволит вам быстрее находить и исправлять множественные ошибки в проекте.

 

[v4.3.1.9] Список изменений

  • Изменён путь сохранения отчётов в утилите xneopars.
  • Улучшен алгоритм удаления дубликатов, добавлена обработка некорректных ссылок.
  • Восстановлена проверка наличия активной ссылки в статье, при запуске выполнения.
  • Скорректирована проверка подключения к почте, при запуске перепрогона или запуске нового проекта в очереди.

 

[v4.3.1.8] Список изменений

  • Исправлена проверка корректности ссылок.
  • Изменён анализ проверки подключения к почте при перепрогоне или при запуске нового проекта в очереди.
  • Восстановлена проверка корректности статей, при запуске выполнения.
  • Другие изменения направленные на повышение стабильности.

 

[v4.3.1.7] Список изменений

  • Добавлена поддержка RecaptchaV3 для Rucaptcha, Antigate и программных OCR xevil/capmonster2.
  • Обновлена логика работы с сложными капчами и antigate api.
  • Обновлён алгоритм решения recaptchav2.
  • Исправлена работа с портом отличным от 80, при работе с xevil/capmonster2 API.
  • Обновлена логика работы с прокси в утилите xneopars.
  • Обновлён порядок построения очередей в xneopars, теперь отображаются только уже запущенные и выполненные задачи.
  • Востановлено наследование настроек в xneopars, при первичном запуске.
  • Исправлена проверка баланса OCR в xneopars.
  • Улучшена обработка доступности почты на стадии запуска перепрогона или при старте нового проекта из списка очереди.
  • Исправлено создание базы данных для утилиты "Менеджер профайлов", при первичном запуске выполнения.
  • Улучшена проверка корректности ссылок.
  • Другие более мелкие улучшения и исправления.

 

[v4.3.1.6] Список изменений

  • Улучшен алгоритм работы с вопросами и ответами. Повышена точность.
  • Обновлена серверная база вопросов и ответов (Уже добавлена поддержка 500 новых ответов). С выходом версии 4.3.1.4 мы можем обновлять базу вопросов и ответов, без выпуска дополнительных обновлений для xneolinks.
  • Исправлена работа кнопки "проверка" в настройках статей.
  • При использование textcaptchasolver, теперь ответы автоматически сохраняются в утилите "Менеджер вопросов и ответов".
  • Исправлена работа макроса >findfields=true.
  • Улучшена логика работы макроса %findname;text%.
  • Исправления в логике работы с PHP-NUKE CMS.
  • Улучшена логика работы с MYBB CMS.
  • Улучшена логика работы с vBulletin CMS.
  • Улучшена логика работы с IPB2 и IPB3 CMS, добавлена поддержка новых видов капч, секретных вопросов. Добавлена поддержка новых языковых фраз, для более точного определения стадии выполнения.
  • Скорректированы настройки OCR в утилите Xneopars.
  • Восстановлена возможность размножения запросов в Xneopars.
  • Добавлена возможность редактировать иконку у уже добавленного макроса в Xneopars.
  • Повышена стабильность работы программы.

[v4.3.1.5] Список изменений

  • Исправлена работа коротких ссылок (улучшен пробив).
  • Небольшие изменения в работе с встроенным OCR и макросами в xneopars.
  • Добавлена новая поисковая система alltheinternet, на базе макросов.
  • Добавлена поддержка встроенного OCR в xneopars.
  • Скорректирована работа Capmonster2 и Xevil в xneopars.

 

[v4.3.1.4] Список изменений
[Beta] Собственный OCR для распознавания графических и текстовых капч

Снимок экрана 2020-01-27 в 7.37.39.png  Снимок экрана 2020-01-27 в 7.29.19.png   Снимок экрана 2020-01-27 в 7.29.50.png   Снимок экрана 2020-01-27 в 7.31.17.png   Снимок экрана 2020-01-27 в 7.32.45.png

 Снимок экрана 2020-01-27 в 7.33.10.png   Снимок экрана 2020-01-27 в 7.33.32.png   Снимок экрана 2020-01-27 в 7.34.42.png

 Снимок экрана 2020-01-27 в 7.35.04.png   Снимок экрана 2020-01-27 в 7.35.26.png   Снимок экрана 2020-01-27 в 7.36.15.png   Снимок экрана 2020-01-27 в 7.36.23.png

Мы сделали это! Теперь вы можете работать полностью в автономном режиме, и бесплатно распознавать графические капчи для большинства CMS поддерживаемых в программе абсолютно бесплатно! Вы сможете экономить до 70% средств на платных сервисах OCR. 

Больше тысячи поддерживаемых видов капч, с высокой точностью распознавания.

xneo settings ocr.png

Для включения встроенного OCR вам необходимо включить соответствующую опцию и настроить нужное колличество попыток выделяемых на данный OCR. 

За всё время развития Xneolinks больше всего нас просили добавить автоматическое распознавание графических капч. 

Мы провели действительно большую работу, и не ограничились графическими капчами, но и добавили поддержку нескольких десятков тысяч текстовых капч, секретных вопросов с использованием новых алгоритмов, для автоматического решения. Это в значительной степени повысит пробиваемость cms. Новая база секретных вопросов больше не хранится в программе, и теперь мы можем обновлять её без выпуска новой версии программы. Некоторые вопросы имеющие динамические данные будут решаться автоматически с использованием наших серверных алгоритмов.

 

Абсолютно новый Xneopars
- безграничный потенциал -

xneopars.png

В рамках версии 4.3.1.4 мы полностью переписали утилиту Xneopars, заложив фундамент для будущего развития. Новая версия открывает поистине потрясающие возможности в расширение продукта, теперь вы сможете конструировать не только собственные решения для автоматизации с сайтами на уникальных CMS, но и создавать, делиться собственными парсерами.

  • Собирайте собственные списки сайтов откуда угодно!
  • Находите статьи по нужным ключевым словам и публикуйте на своём сайте!
  • Проводите маркетинговые иследования.
  • Анализируйте конкурентов, собирая о них данные.

Наша система макросов даст вам возможность применять программу в тех областях, о которых вы ранее не задумывались!

Мы не хотим ограничивать вас только нашими решениями, которые предоставляются из коробки. Наша цель сделать что-то большее, что будет приносить поистине потрясающие результаты для вас!

В обновлённом Xneopars вас ждёт:

  • 54 автоматизации с поисковыми системами с закрытым исходным кодом. 
  • 2 автоматизации с открытым исходным кодом на базе макросов.
  • Добавлены новые поисковые системы на базе макросов: Mojeek, Startpage.
  • Удалены следующие поисковые системы, в связи с их не работоспособностью: anzwers, arianna.libero.it, cluuz.com, goliat.hu, buscar.hispavista.com, icerocket.com, metaeureka, search.motherpipe, omgili, peeplo, hotelsinsaintpetersburg, redz, sobotong, tjohoo, topseven, trovator, websearch, earch.kapook, millionshort
  • Обновлена и актуализирована логика работы для многих уже добавленных поисковых систем.

Добавлены новые макросы, позволяющие взаимодействовать с утилитой xneopars

  • Добавлена поддержка макроса, %scrape-data1-by-data2;data3%, где 
data1 - название атрибута, который мы парсим,
data2 - атрибут, который ищем,
data3 - значение атрибута, по которому мы собираем данные.

К примеру у нас есть ссылка:

<a href="http://testsite.com/" class="url">anchor</a>

Мы можем найти все значения HREF у ссылок, у которых значение class = url, с помощью макроса:

%scrape-href-by-class;url%

В результате вы получите:

http://testsite.com/
  • Добавлена поддержка макроса %scrape-all-href%, позволяет собрать все ссылки со страницы.
  • Добавлена поддержка макроса %scrape-all-href-by;data1%, где data1 небольшой фрагмент ссылки, по которому осуществляется сбор похожих ссылок.
  • Добавлена поддержка макроса %find-by-regexp;data1%. Для поиска внутри тела страницы, по регулярному выражению. Где data1 соответственно - регулярное выражение.
  • Добавлена поддержка макроса %loop_start=100%%endloop% на любом этапе выполнения. Пример:
%loop_start=5%
>variable1=%variable1%\r\n%scrape-all-href%
>click-button=load_new_page
%endloop%
  • Данный пример демонстрирует возможность собрать все ссылки с 5 последующих страниц, открывающихся при клике по кнопке c атрибутом "load_new_page".
  • Добавлена поддержка макроса %request%, для ввода текущего, поискового запроса из xneopars.
  • Добавлена поддержка макроса >savedate, для сохранения собранных результатов, при работе в xneopars.
  • Добавлен макрос >savetofile, позволяющий сохранять информацию в файл, пример использования:
>savetofile=[C:\xneolinks\test.txt][%variable1%]

Первый параметр - путь, куда сохранять информацию. Второй параметр, что именно сохраняем, в данном примере это %variable1%.
  • Добавлена поддержка макроса %loadfile[C:\xneolinks\test.txt]%, возвращает информацию из файла. Дополнительно можно указать параметры %loadfile[C:\xneolinks\test.txt;random]% или цифровое значение, если указан параметр "random", будет возвращена случайная строка из файла. При указание числового значения, вернётся строка с нужным номером. Нумерация начинается с 0.
  • Добавлена поддержка макроса %page%. Макрос служит для вывода номера следующей страницы и может быть полезен в навигации по страницам.
  • Исправлена работа макросов %reanswer%, %br%

Мы планируем рассказать больше деталей о том, как создавать свои макросы для xneopars в специальном разделе на форуме, где будут опубликованы статьи с пошаговыми инструкциями и рекомендациями. Сейчас вы можете использовать, как образец 2 автоматизации с открытым исходным кодом, а так же документацию по макросам, которая была обновлена.


Изменения в логике работы с CMS

  • Исправлено подтверждение регистрации в php-nuke CMS.
  • Добавлена поддержка новых языковы фраз, на стадии регистрации, в DLE CMS.
  • Улучшена логика работы в 4images CMS. Добавлена поддержка новых локализаций.
  • Добавлена возможность указвыать удалённый путь к загружаемым макросам.


Повышение стабильности

Одним из главных приоритетов года - максимальная стабильность. И каждое обновление мы придерживались чёткого плана, проводя бесчисленные часы за тестированием и совершенствованием алгоритмов, чтобы вы могли попивать вкусный кофе, когда за вас беспрекословно трудиться Xneolinks 24/7. Мы постарались отыскать самые редкие проблемы, не заметные для большинства, но и внимательно рассмотрели каждый ваш запрос в службе поддержки. 

Ключевые изменения:

  • Улучшено качество проеверки CMS, исправлены ошибки. Улучшена обработка доменов с очень длинными названиями.
  • Исправлены редкие проблемы, которые могли приводить к аварийной остановке программы на стадии выполнения.
  • Улучшено сохранение настроек проекта.
  • Улучшена обработка нерабочих прокси.
  • Исправлена загрузка настроек из проектов, о режимах проерки CMS.
  • Оптимизирована проверка подключения к почте.
  • Теперь в случае, если отсутствует подключение к почте, на стадии запуска нового проекта или перепрогона, выполнение будет поставлено на паузу.
  • Исправлена работа опции "отключить проверку корректности ссылок" в проекте.
  • Улучшен алгоритм вставки данных в поля, добавлена поддержка больших объёмов данных.
  • Улучшен и в значительной степени ускорен алгоритм проверки корретконтси ссылок. Если ранее на проверку большого объёма данных могло уходить несколько минут, то сейчас тот же объём проверяется за десять секунд.
  • Улучшен алгоритм перезапуска браузера.

 

Кастомизация HTML отчёта

xneo repport new.png

В премиум версии добавлена возможность изменять дизайн HTML отчёта, теперь вы можете использовать личный бренд или собственную разметку. В качестве примера мы выложили несколько новых дизайнов на закрытом форуме, а так же подробную инструкцию.


Обновлён личный кабинет

Эти нововведения скорее не затрагивают функционал Xneolinks, но были сделаны в рамках версии 4.3.1.4 и мы обязаны рассказать о них.

client area.png

Теперь вам не нужно ждать ручной модерации по сбросу активации, вы можете самостоятельно перенести вашу лицензию на другой компьютер. В месяц вам доступно по 2 сброса активации.

Автоматическое продление лицензии, ранее зачисление абонентской платы происходило в течение 24 часов, теперь ваша лицензия активируется автоматически! Если вы ранее длительное время не использовали программу, при возобновление подписки, ваша активация автоматически будет сброшена и вы можете без лишних усилий устанавливать программу на другом компьютере.


Другие изменения

  • Добавлена поддержка SOCKS4 proxy. Поддерживаются только прокси без авторизации.
  • Добавлена поддержка новых javascript защит, на стадии проверки cms.
  • Улучшено преобразвоание ссылок в утилите "Конструктор ссылок".
  • Визуальные улучшения в интерфейсе Xneolinks и утилитах.
  • Улучшено массовое удаление проектов из очереди в утилите "Менеджер проектов".
  • Улучшен алгоритм вычитания ссылок в утилите "Менеджер ссылок".
  • Скорректирован алгоритм подсчёта времени выполнения прогона, добавлен учёт некоторых особенностей windows.
  • Улучшено формирование отчётов.
  • Исправлена генереация временного отчёта, в случае, если в настройках включено его создание раз в 60 минут.
  • Улучшен алгоритм работы с GINDEX.
  • Добавлена обработка корректности проекта, при добавление в очередь, с использованием стандартной версии Xneolinks.
  • Улучшено отключение звука для Xneobrowser.
  • Добавлена возможность экспортировать отчёты с неуспешными распознаваниями в OCR, в утилите "Менеджер логов".
  • Улучшен поиск в утилите  "Менеджер логов".
  • Обновлён xneoupdate, добавлена поддежка https, улучшен алгоритм загрузки обновления.
  • Другие мелкие изменения и улучшения.


5 Comments


Recommended Comments

Запрос был прерван, не удалось создать защищенный канал SSL/TLS

 

Запрос был прерван, не удалось создать защищенный канал SSL/TLS

 
  •  

https://prnt.sc/qu29kg 

 

Программа не обновляется!

 

Share this comment


Link to comment

Спасибо. Вот потрудились, так потрудились )))

Большое спасибо за такую обнову!

Будем тестить )))

Извиняюсь, и сразу несколько вопросов.

1. Если я включу использовать встроенный OCR , после того как он не разгадает, он же отправит на сервисы капчу?

2. Я также, могу собирать свои вопрос ответ в менеджер вопросов?

 

Share this comment


Link to comment

@creckwell, всё верно, если за выбранное количество попыток выполнение по прежнему неуспешно, OCR будет изменён на следующий по приоритетности. Встроенный OCR имеет самую низкую приоритетность.

Да, вы так же можете собирать свои вопросы ответы в менеджер профайлов, никаких ограничений с нашей стороны нет. Приоритет всегда будет на стороне вашей локальной базы данных, если в ней не найден ответ, программа будет обращаться к внешним базам данных.

Share this comment


Link to comment
×
×
  • Create New...