Изменения Xneolinks. Планы.

[Aquamarin 8]

А как с телеграмом работать нужно будет? Будет какой-то отдельный бот или нужно будет что-то создавать?

[Administrator 1 582]

3 часа назад, Aquamarin сказал:

А как с телеграмом работать нужно будет? Будет какой-то отдельный бот или нужно будет что-то создавать?

Нужно будет создать бота, получить ключ и указать его в программе. Сделать это крайне легко, мы предварительно напишем инструкцию, сопроводив скриншотами.

[Administrator 1 582]

Изменений в программе настолько много, что мы уже не можем отделить их и сделать промежуточную версию, не затратив на это несколько дней.

Мы приняли решение, уже доделать текущий релиз, пусть да же с задержками по ориентировочным срокам.

 

 

Чем занимаемся сейчас?

• Добавляем новые автоматизации, улучшаем существующие (параллельно).
• Ведём отладку программы, обрабатываем исключения и не стандартные ситуации.
• Улучшаем вывод информации о статусе выполнения на разных этапах в телеграме.

Что по срокам?

• Сдвинулись, но не огорчайтесь, осталось - очень мало. Во всю уже идёт бета-тестирование, это финальный этап.
• Огромная вероятность, что релиз будет под конец этой недели.

Почему релиз затянулся?

• Масштабные работы по оптимизации программы, очень многое делалось с нуля. Зачем это всё? Для повышения качества, и удобства в будущем. Нам будет легче расширять функционал программы, а значит, сможем быстрее выпускать обновления.
• Новый функционал, который изначально не предусматривался, и внедрить его можно было, только переписав многие участки программы.

Не читали список изменений версии 4.2.8.8? Ссылка на обзор изменений:

 

 

* Я замечу, что все сроки, которые мы указываем - являются ориентировочными. Единственный способ назвать точные сроки, это иметь на руках уже готовую версию и намеренно откладывать её релиз. В остальных случаях, всегда могут возникнуть дополнительные сложности, которые затребуют время на решение. Данная тема служит исключительно для информирования вас, что работа идёт, а так же для получение обратной связи.

[Administrator 1 582]

До выхода обновления остались считанные дни. Бета-тест завершили. Сейчас заканчиваем подготовку списка изменений, переводим, упаковываем программу (нужно объединить все изменения для финальной версии) и выпускаем, это может занять пару дней.

Кто очень ждёт, прошу набраться терпения, уверен, вы бы хотели видеть именно такой подход к разработке. Мы значительно поработали над качеством разработки, а качество - требует время. На закуску, расскажу, об одном интересном нововведение, которое не озвучивалось ранее:

-------

Добавлен новый макрос >findfields=true

Для макроса, мы разработали уникальный алгоритм анализа содержимого страницы. Указав его, XNEOLINKS будет автоматически искать поля, которые необходимо заполнить на странице, отсортирует их и заполнит тематическими данными.

...

В рамках подготовки автоматизации по работе c IPB3, мы внедрили экспериментальный макрос >findfields=true, в качестве примера его использования. Вы можете открыть файл макроса «IPB3 cms.xneo» и увидеть, насколько просто теперь можно добавлять свои автоматизации.

-------

 

[wertock 24]

давно не заходил, да и не использовал софт. 

Хочется услышать что дальше в планах.

Спасибо

[wertock 24]

Все в отпуске что ли ? 

[Administrator 1 582]

29 минуты назад, wertock сказал:

Все в отпуске что ли ? 

Мы рассказываем о планах, когда это действительно нужно (долгий релиз, масштабные изменения, которые требуют значительное количество времени). А так же, по факту реализации определённого функционала (зачем рассказывать о том, что не сделано? Так не делается, по этому масштабные планы, остаются исключительно при нас). 

Обновления сейчас выпускаем в среднем 1 раз в 2 недели:

У каждого обновления есть список изменений, не целесообразно дублировать это в теме.

Если интересует что-то конкретное из функционала, об этом всегда можно спросить.

[ROI 57]

Когда уже Интеркассу хоть подключите, полегчеж  с продлением будет?

[Administrator 1 582]

11 час назад, Rost сказал:

Когда уже Интеркассу хоть подключите, полегчеж  с продлением будет?

Одна из приоритетных задач на ближайшие дни, наравне с возможностью автоматически сбрасывать активацию.

[Administrator 1 582]

Уже готова версия 4.2.9.8. Релиз планируется сразу, как завершится последний этап тестирования. Сегодня-завтра. Полный список изменений будет доступен в момент релиза программы. Мы решили подробно рассказать о том, что сделано и что планируем реализовать в ближайшее время. Как и озвучивали ранее, мы рассказываем только то, в чём у нас уже готовы наработки.

Прежде всего, выражаем благодарность тем людям, кто присылает примеры и пишет замечания о найденных ошибках. Это позволяет улучшать качество проекта.

 

Изменения в версии 4.2.9.8

PHP-Nuke

• Решили проблему с распознаванием капч. В связи с последними улучшениями логики, некоторые типы капч перестали определяться, в процессе выполнения вы могли встречать ошибки «не удалось найти письмо», «превышено количество попыток регистрации». 
• Добавили поддержку нового языка и нескольких новых ошибок, на уже поддерживаемых языках, информирующих о неверно разгаданной капче или о занятости логина.
• Добавили поддержку нескольких дополнительных полей на этапе регистрации.
• Улучшено логирование.

Wordpress

• Общая оптимизация логики, небольшое снижение потребляемых ресурсов во время выполнения, ускорена работа.
• Логика поиска групп для размещения статьи изменена на POST/GET (BETA-функция). Данное изменение в разы ускоряет выполнение, если у вас активен статейный режим.
• Улучшена работа с модулем форума.
• Внедрено логирование.
• Улучшен режим размещения комментариев, ранее в случае некоторых ошибок, активация аккаунта администратором, превышение количества попыток зарегистрироваться, выполнение прекращалось и логика не пыталась разместить комментарий на указанной странице.
• Добавлена поддержка капч, в режиме комментирования.
• Улучшен поиск ссылки на профайл.

PHP-FOX

• Исправлено сохранение успешных результатов. Логика работала исправно, но успешные размещения не сохранялись, мы исправили это.
• Внедрено логирование.
• Скорректирована запись ошибок.

PHP-Fusion

• Исправлена работа с исключениями для страниц регистрации и авторизации.
• Исправлена ошибка, приводившая к некорректному переходу, в случае первой неуспешной попытки регистрации. В ходе анализа ошибки были найдены и исправлены схожие проблемы в SLAED CMS.
• Улучшено логирование.
• Улучшена логика авторизации.
• На этапе регистрации, добавлено вырезание специальных символов из пароля. 

Nuked-Klan

• Улучшена логика работы с модулем гостевой книги.
• Добавлено логирование.

Seditio CMS

• Добавлен анализ новых вариаций ошибок, на стадии регистрации.

BItrix CMS

• Оптимизирован поиск директории блога и форума. Убраны лишние проверки на 3 этапе.

Улучшения в логике почты

• Мы встретили ситуацию, когда программа не могла получить новое письмо с почты, например в gmail некоторые письма могут удаляться автоматически. И если это случилось во время выполнения, то счётчик количества писем на почте может остаться неизменным, не смотря на то, что пришло новое письмо. Мы улучшили алгоритм и теперь программа не только смотрит на количество писем на вашем почтовом ящике, но и сверяет последние письмо.

Другие изменения

• Улучшено распознавание key-captcha. В ходе тестирования мы нашли много примеров, которые кардинально отличаются от продуманной нами логики, мы внесли соответствующие улучшения. И теперь key-captcha с помощью сервиса rucaptcha (2captcha) распознаётся в разы лучше. Одно только это изменение способно существенно увеличить пробиваемость.
• Исправления в catchall.
• Улучшено заполнение данных, при выборе женского пола.
• Многочисленные изменения в системе макросов.
• И т.д.

 

Планы по развитию Xneolinks

Обновление клиентской части

Существует проблема, что нельзя быстро сбросить активацию и сменить компьютер, возобновить подписку на лицензию. Мы считаем это критичным. У нас есть план по реализации решения данной проблемы.

Мы планируем заняться обновлением клиентской части в ближайшие недели. Сразу, как завершим работу над 2 задачами:

• Новая логика работы с созданием почты;
• Обновим утилиту Xneopars;

Новый Xneopars 2.0

Тот же интерфейс с новой начинкой. Мы полностью переписываем логику работы, за время последнего обновления утилиты некоторые поисковые системы перестали работать, где-то изменили вёрстку и нужны исправления. Текущая реализация программы занимает большое количество времени, чтобы выявить проблему и решить её. Мы приняли решение сделать новую версию утилиты Xneopars 2.0. Всю логику мы переводим на нашу систему макросов, где мы добавляем новые макросы, которые упростят работу и сделают её возможной. Например, макросы, которые собирают и сохраняют все ссылки со страницы, по указанному шаблону.

Мы сделаем многие макросы для xneopars открытыми и вы сможете увидеть, как построена логика.
Вы сможете в несколько действий добавить автоматизацию для любой новой поисковой системы.
Или решить какие-либо другие задачи, например настроить парсинг статей с указанных сайтов.

Новая логика по созданию почты

Мы хотим предоставить универсальный инструмент для добавления своих почтовых сервисов. Вы знаете какой-то сервис, где можно создать почтовый аккаунт? С новой логикой вы можете добавить его поддержку. Новая логика будет основана на нашей системе макросов.

Наши решения по автоматизации сервисов будут открыты для изучения. Вы сможете их изменять и отключать. Мы хотим дать универсальное решение, которое позволит расширять Xneolinks самостоятельно, не дожидаясь новых стабильных версий программы.

К примеру, вы сможете автоматизировать создание почтовых аккаунтов в CPanel или в любой другой панели управления вашим сервером \ хостингом.

О ошибках и улучшение логики

Всех ошибок не избежать, взяв только в расчёт, что когда делаешь очень много - шансы на ошибки повышаются. Но можно их минимизировать и в случае выявления быстро исправлять, чем мы сейчас активно занимаемся. Весь новый функционал разрабатывается с продуманным логированием.

Сейчас для каждой крупной логики CMS (встроенной) пишется логирование, по аналогии, как оно сделано в системе макросов. В перспективе вы сможете самостоятельно видеть, что пошло не так, почему не работает тот или иной сайт, какую он вернул ошибку и т.п. 
Например, в логе вы сможете увидеть, что программа не знает ответа на какой-то секретный вопрос, поймёте это и добавите его в менеджере Q&A. Или увидите, что на сайте есть какое-то дополнительное поле, которое требует уникальное заполнение. Сможете увидеть на каком этапе проблема, успешно ли прошла регистрация, успешно ли прошла авторизация и т.д.
Уже сейчас логирование внедрено в более чем 20-и крупных cms, joomla, ipb, mybb, smf, vb, php-nuke и других. 

Мы думаем о системе, когда вы сможете из индикаторов неуспешных отправить нам жалобу на то или иное выполнение и получить ответ на обращение. Логи позволят нам знать точную причину, а так же, если это какой-то уникальный случай, они позволят нам оперативно внести улучшения в логику.

На данный момент в публичных сборках логирование для всех CMS отключено.

Beta версии

Мы понимаем, что выпуск версий с ошибками является дурным тоном и очень переживаем, что мы не сразу можем выявить какую-либо проблему.

Как только мы завершим план работ по доведению текущей версии Xneolinks до максимальной стабильности, мы введём бета-версии. В личном кабинете будут ссылки на стабильную версию и новые, бета-версии.

Сейчас мы не добавляем новый функционал, если он не решает какие-то важные проблемы. Например, новый xneopars по причине, что решать старые проблемы дольше, чем реализовать новый функционал. Стремимся сделать максимально стабильную версию

 

Изменено 5 августа 2018 пользователем Administrator
UPDATE 06.08.2018: Добавлены изменения в логику работы с bitrix, seditio, php-fusion. UPDATE 02.08.2018: Дополнительные изменения в логике wordpress. UPDATE 03.08.2018: Добавлены данные по изменениям в SLAED CMD, PHP-FUSION CMS, Nuked-Klan CMS.

[Administrator 1 582]

Сейчас находимся на финальной стадии подготовки версии 4.3.0.0, а это значит - релиз будет в ближайшие дни. Мы сфокусировались на повышение стабильности программы и её оптимизации.

Основные изменения:

• Полностью переписанная система работы с макросами, благодаря этому изменению мы сможем с большей лёгкостью расширять логику. Кроме этого, изменения снижают потребление ресурсов CPU, устраняют ряд проблем.
• Улучшена логика работы с CMS, список огласим в день выпуска версии.
• Промежуточные баг-фиксы в xneopars.
• Переписываем взаимодействие с recaptchaV2 при обходе защиты cloudflare. (Данное изменение не войдёт в версию 4.3.0.0, т.к. требует больше времени на реализацию, метод, который мы применили, на практике оказался не идеальным, нам предстоит изменить реализацию, этим займёмся уже для будущих версий).
• Улучшено решение невидимой RecaptchaV2. Теперь Xneolinks будет лучше искать и вызывать call-back функции, необходимые для решения невидимой RecaptchaV2.
• Оптимизирована логика очень многих встроенных автоматизаций. Ещё есть над чем работать, но есть вероятность, что к дню релиза мы завершим эти работы, и это изменение будет в полной степени доступно вам в 4.3.0.0. Данная работа направлена на уменьшение потребления CPU во время выполнения и для ускорения инициализации (запуска) браузера. Мы ещё ведём работы в этом направление.

Мы движемся согласно плану. Следующие над чем будут работы, это xneopars, аддурилка в поисковые системы и новый клиентский кабинет.

Со временем мы поделимся нашими новыми планами. С большой долей вероятностью в дальнейшем мы сфокусируемся на повышение количества автоматизаций, дав вам ещё больше встроенных возможностей.

 

 

[ROI 57]

В 27.06.2018 at 8:25 AM, Administrator сказал:

Одна из приоритетных задач на ближайшие дни, наравне с возможностью автоматически сбрасывать активацию.

Ребята!  Уже столько времени прошло, а воз и ныне там, что таки есть сложности прикрутить к форуму модуль(и) оплаты ?

[Administrator 1 582]

@Rost, есть объективные причины, почему это ещё не реализовано. Кратко, да, есть сложности, требующие время на реализацию.

Мы планируем приступить к разработке решения в конце этого месяца.

[ROI 57]

7 часов назад, Administrator сказал:

@Rost, есть объективные причины, почему это ещё не реализовано. Кратко, да, есть сложности, требующие время на реализацию.

Мы планируем приступить к разработке решения в конце этого месяца.

Подождёмс, сейчас в приоритете обнову стабильную получить, а на сколько удастся сократить потребление ресурсов CPU, а то мой i7 c 8 ядрами при работе от 20 потоков начинает загибаться

[Administrator 1 582]

@Rost, мы то же так считаем, что важно сделать стабильную версию. После - идти дальше.

В автоматизации браузера не стоит ждать возможности работать в 50-100 потоков, это не post/get запросы. Данная технология требовательна к ресурсам системы (и это не только особенности xneo - и это нормально. Здесь многое зависит ещё от того, какие действия совершаются. Естественно есть над чем можно вести работы в качестве оптимизации, мне кажется это бесконечный процесс. Вы только посмотрите сколько работы проделывают над chrome и сколько людей задействовано.

Дополнительно, вы можете оптимизировать работу программы самостоятельно, например, если вы запускаете большие выполнения, попробуйте для одного в настройках программы отключить загрузку изображений/javascript/css. Для второго (по неуспешным соответственно), уже включив данные опции. В будущем получив результаты, где не нужен javascript, можно сохранить в отдельный проект (я замечу, что в проектах сохраняются данные настройки и при загрузке проекта - соответственно подгружаются), для второго проекта - включить. Далее выстраивается очередь из 2 проектов и они выполняются последовательно, как итог вы получаете более быстрое выполнение.

Самое заметное сокращение потребления ресурсов будет в xneopars. Остальное - предлагаю вам посмотреть уже после выхода 4.3.0.0.

Мы сейчас проводим дополнительные действия по оптимизации, было решено внедрить все изменения уже в 4.3.0.0.  Остались формальности.

Да, выход обновления задерживается, но оно определённо стоит того, чтобы подождать! Наша цель сейчас - сделать максимально стабильную и качественную версию, насколько это в наших силах.

[Administrator 1 582]

Прошло много времени с последнего обновления и мы хотим рассказать, над чем сейчас работаем и что ожидать в ближайшее время,

1. Инсталлятор. Теперь все нужные для работы программы файлы будут загружаться единоразово при установке, кроме этого изменён механизм загрузки и распаковки данных, это исключит ситуации, когда не запускался xneolinks и требовалось выполнять восстановление файлов через xneoupdate.exe.
2. Баг-фиксы. Баг-фиксы. Мы находимся на заключительном этапе отладке программы, конечно в силу используемых технических решений на текущий момент мы не сможем достичь идеала, но наше стремление - сделать программу максимально стабильной, и мы не пропустили ни одно ваше обращение с замечанием. Перечислять все изменения не будем, основная работа заключалась в исправление ошибок, которые встречаются в единичных ситуациях и которые вызвать гораздо трудней. Всё же за прошедшие время мы смогли в разы повысить стабильность, но т.к. главная цель была максимальная стабильность - весь фокус нашего внимания по прежнему на этих задачах.
3. Новая логика работы с созданием почты. Поддержка автоматического создания почты для проекта в новых почтовых сервисах. Мы знаем о сильном ограничение, со стороны одного встроенного почтового сервиса и постарались расширить этот функционал. Новая логика включает возможность её расширения, добавления своих сервисов, к примеру автосоздание почты в своей Cpanel. Этот функционал служит прежде всего для расширения возможностей программы и новых пользователей, т.к. лучше почты на своём домене/хостинге, на текущий момент ничего нет. Каждый сервис имеет свои ограничения, может блокировать новый почтовый ящик после 100 писем, и т.д.
4. Обновление для режима комментирования. Мы не хотели добавлять новый функционал, пока не закроем все вопросы по баг-фиксам, но время идёт, давно не было обновлений, не рабочие дни в августе, всё это говорят нам - пора. Это не какое-то маленькое изменение для одной CMS, это изменение затрагивает сотни CMS, как уже существующих, так и вновь добавленных. Это универсальная логика, которая анализирует информацию на странице, заполняет базовую информацию, ник, почта, текст, сообщения, анализирует паттерны и выбирает что использовать HTML, BBCODE или текст. Вне зависимости от того, какая CMS, мы делаем универсальную логику, чтобы охватить как можно больше возможных CMS, в том числе уникальных. Это обновление будет требовать долгосрочного развития, но уже в следующем обновление будет включать поддержку огромного числа CMS/сайтов. Это изменение привнесёт за собой дополнительные изменения в логике определения cms, появится возможность задавать footprints для поиска CMS исключительно на указанной в настройках базы странице (т.е. если CMS не определена, можно будет задать следы для поиска формы комментария).
5. Обновлена логика автоматического распознавания графических и текстовых капч (beta). Мы получали жалобы о замедление выполнения, провели анализ и установили, что подобное может возникать в случае медленного распознавания графических капч. Ещё в 20 числах августа мы оптимизировали серверную часть, увеличив максимальную пропускную способность, теперь она в 1000 раз выше, чем была на первому этапе беты. Это изменение не только решает вопросы с общей скоростью выполнения, но и увеличивает число автоматически (бесплатно) распознаных капч. В ближайших обновлениях мы так же улучшим логику получения ответа и минимизируем ситуации, когда медленный ответ со стороны OCR мог повлиять на общие выполнение (на стороне xneobrowser).
6. База с примерами. Мы знаем, что давно не было обновлений и этот запрос скоро будет закрыт.

Всё это - краткосрочные планы. Мы не хотим, чтобы вы потеряли нас и посчитали, что проект заброшен.

Работа кипит, всё озвученное выше - это план ближайшей недели, т.е. не должно быть ситуации, что обновление придётся ждать ещё один месяц. При этом, мы не называем точные сроки, т.к. это интеллектуальная разработка, должен быть запас времени на спокойную разработку и тестирование, мы знаем, как вас может расстроить перенос обновления на 1 неделю, с озвученной, оптимистичной даты. Сроки останутся закрытыми. Скажем только, что сейчас финальный этапе, какой-то функционал уже прошёл тестирование, для какого-то тесты начнутся в ближайшие дни.

О долгосрочных планах расскажем позже, т.к. они ещё будут корректироваться.

     

Можем только сказать, что мы уделим особое внимание развитию логики, добавлению новых автоматизаций. Но всё это в рамках плана, который уже был озвучен выше, что сразу за стабильной версией программы, мы начнём уделять огромное внимание логике. Отправной точкой будет обновлённый дизайн главной страницы сайта.

Дополнительно мы планируем добавить альтернативные и самое важное интерактивные контакты для службы поддержки, к примеру телеграм, skype.

[sixt4 10]

Как говорил Станиславский: "Не верю!"

[ROI 57]

Я думаю всё это реально, если постараться и даже более того  - самый ценный ресурс - это время, "Кто быстрее, того и тапки", поэтому хотелось конечно :

1-е  стабильную и шуструю версию

2-е многообразие поддерживаемых автоматизаций, например, веб 2..0  и  существующей  на сегодня кучи трастовых площадок

С этим растает и ценность данного продукта, а на парсер я бы пока не делал акцент и не тратил трудоресуры, лучше усилить главную часть

[Pazak124 208]

19 минут назад, Rost сказал:

Я думаю всё это реально, если постараться и даже более того  - самый ценный ресурс - это время, "Кто быстрее, того и тапки", поэтому хотелось конечно :

1-е  стабильную и шуструю версию

2-е многообразие поддерживаемых автоматизаций, например, веб 2..0  и  существующей  на сегодня кучи трастовых площадок

С этим растает и ценность данного продукта, а на парсер я бы пока не делал акцент и не тратил трудоресуры, лучше усилить главную часть

Согласен парсер это так мелочи... лучше улучшить и увеличить число cms для пробива... а парсер лучше отдельно купить и не парится....

[evol22 89]

06.10.2020 в 16:42, sixt4 сказал:

Как говорил Станиславский: "Не верю!"

Тут дело добровольное верить иль нет.

Интересно, что за прошедшую с момента появления новости неделю  удалось реализовать из перечисленных пунктов. Что удалось уже реализовать, что в процессе, на каком примерно этапе выполнение намеченного краткосрочного плана) 

[Administrator 1 582]

В ближайшие дни напишем о актуальных планах по развитию Xneolinks.

Из самого свежего, у нас заработала интерактивная поддержка в телеграме, если у кого-то есть срочные вопросы - пишите @xneolinks.