-
Общие настройки
Как настроить OCR, почту, прокси, потоки-
1
Перепрогон по неуспешным
Одной из важных опций в программе является перепрогон по неуспешным. Есть статистика, при больших списках ресурсов, используя перепрогон можно увеличить количество успешных примерно на 10%. Например, в момент выполнения, некоторые ресурсы могут оказаться недоступными или не ответить за отведённое время. И перезапуска выполнение по списку неуспешных, - вы повышаете количество успешных. Всё автоматически, вам нужно только включить соответствующую опцию. Дополнительно вы можете установить ограничения, определённое условие, в случае если оно будет удовлетворено - выполнять перепрогон. -
2
Количество неправильных регистраций
Во время выполнения возможны ситуации, когда будет неправильно разгадана капча, будет занят никнейм, неправильный ответ на секретный вопрос и другие вариации ошибок. Вы можете установить количество попыток для регистрации, авторизации, установив значение в поле: «Неправильных регистраций». В случае, если во время выполнения будет ошибка, xneolinks осуществит повторную попытку. Когда попытки будут исчерпаны ресурс попадёт в список неуспешных с ошибкой «превышено количество попыток». В некоторых cms, если включён режим комментирования, будет выполнена попытка оставить комментарий. -
3
Настройки для анализа cms
В момент проверки cms, некоторые ресурсы могут долго отвечать, иными словами долго загружаться. За время ожидания отвечает соответствующая опция, в ней время указывается в секундах, по умолчанию, это 35 секунд. Программа делает запросы на дополнительные, внутренние страницы, по этому общее время ожидания проверки одного сайта может быть выше. Дополнительно вы можете осуществить повторный анализ сайта, в случае, если он не отвечает, для этого откройте специальные опции и включите «Повторить проверку, если сервер не ответил вовремя». Так же вы можете включить логирование для проверки cms и самостоятельно определить причину, почему тот или иной ресурс попал в неуспешные. Какие ответы возвращал сайт, и как быстро он выполнялся. Для этого включите соответствующую опцию «Сохранить не успешную страницу». Во время работы, программа создаст две папки: /log/ - здесь будет лежать общая информация о процессе выполнения анализа cms. /Snapshots pages/ - ответы сервера, здесь будут сохранены все страницы полученные от ресурса, в том числе внутренние. Каждый ресурс сохранён в отдельной папке, а каждый файл с ответом имеет название - время выполнения, ориентируясь на это название, вы можете по логу в папке / log/ определить, какая страница вернула этот ответ. -
4
Формат отчёта
Вы можете выбрать тип отчёта, который будет создавать программа по завершению работы или при запросе промежуточного отчёта. Вы можете выбрать один из 4 вариантов: HTML v2 HTML TXT XML DataTable Пример HTML отчёта XML можно открывать в excel и сортировать данные, как вам будет удобно. Формат DataTable - аналог html отчёта, без красивого форматирования, с возможностью поиска и сортировки. -
5
Настройка почты
Если вы не включите опцию «Использовать свою почту из списка», программа будет создавать новый почтовый ящик на выбранном почтовом сервисе. Вы можете настроить количество попыток найти письмо, задержку перед последней попыткой проверки почты. Данные настройки будут влиять на основе времени завершения последнего ресурса на этапе 2. Всё остальное время, программа будет в автоматическом режиме искать письма и не завершит этот процесс, пока не истечёт время максимального время ожидания для проверки последнего сайта в очереди на этапе 3. Время указывается в секундах. В случае, если во время работы программы, пропал интернет или почта была недоступна по другим причинам, программа будет пытаться сделать переподключение через 20 секунд. Вы можете настроить количество возможных попыток. В случае, если за отведённое количество попыток, восстановить соединение не удалось, программа будет поставлена на паузу, а вам будет предложено изменить используемую почту. Дополнительно вы можете автоматически удалять используемую почту, данная опция отлично сочетается с опцией «перепрогон по неуспешным» или работой с очередями проектов, каждый раз, когда запускается выполнение, почта из списка будет удаляться. Тем самым, в каждом новом выполнение будет использоваться новая почта, что исключит ситуацию, когда используемая почта уже будет занята. Вы можете использовать специальную функцию по размножению почтовых имён и создать сотни алиасов. Вы можете использовать это, в сочетании с catchall, когда со всех адресов почта будет приходить на один. Дополнительно вы можете включить опцию «Удалить письма с почты, после удаления», каждый раз, когда программа будет получать письмо, она автоматически удалит его. Изменить настройки почты во время выполнения нельзя, только до запуска выполнения. Примечание Во время выполнения нельзя удалять с почты письма. Программа запоминает позицию последнего полученного письма и если вы удалите письма во время работы, это приведёт к некорректному выполнению. Если вы начинаете работать с программой впервые, рекомендуем сверять получаемые данные программой. Xneolinks должен выгружать все новые письма, т.е. вы можете сверить, открыв веб-клиент для почты и отрыв утилиту менеджер почты в программе. Если данные сильно отличаются - значит что-то не так. В каталоге с программой создаются папки в директории \Logs\Mail\, с датой выполнения, где выбрав нужную дату можно проверить и изучить лог. Примечание 2: список с почтами на разных доменах Вы можете указывать все почты списком, в формате: nameX@1mydomen.com:PASSWORD5;mail.1mydomen.com;110;pop3;0 name1@2mydomen.com:PASSWORD6;mail.2mydomen.com;993;imap;1 Расшифровка формата: почтовый_адрес:пароль:почтовый_сервер:порт:тип_ssl_pop3:с_ssl_или_без; Настройки из списка почт используются приоритетно. -
6
Настройка OCR
При работе с сервисами распознавания (OCR) у вас есть возможность выстраивать приоритетность выполнения. На скриншоте ниже отображен параметр, который отвечает за приоритет выполнения. Например, вы указали 2 сервиса: Rucaptcha (2captcha) с приоритетом 1. Antigate с приоритетом 2. При выполнении в первую очередь капча на распознавание будет отправлена в Antigate, т.к. имеет наименьшее значение в параметре приоритетов. В случае, если при распознавании сервис Rucaptcha вернул ошибку ERROR_CAPTCHA_UNSOLVABLE (работник не смог разгадать капчу) или любую другую, изображение будет направлено в сервис Antigate. Если и Antigate вернёт ошибку, выполнение первой попытки будет прекращено. Если вы укажите больше 2 сервисов, изображение будет направлено в сервис со следующим приоритетом. У каждого OCR можно настроить допустимое количество попыток, в случае ошибки, до смены. В случае, если у вас закончится баланс, сервис с 0 балансом будет отключен. Если на всех сервисах не окажется денег, будут появляться капчи для ручного ввода, вы можете исключить данную ситуацию, включив опцию: «Отключить ручной ввод капчи», в этом случае программа не будет отправлять капчи, тем самым могут ухудшиться результаты, если ни один OCR не подключен. Опция «не отправлять дубликаты капчи в OCR» позволяет обрабатывать схожие изображения в случае, на которые есть два схожих ответа. Данная опция позволяет экономить и уменьшает затраты в OCR. Вы можете сохранять все загруженные капчи в app data \roaming\xneolinks\captcha, для этого нужно включить опцию «Отключить удаление данных из папки captcha», опция будет полезна, если вы желаете обучить программу OCR для автоматического распознавания нужных вам капч. Изменить настройки OCR можно, поставив программу на паузу. И они вступят в силу, сразу после перезапуска браузера. Работу с OCR можно проанализировать в специальной утилите «Менеджер логов», об этом мы расскажем позже, в главе про утилиты. -
7
Встроенный OCR
Встроенный OCR поддерживает больше 1000 различных типов капч и позволяет существенно экономить бюджет или работать полностью автономно, без платных сервисов OCR. Несколько примеров поддерживаемых капч Для включения встроенного OCR вам необходимо включить соответствующую опцию и настроить нужное количество попыток выделяемых на данный OCR. По умолчанию на строенный OCR выделяется 3 попытки повторений. Встроенный OCR имеет наивысший приоритет и всегда выполняется в первую очередь. -
8
Распознавание сложных капч
Навигация: Recaptcha2 Key-captcha Распознавание recaptcha2, recaptcha invisible, recaptcha v3 Для rucaptcha и antigate есть поддержка полноценного распознавания за счёт полной эмуляции на стороне работника сервиса. При включении опции «Включить распознавание сложных капч сложных капч» и трёх дополнительных опций «Разгадывание ReCaptchaV2 без отправки картинки» и «отправка прокси и url в OCR», капча будет распознаваться на основе полной эмуляции. Если вы хотите отключить решение recaptchav2 и v3, достаточно отключить три дополнительные опции, к примеру это может быть полезно, если решать recaptchav2 с помощью одного из инструментов xevil или capmonster2. Для включения распознавания recaptchav2 / recaptcha invisible необходимо включить опцию "Включить распознавание сложных капч" в xevil / capmonster2 API. Распознавание Key-captcha Для распознавания Key-captcha, достаточно включить одну опцию - «Включить распознавание сложных капч сложных капч». Распознавание доступно только в Rucaptcha API. -
9
Текстовые капчи и OCR
Дополнительно вы можете включить распознавание текстовых капч, это секретные вопросы на страницах регистрации, например, «в каком году полетел в космос Юрий Гагарин?». На данный момент работники в сервисах OCR справляются с этой задачей крайне плохо, мы рекомендуем использовать отправку секретных вопросов только, через менеджер вопросов и ответов (специальную утилиту), там вы можете пожаловаться на неправильные ответы и вернуть деньги за неуспешные попытки. Все ответы будут сохранены, для последующего использования. Дополнительно Xneolinks поддерживает собственный OCR для распознавания текстовых вопросов и имеет встроенную базу на 15000+ секретных вопросов и при включении встроенного OCR позволяет искать ответ в базе на дополнительные 20000+ секретных вопросов, а так же встроенный OCR умеет распознавать и разгадывать некоторые сложные, динамические вопросы и давать ответ на них, без обращения к дополнительной базе. Встроенные функции Xneolinks позволяют решать математические вопросы, или вопросы, где требуется перепечатать слово, или ввести его задом наперёд. Фактически программа обладает всем необходимым для автоматического решения базовых вопросов. -
10
Программы OCR
Навигация: Xevil Captcha Sniper 5 CapMonster2 Captcha Breaker Кроме сервисов, вы можете подключить программы для автоматического распознавания OCR. Xevil Captcha Sniper 5 CapMonster2 Captcha Breaker Дополнительно Дополнительно для capmonster2, вы можете задать индивидуальные параметры для нужного ресурса. Например, указать тип капчи. -
11
Настройка сервисов ускорения индексации
Данные сервисы не гарантируют 100% результата и не можем гарантировать его и мы. Все сервисы были добавлены по просьбам нескольких пользователей и не являются обязательными в использование. Вы можете ускорять индексацию самостоятельно или дождаться естественной индексации. Подключение сервисов - интуитивно понятно и не нуждается в детально описание, укажите ключ, включите отправку ссылок в сервис. -
12
Настройка прокси
Навигация: Прокси по API Настройка валидации Проверка прокси Каждый прокси необходимо указывать с новой строки. Для каждого отдельно запущенного потока берётся новая прокси из списка. Если она оказывается недоступной, или отвечает на запрос слишком долго, будет использоваться следующая, из доступных. Если прокси указано меньше, чем количество потоков, прокси будут использоваться в зацепленном режиме, по очереди. Для активации прокси, включите две опции: «Использовать прокси» «Использовать прокси для get-запросов» В браузере Post/get запросы используются для проверки наличия модулей в cms, для проверки корректности ссылки. Можно отключить использование прокси при проверке cms, для этого включите опцию «отключить прокси при проверке cms». Можно использовать прокси исключительно на стадии создания почты. Для этого вам необходимо включить опцию "использовать прокси только для рег.почты», при активации опции, при выполнении в браузере прокси не будут использоваться. Вы можете изменить принцип работы с прокси, активировав опцию «Сменить прокси через N регистраций», в этом случае, для первых N потоков будет использоваться одна прокси, для следующих N - другая. Где N, вы можете задать в настройках. Прокси по API Опция «Обновлять прокси из файла» нужна в случае если вы будете загружать прокси из файла или из интернета. Вы можете выбрать путь не только на локальном компьютере, но и по API в интернете. Настройка проверки прокси Валидация (доступность) прокси проверяется по-указанному в настройках URL, вы можете изменить это. Укажите адрес сайта и какой текст необходимо найти на странице. Чтобы проверить корректность данных, нажмите на кнопку: «Проверить введённые данные», проверка будет осуществлена без использования прокси. Проверка прокси Можно проверить доступность прокси, ещё до запуска выполнения, чтобы убедится, что всё хорошо. Для этого укажите прокси и кликните по иконке "спутник", выделенной на скриншоте. Программа проверит доступность прокси и предложит удалить неработоспособные. Важно Для программы крайне важно качество прокси. Без отсутствия стабильного подключения, не гарантируется стабильность программы. -
13
Системные настройки
Выберите место, где бы вы хотели видеть отчёты о работе программы. По умолчанию это мои документы, папка Xneolinks, все отчёты имеют структурированный вид и сохраняются по датам и номерам, в отдельных папках. Работа программы надёжна и исключает возможность потери данных, но если вам постоянно нужны промежуточные отчёты, вы можете активировать их создание. В настройках путей, вы можете установить директорию, где лежат ваши аватарки. Указав путь до аватарок программа сама загрузит их и будет выбирать случайную из списка, поддерживаемый формат: «.png», «.gif», «.jpeg», «.jpg». Примечание На большинстве ресурсов используются стандарты максимальной высоты и ширины для аватаров 100x100, а так же минимальной 60х60. Старайтесь, чтобы ваши аватарки соответствовали данным размерам. Опция «автоматически закрывать диалоговые окна», будет закрывать все диалоговые окна, которые предлагают сохранить какую-либо информацию, т.к. выполнение происходит в браузере и осуществляется полная эмуляция, возможны ситуации, когда при заходе на ресурс, он предлагает скачать какую-то программу или файл, чтобы работа не останавливалась, Xneolinks автоматически обрабатывает и закрывает данные окна. Вы можете отключить данную опцию во время работы программы, если вам нужно сохранить какую-то информацию в другой программе. Опция «Разбить неуспешные сайты по типу» изменит формат отчётов. По умолчанию, все неуспешные ресурсы будут сохранены в одном файле и не будут отсортированы. При включение опции, будет создано несколько текстовых файлов, где ресурсы ошибки будут разделены по группам. «Не отображать колонку cms» - в HTML отчёте у каждого ресурса пишется cms, вы можете отключить это. «Включить лог выполнения макросов» и «включить создание скриншотов в логах». Опции будут крайне полезны, если вы планируете самостоятельно расширять логику программы и использовать макросы. По результатам работы макроса в папке /macros/debug/ будет создан файл, в котором будет информация о том, как осуществлялось выполнение, было ли заполнено поле, был ли осуществлён клик по кнопке, какая информация была на странице и на каком этапе и много другой, полезной информации. Дополнительно вы можете включить создание скриншотов, на каждом этапе выполнения макроса будет создан скриншот, но мы рекомендуем не использовать эту опцию, т.к. она не стабильна и использовать стоит исключительно для изучения построения макросов и визуализации того, что происходит в браузере. «Включить запись лога капчи», вы можете отслеживать, как осуществляется распознавание капч, что возвращают сервисы OCR, смотреть на каких сайтах были найдены капчи, отдельно сохранять их и многое другое, используя утилиту «Менеджер лога капч». «Включить перезапуск программы», существуют ресурсы, на которых плохой Javscript код, который может приводить к утечкам памяти, замедлять работу и единственный способ исключить данные ресурсы из работы, если они есть, перезапуск браузера, именно для этого существует эта опция. Вы можете перезапускать браузер раз в N минут. Например установив перезапуск раз в 40 минут, при достижение нужного времени, программа приостановит запуск новых потоков, завершит работу существующих и в последствии браузер будет перезапущен, да же в случае, если какой-то поток долго не отвечает. -
14
Настройка режимов
К вашему внимаю возможность настроить режимы работы программы и директории, в которых программа будет создавать тему на форуме в приоритетном порядке. Вы можете указать несколько директорий, используя разделитель «|». Используя «Настройка директорий», вы можете создавать темы там, где это вам необходимо, создавая релевантный контент. «Разрешить публикацию комментариев», активирует режим комментирования, новостей, гостевых книг. Размещение комментария будет осуществлено, если не найдены другие способы размещения. Если режим не активирован, логика отвечающая за это - отключена и не совершает лишних действий. Комментирование имеет наименьший приоритет. «Разрешить создание тем», если режим активен, в самом начале выполнения размещения, программа будет пытаться создать тему на форуме, если он есть или если сайт построен на базе форумной cms. Программа выберет указанную вами директорию или выберет случайную, если она не была найдена. Режим имеет наивысший приоритет в выполнение. «Публиковать статьи прошлым числом», создавая запись в блоге, можно выбрать дату публикации, при активации этой опции, программа будет публиковать статью прошлым числом, например, сейчас 2017 год, а Xneolinks укажет 2016. «Включить поддержку макросов в текстах и статьях», вы можете активировать поддержку специальных макросов, о которых рассказано здесь: Например вы можете загружать статьи из файла, выгрузить случайные 5 успешных ссылок и указать их в вашей статье, во время выполнения и многое другое. «Режим от существующего пользователя». Вы можете пропустить этап создания учётной записи, если у вас уже есть аккаунт, взаимодействия с утилитой «менеджер профайлов» вы можете прописать для каждого сайта свой аккаунт или импортировать данные из отчёта. При активации режима, выполнение будет начинаться сразу с авторизации. «Отключить проверку ссылок при старте», к это опции стоит отнестись с максимальным вниманием, вы можете отключить проверку корректности заполнения проекта при запуске программы, в этом случае вы сможете запустить проект без ссылок и выполнить размещение, но в случае ошибки или отсутствие ссылок в проекте, программа не сможет определить успешность размещения, да же если всё прошло корректно. Программа Xneolinks ищет только успешно размещённые ссылки и если их нет, считает размещение некорректным. Опция будет актуальна для тех, кому важно выполнить размещение информации без ссылок. Ещё одно применение опции, если вы хотите удалить ссылки в профиле, вы можете использовать эту опцию в связке с «Режим от существующего пользователя». Если вы не укажите ссылок, они будут автоматически удалены, при заполнении профайла. «Режим только ответы в темах», данный режим будет работать только в cms, где установлен форум. При активации данного режима, все другие становятся неактивными. Для работы данного режима вы должны указать полную ссылку на страницу с темой, где вы планируете разместить ответ. Важно Отнеситесь к включению режимов внимательно. Например, если вы включите режим от существующего пользователя, не укажите аккаунты или забудете через время, что он включён, это приведёт к ошибкам в отчёте. «Поиск успешного размещения по фрагменту текста». Позволяет осуществлять выполнение без ссылок. При активации опции, программа будет искать успешное размещение на основе фрагмента из текстовки или статьи. Отлично сочетается с опцией «Отключить проверку ссылок при старте». Вы можете управлять режимами работы из главного меню. Для этого, кликните правой кнопкой мыши в строке состояние и активируйте нужный режим. -
15
Дополнительные настройки
Навигация: Индексация User Agent Тип навигации Изображения, css, js, flash Выбор браузера Ожидание загрузки страницы Сохранение настроек Индексация Настройте критерии нужных вам ссылок, вы можете проверить ссылки на доступность индексации, по 4 параметрам: Nofollow Noindex (актуально для поисковой системы Яндекс) Meta-теги robots.txt Если вам нужны только ссылки 100% открытые к индексации, вы можете включить «Не сохранять ссылки с запретами в основной отчёт», при этом, программа всё равно разместит ссылки, но они не попадут в основной отчёт, а будут сохранены в отдельном файле. Впоследствии вы можете исключить данные ресурсы из базы. User Agent Дополнительно вы можете настроить «User Agent» для браузера, выбрать из списка стандартных или указать свои. Чтобы указать свой UserAgent, кликните на иконку "Шестеренка", при нажатии будет диалоговое окно, где можно указать свои данные. Тип навигации Тип навигации отвечает за скорость загрузки страницы, «стандартное ожидание» подразумевает более детальный анализ страницы, большую точность, надёжность и соответственно занимает значительно больше времени, чем «Максимально быстрая загрузка страницы». Опция нацеленная на максимально быстрый результат способна значительно ускорить работу программы, но для эффективного использования, вам нужно быстрое соединение, а так же отсутствие ресурсов, которые медленно отвечают на ваши запросы. Вы можете выполнить одно выполнение в максимально быстром режиме, а последующие в «стандартном режиме». Изображения, css, js, flash Дополнительно вы можете отключить лишнюю информацию в браузере, это: Изображения CSS Flash Javascript Отключение данных параметров способно ускорить выполнение, снизить потребление ресурсов, но и можете ухудшить пробив, в частности некоторые капчи используют css, так же как и отключение картинок может привести к неработоспособности некоторых капч, например, которые идут в виде заднего фона (background). Выбор браузера Default (браузер по умолчанию, который вы можете видеть во всех предыдущих версиях программы). Chrome 21 (обновлённая версия браузера «default», включающая в себя исправление ряда ошибок, включая улучшение производительности и повышение стабильности). Chrome 61 (67 Beta) (Современная версия браузера, включающая улучшенную поддержку javascript, графическую визуализацию процесса). Выбрав данный тип браузера вы сможете отслеживать процесс выполнения. Ожидание загрузки страницы Ожидание загрузки страницы, отвечает за максимальное ожидание ответа от сервера. Дополнительно вы можете сбросить настройки по умолчанию. Функция будет полезна, если у вас стала некорректно работать программа и вы не знаете в чём дело. Настройки по умолчанию уже нацелены на результаты и являются оптимальными. Единственное, что важно сделать, рассказано в главе 1. Сохранение настроек Изменив настройки не забудьте сохранить их. Если вы сразу планируете запустить выполнение, сохранять настройки не обязательно, они сохраняются автоматически при запуске выполнения.
Sign in to follow thisFollowers 0 -
1