Настройка парсинга с Яндекса

[fusion77 18]

Здравствуйте. Помогите настроить парсинг ссылок в Xneopars с Яндекса. Перепробовал множество разных вариантов, но успешного парсинга добиться так и не удалось. Вот скрин последнего варианта настроек. Как известно, Яндекс регулярно изменяет вёрстку, вследствие чего Xneopars может не собирать ссылки пока разработчики не внесут исправления. Хотелось бы самому научиться добавлять ПС для парсинга с yandex.ru

[Woll 200]

Здравствуйте!
Первым делом прошу прощения за то что вам пришлось ждать так долго ответа.
Так же хочу обратить ваше внимание что вышла версия 4.1.7. Там уже исправлена работа встроенного скрипта yandex.ru, а так же поправлена ошибка в работе самих пользовательских ПС. Обязательно обновитесь на неё.

Вот скриншот настроек которые работают на данный момент:


Текст для копирования:

Строка поиска: атрибут Name значение text
Кнопка поиска: атрибут Innertext значение Найти
Парсинг ссылок: атрибут class значение link organic__url link link_cropped_no
RegExp: (.*)
Область поиска href
Переход на страницу атрибут Innertext значение дальше

Судя по скриншоту вы делали попытки в правильном направлении. Скорее всего причина что не получилось было ошибкой с нашей стороны.
Поэтому расписывать подробней я не вижу смысла, но если у вас есть какие-то вопросы, то задавайте их здесь. Обязательно ответим.

[fusion77 18]

Большое спасибо за ответ!)

[fusion77 18]

Обновился до версии 4.1.7, настроил по вашей инструкции, сначала программа парсила нормально, но спустя некоторое время опять такая ерунда.

[Administrator 1 582]

22 минуты назад, fusion77 сказал:

Обновился до версии 4.1.7, настроил по вашей инструкции, сначала программа парсила нормально, но спустя некоторое время опять такая ерунда.

Может ПС капчу стала выдавать? Для своих ПС подобное не предусмотрено. Данная опция есть в планах на ближайшее время.

[fusion77 18]

6 минут назад, Administrator сказал:

Может ПС капчу стала выдавать? Для своих ПС подобное не предусмотрено. Данная опция есть в планах на ближайшее время.

Я так не думаю, при использовании рабочих незакапчеванных проксей проблема не исчезает

[Administrator 1 582]

1 минуту назад, fusion77 сказал:

Я так не думаю, при использовании рабочих незакапчеванных проксей проблема не исчезает

Есть 4 варианта:

• отличаются результаты на странице, от сюда не может найти результатов.
• капча, которая не может быть обработана.
• блок по ip (крайняя редкость).
• что-то блокирует работу браузера, фаервол, антивирус, сам windows, например при включённом режиме smartscreen, или встроенный брандмауэер.

Другого ничего быть не может. Вероятней всего именно ситуация в варианте 2. Какой прокси указывали на 1 позиции? Или тот же самый список давали? Поменяйте прокси на 1 позиции.

[fusion77 18]

6 минут назад, Administrator сказал:

Есть 4 варианта:

• отличаются результаты на странице, от сюда не может найти результатов.
• капча, которая не может быть обработана.
• блок по ip (крайняя редкость).
• что-то блокирует работу браузера, фаервол, антивирус, сам windows, например при включённом режиме smartscreen, или встроенный брандмауэер.

Другого ничего быть не может. Вероятней всего именно ситуация в варианте 2. Какой прокси указывали на 1 позиции? Или тот же самый список давали? Поменяйте прокси на 1 позиции.

Позиции проксей местами менял, результат тот же. XneoBrowser и сам Xneolinks добавлены в исключения антивируса, бана по ip нет, т.к. с браузера спокойно пользуюсь яндексом без всяких капчей.

Парсинг с интегрированного ПС Яндекс работает, но там другая проблема (в отчёт выгружает не все спарсенные ссылки). Об этом подробнее отписал в техподдержку.