Документация по парсеру xneopars

[Woll 200]

Информация не актуальна. Парсер кардинально был переработан.

Интерфейс парсера состоит из следующих элементов:

1) Поле для ввода запросов

- В данное поле можно указывать не ограниченное число запросов. Каждый запрос

можно указывать в новой строке.

- Так же в данном поле можно указать спец команду для разделения различных видов

запросов в отчете. Команда имеет следующий вид - XNEOLINKS-заголовок:имя разделителя.

Например если в поле запросов написать

Заголовок: XOOPS cms, то в отчете будет строка следующего вида:

=========== XOOPS cms ===========

 

- Для удобства, чтобы не запоминать данную команду, добавлена кнопка добавить разделитель, после нажатия на которую пользователю предлагается ввести название разделителя и он будет

добавлен в конце списка в поле запросов.

2) Выбор сколько страниц парсить.

- Пользователь может указать сколько страниц из запроса спарсить, можно указать от 1 до 50, или выбрать спарсить все страницы

3) Поле для выбора папки сохранения отчета.

- Можно указать куда сохранить отчет, по умолчанию это рабочий стол

4) Поле для ввода имени файла отчета

- Можно указать название для отчета. Имеет расширения txt

5) Поле для указания задержки между запросами.

- Можно указать задержку прежде чем начнет выполнятся новый запрос. Значение указывается в секундах

6) Выбор вида напарсеных ссылок.

- Можно выбрать какой вид будут иметь сохраненные ссылки. Сохранять полную, ссылку как её выдает поисковик, или сохранять только домен сайта.

7) Выбор какую поисковую систему использовать для парсинга ссылок.

- google

- yahoo

- blogs.yandex.ru

- yandex.com

- yandex.ru

При выборе яндекса выскакивает алерт, предупреждающий о том что нужно отключить

сервисы антикапчи и разгадывать в ручную. Пока данное предупреждение выскакивает всегда. Автоматически через сервисы распознавания русскую капчу ещё не отгадываем.

[Administrator 1 582]

Ещё сырая штука. Многого нет, для личных нужд писалось. Будем дорабатывать со временем.

Если чего-то не хватает, пишите в этой теме, будем добавлять.

[goldendragon 59]

А как этот парсер можно заполучить?

[Administrator 1 582]

goldendragon, в комплекте будет.

[Motosimak 29]

Хотелось бы видеть определение тиц пр полученных ссылок, т.е напарсили ссылки, перешли во вкладку анализа, вставили напарсенные ссылки получили таблицу ексель с колонками: ссылка тиц пр, в будущем можно расширить инфу фильтрами

[Administrator 1 582]

Хотелось бы видеть определение тиц пр полученных ссылок, т.е напарсили ссылки, перешли во вкладку анализа, вставили напарсенные ссылки получили таблицу ексель с колонками: ссылка тиц пр, в будущем можно расширить инфу фильтрами

Добавим, но думаю не стоит так усложнять, а сделать где-то в виде галочки и по завершению будет проверка параметров.

Единственное, не скажу точную дату, когда уделим парсеру время. Но вы можете выкладывать пожелания, накопив их, приступим к работе.

[Motosimak 29]

дополнительно:

1. Сделать профили известных CMS для парсинга: конкретную или все списком

2. При получении отчета формировать три параметра: Тиц, ПР, заспамленность.

3. Сохранять историю парсинга, чтобы при новом парсинге в базу не добавлялись уже до этого спарсенные ресурсы.

[psk89 80]

дополнительно:

1. Сделать профили известных CMS для парсинга: конкретную или все списком

2. При получении отчета формировать три параметра: Тиц, ПР, заспамленность.

3. Сохранять историю парсинга, чтобы при новом парсинге в базу не добавлялись уже до этого спарсенные ресурсы.

Ну эт вы уже перегнули. Профили CMS - так это какие запросы вы вводите - такие профиля и получаете.

ТИц ПР и спам определите через фаст траст

История парсинга это бред. Можно сделать чистку дублей доменов или фильтрацию - но тоже лишнее по моему.

[Motosimak 29]

1. Профили cms это их признаки из соседней темы.

2. Лучше делать все в одной программе.

3. История парсинга это как раз и есть очистка дублей.

Зачем ставить кучу программ, когда можно все сделать в одной.

Загрузил профиль, поставил галки и получил готовую базу с нужными колонками

[Motosimak 29]

После обновления до 1.1 возникли предложения:

1. Сделать возможность определения cms из списка в несколько потоков, сейчас один.

2. Сделать возможность загрузки списка ссылок из файла. У меня например есть файл на 400 тыс. форумов (http://xneolinks.com/forum/index.php?threads/baza-russkix-forumov-407k.42/) . При попытке вставить их в программу для разделения на cms, естественно она виснет.

3. Добавить запросы из этой темы http://xneolinks.com/forum/index.php?threads/zaprosy-dlja-parsinga-baz-dlja-xneolinks.14/ в качестве предзагруженного профиля, т.е. поставил галку и загрузились запросы для всех cms подходящих для прогона в xneolinks и далее галку сортировки при парсинге, на выходе получаем готовые обновленные базы.

[alllffa 25]

+ поддержка прокси

+ многопоточность парсинга

[Motosimak 29]

кстати можно изменить п. 3 по аналогии с xneolinks, загружаешь список запросов и сохраняешь его.

[alllffa 25]

У меня вопрос, как парсить выдачу яндекса?

[Administrator 1 582]

У меня вопрос, как парсить выдачу яндекса?

Там судя по всему изменилась структура выдачи. Скоро обновим, парсер сейчас не первостепенность, по этому в первый день подобное не фиксим.

[xneli 19]

Думаю для парсера сейчас самое важное сделать многопоточность и добавить все профиля кмс поддерживаемые XNEOLONKS.

[bvaskg 14]

нет изменений ? обновлений ? А то я ещё после покупки и не включал его)))

[Administrator 1 582]

нет изменений ? обновлений ? А то я ещё после покупки и не включал его)))

Работа идёт. Больший приоритет - xneolinks. В перспективе в этом разделе будет тема с "с планами", где будем описывать всё, что реализовываем и над чем работаем.

[bvaskg 14]

спасибо

[cardan 1]

Ждём с нетерпением!

[Administrator 1 582]

Думаю для парсера сейчас самое важное сделать многопоточность и добавить все профиля кмс поддерживаемые XNEOLONKS.

Всё это будет и многое другое.

[Realist 0]

пока ведь парсит только первую 1000, по ограничению ПС? планируется ли сделать обход этого ограничения, чтобы парсить всю выдачу?

[Administrator 1 582]

пока ведь парсит только первую 1000, по ограничению ПС? планируется ли сделать обход этого ограничения, чтобы парсить всю выдачу?

Планируется.

[xneli 19]

обход этого ограничения, чтобы парсить всю выдачу?

А так разве можно?

[Woll 200]

Да, можно

[frion-seo 2]

goldendragon, в комплекте будет.

в комплекте чего ? как получить бы ))