Как увеличить пробив или нужна доработка cms чекера

[kontakt 26]

Если не использовать чекер cms xneo, а заранее указывать ссылки в нужном формате, то удается увеличить пробив примерно на 10%.

Теперь конкретно на примере: взял я часть базы DLE, указал ссылки сразу в нужном формате, после прогона получил 993 успешных профилей с ссылкой.

Далее я взял специально, привел полученные ссылки к хосту и дождался пока чекер прочекает cms, оказалось что сам встроенный чекер не прочекал около 100 сайтов.

Ошибку чекер выдает следующую: CMS не определилась или не доступен сайт, проверяю руками: сайты доступны, явно видно признаки DLE, даже <meta name="generator" content="DataLife Engine не убрано.

Т.е. если бы я не указывал программе заранее ссылки в нужном формате, а использовал встроенный чекер, то на этих бы 100 доноров ссылки у меня не разместились бы.

Далее, я взял отсюда https://xneolinks.com/forums/topic/843-statya-opisanie-etapov-vyipolneniya-rezhimov-rabotyi-v-xneolinks-priznaki-podderzhivaemyie-modifikatsii-obzor-bolshe-200-podderzhivaemyih-avtomatizatsiy/ все признаки и распарсил их, получилось у меня 200к+ уникальных ссылок, засунул их в чекер, в итоге получилось что примерно у 60% не определилась cms, у тех что определилась cms, это были bitrix, Blogger, dle, dokuwiki, drupal, instans, ipb, Joomla, mediawiki, PHP-Fusion, vBulletin, wordpress.

Причем почти все сайты это bitrix, dle, wordpress. Но на странице выше, представлено гораздо больше движков с признаками, а получается по факту что чекер cms их не определяет..

 

[Administrator 1 582]

24 минуты назад, kontakt сказал:

Ошибку чекер выдает следующую: CMS не определилась или не доступен сайт, проверяю руками: сайты доступны, явно видно признаки DLE, даже <meta name="generator" content="DataLife Engine не убрано.

В момент проверки сайт легко мог быть недоступным. Могла быть ошибка со стороны прокси. У чекера CMS есть логирование и все данные сохраняются в папке /logs/, при желание можно изучить ответы каждого сайта.

Чекер CMS и встроенная проверка в xneolinks имеют общий функционал.

24 минуты назад, kontakt сказал:

Причем почти все сайты это bitrix, dle, wordpress. Но на странице выше, представлено гораздо больше движков с признаками, а получается по факту что чекер cms их не определяет..

Многое зависит от того, как именно вы собирали. Мы не можем знать, как именно вы это делали. Можем только предполагать, что вы что-то делали не так.

Возьмите конкретные признаки и работайте по ним. В чём проблема?

Иначе по факту получается, что вы не разобрались, а уже начинаете наговаривать, что что-то не работает.

24 минуты назад, kontakt сказал:

Т.е. если бы я не указывал программе заранее ссылки в нужном формате, а использовал встроенный чекер, то на этих бы 100 доноров ссылки у меня не разместились бы.

Включайте перепрогон по неуспешным. Зачастую это помогает решать подобные ситуации. Попробуйте так же повысить время ожидания ответа при проверке CMS. С таким же успехом, при запуске с уже прописанной CMS, при открытие в браузере, сайт может оказаться недоступным. То что вы используете отчёт из чекера cms, это только сократит время выполнения, но никак не даст гарантии успешности.

[kontakt 26]

10 минут назад, Administrator сказал:

В момент проверки сайт легко мог быть недоступным. Могла быть ошибка со стороны прокси. У чекера CMS есть логирование и все данные сохраняются в папке /logs/, при желание можно изучить ответы каждого сайта.

Чекер CMS и встроенная проверка в xneolinks имеют общий функционал.

Прокси при чеке cms я не использую. Вот пример двух сайтов:

2021/01/24 09:53:58.937|Debug|WorkTask.LoadSiteData|Отправлен запрос http://zakordon.top/ Прокси: 
2021/01/24 09:53:59.623|Debug|WorkTask.WriteErrorToBase|Не удалось найти cms у . Ошибка: http://zakordon.top

 

2021/01/24 09:53:49.332|Debug|WorkTask.LoadSiteData|Отправлен запрос http://robot-gamers.ru/ Прокси: 
2021/01/24 09:53:49.432|Debug|WorkTask.LoadSiteData|Site: robot-gamers.ru Error: Доступ к закрытому потоку невозможен. 
2021/01/24 09:53:49.448|Debug|WorkTask.LoadSiteData|Получен успешный ответ от robot-gamers.ru
2021/01/24 09:53:49.533|Debug|WorkTask.LoadSiteData|Отправлен запрос http://robot-gamers.ru/index.php?option=com_user&task=register Прокси: 
2021/01/24 09:53:49.611|Debug|WorkTask.LoadSiteData|Site: robot-gamers.ru Error: Доступ к закрытому потоку невозможен. 
2021/01/24 09:53:49.629|Debug|WorkTask.LoadSiteData|Получен успешный ответ от robot-gamers.ru
2021/01/24 09:53:49.629|Debug|WorkTask.LoadSiteData|Отправлен запрос http://robot-gamers.ru/index.php/component/users/?view=registration Прокси: 
2021/01/24 09:53:49.733|Debug|WorkTask.LoadSiteData|Site: robot-gamers.ru Error: Доступ к закрытому потоку невозможен. 
2021/01/24 09:53:49.733|Debug|WorkTask.LoadSiteData|Получен успешный ответ от robot-gamers.ru
2021/01/24 09:53:49.764|Debug|WorkTask.LoadSiteData|Отправлен запрос http://robot-gamers.ru/modules.php?name=Your_Account Прокси: 
2021/01/24 09:53:49.811|Debug|WorkTask.LoadSiteData|Ошибка при обращении к robot-gamers.ru, код ошибки NotFound
2021/01/24 09:53:49.811|Debug|WorkTask.LoadSiteData|Отправлен запрос http://robot-gamers.ru/member/ Прокси: 
2021/01/24 09:53:49.912|Debug|WorkTask.LoadSiteData|Site: robot-gamers.ru Error: Доступ к закрытому потоку невозможен. 
2021/01/24 09:53:49.912|Debug|WorkTask.LoadSiteData|Получен успешный ответ от robot-gamers.ru
2021/01/24 09:53:49.934|Debug|WorkTask.LoadSiteData|Отправлен запрос http://robot-gamers.ru/index.php?act=dispMemberLoginForm Прокси: 
2021/01/24 09:53:50.030|Debug|WorkTask.LoadSiteData|Site: robot-gamers.ru Error: Доступ к закрытому потоку невозможен. 
2021/01/24 09:53:50.030|Debug|WorkTask.LoadSiteData|Получен успешный ответ от robot-gamers.ru
2021/01/24 09:53:50.050|Debug|WorkTask.LoadSiteData|Отправлен запрос http://robot-gamers.ru/home.php Прокси: 
2021/01/24 09:53:50.097|Debug|WorkTask.LoadSiteData|Ошибка при обращении к robot-gamers.ru, код ошибки NotFound
2021/01/24 09:53:50.097|Debug|WorkTask.LoadSiteData|Отправлен запрос http://robot-gamers.ru/guestbook.php Прокси: 
2021/01/24 09:53:50.134|Debug|WorkTask.LoadSiteData|Ошибка при обращении к robot-gamers.ru, код ошибки NotFound
2021/01/24 09:53:50.134|Debug|WorkTask.LoadSiteData|Отправлен запрос http://robot-gamers.ru/bbs.cgi Прокси: 
2021/01/24 09:53:50.181|Debug|WorkTask.LoadSiteData|Ошибка при обращении к robot-gamers.ru, код ошибки NotFound
2021/01/24 09:53:50.197|Debug|WorkTask.LoadSiteData|Отправлен запрос http://robot-gamers.ru/gastenboek.php Прокси: 
2021/01/24 09:53:50.250|Debug|WorkTask.LoadSiteData|Ошибка при обращении к robot-gamers.ru, код ошибки NotFound
2021/01/24 09:53:50.250|Debug|WorkTask.LoadSiteData|Отправлен запрос http://robot-gamers.ru/light.cgi Прокси: 
2021/01/24 09:53:50.313|Debug|WorkTask.LoadSiteData|Ошибка при обращении к robot-gamers.ru, код ошибки NotFound
2021/01/24 09:53:50.331|Debug|WorkTask.LoadSiteData|Отправлен запрос http://robot-gamers.ru/CGI/guestbook?page=1 Прокси: 
2021/01/24 09:53:50.435|Debug|WorkTask.LoadSiteData|Site: robot-gamers.ru Error: Доступ к закрытому потоку невозможен. 
2021/01/24 09:53:50.435|Debug|WorkTask.LoadSiteData|Получен успешный ответ от robot-gamers.ru
2021/01/24 09:53:50.451|Debug|WorkTask.LoadSiteData|Отправлен запрос http://robot-gamers.ru/Guestbook.php Прокси: 
2021/01/24 09:53:50.498|Debug|WorkTask.LoadSiteData|Ошибка при обращении к robot-gamers.ru, код ошибки NotFound
2021/01/24 09:53:50.498|Debug|WorkTask.LoadSiteData|Отправлен запрос http://robot-gamers.ru/seo-joy.cgi Прокси: 
2021/01/24 09:53:50.551|Debug|WorkTask.LoadSiteData|Ошибка при обращении к robot-gamers.ru, код ошибки NotFound
2021/01/24 09:53:50.551|Debug|WorkTask.LoadSiteData|Отправлен запрос http://robot-gamers.ru/yybbs.cgi Прокси: 
2021/01/24 09:53:50.582|Debug|WorkTask.LoadSiteData|Ошибка при обращении к robot-gamers.ru, код ошибки NotFound
2021/01/24 09:53:50.598|Debug|WorkTask.LoadSiteData|Отправлен запрос http://robot-gamers.ru/guestbook Прокси: 
2021/01/24 09:53:50.683|Debug|WorkTask.LoadSiteData|Site: robot-gamers.ru Error: Доступ к закрытому потоку невозможен. 
2021/01/24 09:53:50.698|Debug|WorkTask.LoadSiteData|Получен успешный ответ от robot-gamers.ru
2021/01/24 09:53:50.698|Debug|WorkTask.LoadSiteData|Отправлен запрос http://robot-gamers.ru/aska.cgi Прокси: 
2021/01/24 09:53:50.767|Debug|WorkTask.LoadSiteData|Ошибка при обращении к robot-gamers.ru, код ошибки NotFound
2021/01/24 09:53:50.767|Debug|WorkTask.LoadSiteData|Отправлен запрос http://robot-gamers.ru/jax_guestbook.php Прокси: 
2021/01/24 09:53:50.830|Debug|WorkTask.LoadSiteData|Ошибка при обращении к robot-gamers.ru, код ошибки NotFound
2021/01/24 09:53:50.830|Debug|WorkTask.LoadSiteData|Отправлен запрос http://robot-gamers.ru/default.asp Прокси: 
2021/01/24 09:53:50.868|Debug|WorkTask.LoadSiteData|Ошибка при обращении к robot-gamers.ru, код ошибки NotFound
2021/01/24 09:53:50.868|Debug|WorkTask.LoadSiteData|Отправлен запрос http://robot-gamers.ru/album.cgi Прокси: 
2021/01/24 09:53:50.937|Debug|WorkTask.LoadSiteData|Ошибка при обращении к robot-gamers.ru, код ошибки NotFound
2021/01/24 09:53:50.937|Debug|WorkTask.LoadSiteData|Отправлен запрос http://robot-gamers.ru/guestbook.php Прокси: 
2021/01/24 09:53:50.983|Debug|WorkTask.LoadSiteData|Ошибка при обращении к robot-gamers.ru, код ошибки NotFound
2021/01/24 09:53:50.983|Debug|WorkTask.LoadSiteData|Отправлен запрос http://robot-gamers.ru/scarbook.php Прокси: 
2021/01/24 09:53:51.015|Debug|WorkTask.LoadSiteData|Ошибка при обращении к robot-gamers.ru, код ошибки NotFound
2021/01/24 09:53:51.032|Debug|WorkTask.LoadSiteData|Отправлен запрос http://robot-gamers.ru/guestbook.html Прокси: 
2021/01/24 09:53:51.084|Debug|WorkTask.LoadSiteData|Ошибка при обращении к robot-gamers.ru, код ошибки NotFound
2021/01/24 09:53:51.084|Debug|WorkTask.LoadSiteData|Отправлен запрос http://robot-gamers.ru/gaestebuch.php Прокси: 
2021/01/24 09:53:51.135|Debug|WorkTask.LoadSiteData|Ошибка при обращении к robot-gamers.ru, код ошибки NotFound
2021/01/24 09:53:51.137|Debug|WorkTask.LoadSiteData|Отправлен запрос http://robot-gamers.ru/apps/guestbook Прокси: 
2021/01/24 09:53:51.237|Debug|WorkTask.LoadSiteData|Site: robot-gamers.ru Error: Доступ к закрытому потоку невозможен. 
2021/01/24 09:53:51.237|Debug|WorkTask.LoadSiteData|Получен успешный ответ от robot-gamers.ru
2021/01/24 09:53:51.237|Debug|WorkTask.LoadSiteData|Отправлен запрос http://robot-gamers.ru/g_book.cgi Прокси: 
2021/01/24 09:53:51.284|Debug|WorkTask.LoadSiteData|Ошибка при обращении к robot-gamers.ru, код ошибки NotFound
2021/01/24 09:53:51.284|Debug|WorkTask.LoadSiteData|Отправлен запрос http://robot-gamers.ru/gb.php Прокси: 
2021/01/24 09:53:51.331|Debug|WorkTask.LoadSiteData|Ошибка при обращении к robot-gamers.ru, код ошибки NotFound
2021/01/24 09:53:51.331|Debug|WorkTask.WriteErrorToBase|Не удалось найти cms у . Ошибка: http://robot-gamers.ru

Если посмотреть вручную с того же сервера, то сайты открываются и сразу видно что это cms dle.

Да, также есть, конечно, сайты, которые не доступны именно с айпи сервера, видимо, для работы с DLE нужно и прокси включать при чекере CMS.

 

10 минут назад, Administrator сказал:

Многое зависит от того, как именно вы собирали. Мы не можем знать, как именно вы это делали. Можем только предполагать, что вы что-то делали не так.

Возьмите конкретные признаки и работайте по ним. В чём проблема?

Иначе по факту получается, что вы не разобрались, а уже начинаете наговаривать, что что-то не работает.

А как тут можно сделать что-то не так?

Во-первых, я уже лет 5 точно работаю с парсингами ПС, тут, имхо, невозможно, допустить ошибку.

Во-вторых, тут же по сути все очень просто, берем признаки, парсим нужную ПС, берем результат, загружаем в чекер и ждем, на выходе забираем результат, никаким настройки тут по сути нельзя повлиять на пробив, только если совсем взять огромный левый список словарей для парсинга.

Вот так выглядят признаки в файле: https://prnt.sc/xj8gn6 Парсинг идет через ПС Гугл, софт а-парсер.

Могу вам все эти линки скинуть, если нужно.

Также сейчас подумал, может быть как-то еще айпи повлиял сервера в чекере, так как в DLE было явно видно, что на некоторых сайтах бан с айпи.

Попробую проверить cms на этих донорах с использованием проксей, может быть это что-то изменит.

Изменено 24 января 2021 пользователем kontakt

[Administrator 1 582]

8 часов назад, kontakt сказал:

Прокси при чеке cms я не использую. Вот пример двух сайтов:

Включите расширенные логи для определения CMS. Там где указываете потоки для чекера CMS, есть иконка в виде шестерёнки, кликните по ней и включите дополнительное логирование. По результатам будут создаваться html файлы с полученным ответом. И эту информацию уже можно использовать для изучения.

8 часов назад, kontakt сказал:

А как тут можно сделать что-то не так?

Если вы не смогли найти другие CMS, очевидно вы делали что-то не так.

8 часов назад, kontakt сказал:

Если посмотреть вручную с того же сервера, то сайты открываются и сразу видно что это cms dle.

Конкретно данный пример, не определяется и у нас. Возможно там есть какие-то дополнительные особенности. 

И на заметку, если вы просто пропишите %cms% в настройках базы и отключите проверку cms, для определённого ряда CMS это может привести к некорректной работе, имейте это ввиду.

По подобным примерам, вы можете, как написать в поддержку:

• https://xneolinks.com/forums/support/

Так и создать баг-репорт в соответствующем разделе:

• http://xneolinks.com/forums/bugtrack/

8 часов назад, kontakt сказал:

Во-первых, я уже лет 5 точно работаю с парсингами ПС, тут, имхо, невозможно, допустить ошибку.

Серьёзно? Тогда как вы не нашли ни одну другую CMS?

8 часов назад, kontakt сказал:

Во-вторых, тут же по сути все очень просто, берем признаки, парсим нужную ПС, берем результат, загружаем в чекер и ждем, на выходе забираем результат

Всё так, но по факту у вас на выходе получилось собрать только bitrix, dle, wordpress.

И весьма очевидно, что значит вы что-то делали неправильно.

Мы пишем, пробуйте работать по конкретным признакам. Смотрите выдачу в ручную по признакам, составляйте свои следы на основе примеров.

[kontakt 26]

11 минут назад, Administrator сказал:

Если вы не смогли найти другие CMS, очевидно вы делали что-то не так.

Ну не то, чтобы совсем не нашел другие cms, просто там их очень мало.

Есть много разных cms после определения чекера, но там доноров по 1-5 штук не более.

 

13 минут назад, Administrator сказал:

И на заметку, если вы просто пропишите %cms% в настройках базы и отключите проверку cms, для определённого ряда CMS это может привести к некорректной работе, имейте это ввиду.

Как раз этот вопрос и хотел еще уточнить. Подскажите, пожалуйста, как правильно прописывать? Сейчас как я делаю, беру штук 15 сайтов нужной мне cms, запускаю встроенный чекер, далее иду в %appdata%\xneolinks\data\ и смотрю там формат ссылок и делаю ссылки подобные в базе.

По признакам выложенным на форуме, скорее всего еще может быть такое, что признаки "устарели", т.е. за 4 года могло многое поменяться, в том числе может даже сайта уже не быть, но Гугл бывает что долго хранит инфу в индексе , либо просто обновилась cms, а там уже другие признаки и так далее.

По чекеру в следующий раз обязательно буду скидывать примеры, если чекер не правильно будет определять cms или вообще не определять ее.

Если честно, когда я создавал эту тему, думал, что кто работает с софтом напишет свои пожелания по чекеру.

Также хотел бы заметить, что почему-то и чекер сам сильно грузит систему, хоть это get запросы. Хотелось чтобы, если возможно, его работу также оптимизировали. Такое ощущение складывается, что там вместе с запросом get запускается браузер, у меня просто было такое же в зенке, написал проект на гет запросах, а нагрузка была большой на систему, в итоге оказалось, что также запускался браузер, отключил браузер и смог ставить хоть 500-700 потоков.

[creckwell 20]

Интересует тоже вопрос по чекеру.

Куда можно добавить свои признаки, что бы расширить чекер?

[ROI 57]

1 минуту назад, creckwell сказал:

Интересует тоже вопрос по чекеру.

Куда можно добавить свои признаки, что бы расширить чекер?

"Менеджер CMS" смотри

Изменено 24 января 2021 пользователем Rost

[Administrator 1 582]

3 минуты назад, creckwell сказал:

Куда можно добавить свои признаки, что бы расширить чекер?

По встроенным CMS, только писать нам и прикладывать примеры, где не находит CMS.

[kontakt 26]

Только что, Administrator сказал:

По встроенным CMS, только писать нам и прикладывать примеры, где не находит CMS.

А почему не хотите открыть доступ к встроенным cms? Так, имхо, вам будет проще.

Или просто там есть какие-то наработки ваши, которые вы не хотите, что попадали в паблик, только поэтому?

[Administrator 1 582]

18 минут назад, kontakt сказал:

Как раз этот вопрос и хотел еще уточнить. Подскажите, пожалуйста, как правильно прописывать?

Не делать так. Если вы хотите использовать исключения для CMS, используйте встроенный функционал для этого. Если не находит страницу регистрации, авторизации - аналогично. Если вы хотите получить %options%, проверяйте чекером CMS и получайте список. 

Данные для %options% нужно указывать, только если вы разобрались и полностью понимаете, как это работает и в каком виде нужно указывать данные.

18 минут назад, kontakt сказал:

По признакам выложенным на форуме, скорее всего еще может быть такое, что признаки "устарели", т.е. за 4 года могло многое поменяться

Поисковики не стоят на месте и некоторые признаки просто заблокированы для поиска. Но не видим трудности в ручную поменять признак, чтобы всё работало.

5 минут назад, kontakt сказал:

Или просто там есть какие-то наработки ваши, которые вы не хотите, что попадали в паблик, только поэтому?

Именно так.

[creckwell 20]

22 минуты назад, Administrator сказал:

По встроенным CMS, только писать нам и прикладывать примеры, где не находит CMS.

Ну было бы не плохо иметь такую возможность.

У меня, как и у многих тут, есть свои также наработки, признаки и тд. Которым не хотелось бы делится, и этим каждый из нас и разный получается.

То есть не так будут убиваться базы, и что то типа такого.

Жаль конечно что такого решения нет. Можно просто хоть вынести отдельный файл для этого. То есть что бы чекер пользовался Вашой наработкой, если не находил, то использовал бы дополнительный файл.

 

Думаю такое не трудно доработать )))

Изменено 24 января 2021 пользователем creckwell