Неправильно определяет доступность индексации.

[DEXploN 5]

Приветствую. Сейчас прогоняю кучу ссылок, по нечеканной базе. В настройках стоит проверка индексации, на текущий момент 50 сайтов успешно прогнано, но в чем проблема: по данным программы (промежуточный отчет) все сайты недоступны к индексации что яндекса, что гугла. База собрана из дефолтной+ которую выложили недавно на 4000 сайтов, тиц от 30. Проверил индексацию профилей через запросы inurl - куча профилей в индексе, следовательно запрета нет. Однако в отчете - все недоступны к индексации.

Так же присутствует отчет по "не найдена ссылка на странице". Выборочно проверил отчет - ссылка есть и профиль успешно зареган.

 

Пример профиля с ссылкой не найден ***

Пример профиля который нигде не индексируется: ***

Сразу же запрос : inurl:"***/forum/user/" - как видно куча профилей.

 

П.С. до этого все было нормально. На днях гонял статейно.

[Raski 0]

Пример профиля который нигде не индексируется: http://staraya-moneta.ru/forum/user/29831/

Так он и закрыт от индексации! Точнее сами ссылки.

[DEXploN 5]

Так он и закрыт от индексации! Точнее сами ссылки.

Именно с этим возможно касяк, пример неудачный. Но 100 из 100 неиндексация - это бред.

Дополнение к моему прошлому посту:

По той же базе попробовал прогнать просто страничку яндекса, индексация есть. Не может же быть разница в индексации от погоняемой ссылки.

Пример:

[sHOWTOGROUPS=3,4]

http://elrussia.ru/369669 - недоступна к индексации по версии программы.

http://elrussia.ru/369666 - доступна к индексации по версии программы.

[/sHOWTOGROUPS]

Возможно программа как то странно реагирует на сложные ссылки (гонял блоги К2), возможно не находит их.

Ссылки вставлял следующим образом:

[sHOWTOGROUPS=3,4]<a href="http://www.security-ua.com/index.php?option=com_k2&view=itemlist&task=user&id=16692">http://www.security-ua.com/index.php?option=com_k2&view=itemlist&task=user&id=16692</a>[/sHOWTOGROUPS]

Прогоняется успешно, но вот с проверкой индексации - проблема. Так же много ошибок "ссылка не найдена" - хотя профиль заполнен нормально и ссылка есть. Возможно в этом и есть проблема, сейчас прогнал тестово эту ссылку по 3 сайтам - все недоступны к индексации и все в логе "ссылка не найдена". П.с. при прогоне <a href="yandex.ru">yandex.ru</a> - все нормально.

Попробуйте сами ради интереса.

Мне кажется проблема в поиске сложной ссылки, коей является ссылка на блог К2. В общем баг

[sHOWTOGROUPS=3,4]

Архив с отчетом по прогону на 100 сайтах http://rghost.ru/84jC8h26X

Все (или почти) сайты находятся в логе "Не найдена ссылка на странице"

[/sHOWTOGROUPS]

[Administrator 1 582]

DEXploN, просьба писать в тематических разделах, а не в первой попавшейся на глаза теме. Если бы Raski не процитировал ваше сообщение, то мы его просто бы пропустили и оставили без внимание. Оно вам нужно? Да и флуд в темах - не есть хорошо и создаёт путаницу.

Проверил индексацию профилей через запросы inurl - куча профилей в индексе, следовательно запрета нет.

.

Нет, подобное не является следствием. В индексе могут находится страницы с запрещенной индексацией, если не встречали - всё впереди, алгоритмы ПС не проверяют ведь ежесекундно robots.txt, мета-теги на наличие запретов, они делают это время от времени. Как следствие вебмастер может закрыть от индексации сайт, а он может продолжать хранится в поисковой системе.

Также, существует и другой запрет, ссылки можно закрывать в noindex, nofollow, в этом случае страницы будут в индексе, но указанные на этих страницах ссылки не будут передавать вес. Как следствие - запрет есть. Это матчасть.

Именно с этим возможно касяк, пример неудачный. Но 100 из 100 неиндексация - это бред.

Если сайты были проверены, то да, это явно баг и мы изучим данную ситуацию. При выявление причины, исправим.

П.с. при прогоне <a href="yandex.ru">yandex.ru</a> - все нормально.

Если вы допустили ошибку в ссылке, то это может служить причиной, почему не найдена ссылка. Например в данном примере выдопустили ошибку, ссылку обязательно нужно указывать с http:// - эта мелочь может отразится на поиске успешного размещения. По этому, если у вас ситуация "не найдена ссылка" хотя она там есть, то с 99% вероятностью вы где-то ошиблись в проекте и дело не в программе.

[DEXploN 5]

DEXploN, просьба писать в тематических разделах, а не в первой попавшейся на глаза теме. Если бы Raski не процитировал ваше сообщение, то мы его просто бы пропустили и оставили без внимание. Оно вам нужно? Да и флуд в темах - не есть хорошо и создаёт путаницу.

Извините, пропустил специальный размер с багами.

Если вы допустили ошибку в ссылке, то это может служить причиной, почему не найдена ссылка. Например в данном примере выдопустили ошибку, ссылку обязательно нужно указывать с http:// - эта мелочь может отразится на поиске успешного размещения. По этому, если у вас ситуация "не найдена ссылка" хотя она там есть, то с 99% вероятностью вы где-то ошиблись в проекте и дело не в программе.

[sHOWTOGROUPS=3,4]Гонял вот эту ссылку: <a href="http://www.security-ua.com/index.php?option=com_k2&view=itemlist&task=user&id=16692">http://www.security-ua.com/index.php?option=com_k2&view=itemlist&task=user&id=16692</a>[/sHOWTOGROUPS]

И ей подобные. Ссылки из отчета по статейному прогону.

Возможно допустил ошибку, если да, то подскажите, пожалуйста, какую.

[Administrator 1 582]

Возможно допустил ошибку, если да, то подскажите, пожалуйста, какую.

Их может быть масса. Вы можете в слове <a href перепутать раскладку и указать русскими буквам "a" или "e" и не заметить. Можете не указать http:// у ссылки, можете не указать двойные кавычки, они также обязательны и обязательно " - эти. Если укажите одинарные кавычки ', также они не поддерживаются или есть ещё и другие варианты кавычек. Это, только предположения. Возможно что-то иное, а может и связано с тем, что не корректно определяет доступность к индексации страниц. Но если вы прогоняли с отключенной галочкой проверки индексации, то дело точно в проекте. Ну и без реальных примеров -можно только гадать, по примеру выше ошибок нет, но ведь вы могли указывать другие ссылки? Вы можете найти лог неуспешных, где ссылка есть и посмотреть в исходном коде как она выглядит и будет яснее.

[DEXploN 5]

Их может быть масса. Вы можете в слове <a href перепутать раскладку и указать русскими буквам "a" или "e" и не заметить. Можете не указать http:// у ссылки, можете не указать двойные кавычки, они также обязательны и обязательно " - эти. Если укажите одинарные кавычки ', также они не поддерживаются или есть ещё и другие варианты кавычек. Это, только предположения. Возможно что-то иное, а может и связано с тем, что не корректно определяет доступность к индексации страниц. Но если вы прогоняли с отключенной галочкой проверки индексации, то дело точно в проекте. Ну и без реальных примеров -можно только гадать, по примеру выше ошибок нет, но ведь вы могли указывать другие ссылки? Вы можете найти лог неуспешных, где ссылка есть и посмотреть в исходном коде как она выглядит и будет яснее.

Я гонял сначал все ссылки 300+, потом 10, потом только эту 1, которую скинул для примера. Разницы нет, всегда "неиндекскируемые", даже когда только 1.

[Administrator 1 582]

Я гонял сначал все ссылки 300+, потом 10, потом только эту 1, которую скинул для примера. Разницы нет, всегда "неиндекскируемые", даже когда только 1.

Я вам про ошибку "не удалось найти ссылку" говорю, а не про индексацию, с ней всё понятно и нужно нам смотреть, вероятней всего где-то ошибка в логике есть и будет исправлена.

[DEXploN 5]

Я вам про ошибку "не удалось найти ссылку" говорю, а не про индексацию, с ней всё понятно и нужно нам смотреть, вероятней всего где-то ошибка в логике есть и будет исправлена.

Мне кажется это взаимосвязано, потому что, как ссылка может быть "индексируема", если она вообще не найдена программой. По отчету же примерно 100 из 100 не найдены, и 100 из 100 неидексируемы.

В общем я донес, что хотел сказать, спасибо за оперативный ответ Надеюсь будет пофикшено в ближайших обновлениях, так как гонять блоги к2 по профилям очень нужно, так как они сложны в индексации.

[Administrator 1 582]

Мне кажется это взаимосвязано, потому что, как ссылка может быть "индексируема", если она вообще не найдена программой. По отчету же примерно 100 из 100 не найдены, и 100 из 100 неидексируемы.

Если подумать в этом ключе, возможно, но тогда возможен и тот факт, что проверка работает корректно, просто вы ошиблись в составление проекта. И никто не мешает прямо сейчас отключить проверку индексации и успешно работать, не дожидаясь обновления.

[DEXploN 5]

Если подумать в этом ключе, возможно, но тогда возможен и тот факт, что проверка работает корректно, просто вы ошиблись в составление проекта. И никто не мешает прямо сейчас отключить проверку индексации и успешно работать, не дожидаясь обновления.

Тоже вариант - пока работать без проверки.

Про составление проекта: там список базы и ссылка, которая по вашим словам составлена верно Больше ничего не вводил.

Кстати, еще один интересный момент: хоть в логе "ссылка не найдена" находятся все ссылки, они так же находятся и в html отчете, что странно, ведь в html отчете находятся только успешные и найденные ссылки. Это можно посмотреть в отчете, который я скинул.

[taub 25]

та же фигня - прогнал по баде К2 которую утт выкладывали, 308 успешных и у всех запрещена индексация и гуглом и яшей. так что это однозначно чтото поломалось.

[DEXploN 5]

Дополнение:

Сейчас гоняю по той же базе. Ссылка правильная и простая, просто адрес сайта (главная страница). Много ошибок "ссылка не найдена" хотя ссылка есть. Видно дело не только в сложности прогоняемых ссылок, но и в общем процессе поиска ссылки на странице.

Возможно как то еще зависит от CMS базы. Так как в отчетах где "ссылка не найдена" - явно группы определенных CMS.

[Administrator 1 582]

Дополнение:

Сейчас гоняю по той же базе. Ссылка правильная и простая, просто адрес сайта (главная страница). Много ошибок "ссылка не найдена" хотя ссылка есть. Видно дело не только в сложности прогоняемых ссылок, но и в общем процессе поиска ссылки на странице.

Я вам про ошибку "не найдена ссылка" или "не найден способ размещения" уже писал, если такая ошибка, значит вы ошиблись в проекте, либо сайт действительно не разрешает размещение для пользователя. Если вы пропустили сообщение, прочтите повторно http://xneolinks.com/forum/index.php?threads/nepravilno-opredeljaet-dostupnost-indeksacii.575/#post-6859 Особое внимание удалите мануалу и посмотрите на примеры.

[DEXploN 5]

Я вам про ошибку "не найдена ссылка" или "не найден способ размещения" уже писал, если такая ошибка, значит вы ошиблись в проекте, либо сайт действительно не разрешает размещение для пользователя. Если вы пропустили сообщение, прочтите повторно http://xneolinks.com/forum/index.php?threads/nepravilno-opredeljaet-dostupnost-indeksacii.575/#post-6859 Особое внимание удалите мануалу и посмотрите на примеры.

Так профиль то создается, и ссылка на нем есть. Однако этот профиль попадает в отчете в список "ссылка не найдена". Причем если посмотреть, это определенные CMS, а не в разноброс.

П.с гоняю просто главную страницу <a href="http://site.ru/">http://site.ru/</a>

П.с.2 не все профили попадают в "ссылка не найдена", а определенные CMS (я в них не очень разбираюсь)

[HIDE]

Примеры ссылок (3 вида, другие ссылки с такими же признаками тоже в "ссылка не найдена"):

http://www.kuhni-zakaz.ru/forum/profile.php?action=show&member=1045

http://piterkrov.ru/copilka/tools.php?event=profile&pname=Emota

http://colors-it.com/users.php?m=details&id=184544

[/HIDE]

[DEXploN 5]

В общем, кажется я понял... некоторые CMS почему то урезают слеш в конце ссылки, и программа не может найти ее...хотя она есть...

[DEXploN 5]

Похоже так оно и есть, в том числе и К2 (но немного по другому). Некоторые CMS искажают ссылки (одни убирают слеши в конце, другие экранируют, заменяя некоторые символы кодом или сущностями).

В К2 выходит так: мы пишем ссылку (не база К2, а именно гонял сами блоги К2 по профилям) для прогона

 

http://www.site.com/index.php?option=com_k2&view=itemlist&task=user&id=16692

 

а на сайте ссылка будет

http://www.site.com/index.php?option=com_k2&amp;view=itemlist&amp;task=user&amp;id=16692[/sHOWTOGROUPS]

Как видно заменяются символы & и поэтому ссылка не найдена.

Когда я гонял главную страницу, то гонял http://site.ru/ , а некоторые сайты урезали ссылку до http://site.ru и программа ее не может найти, так как ссылка изменена.

[DEXploN 5]

Вывод: нужно так же смотреть отчет "ссылка не найдена", там могут быть вполне годные профили/блоги.

[Administrator 1 582]

Вывод: нужно так же смотреть отчет "ссылка не найдена", там могут быть вполне годные профили/блоги.

Ваши цепочки выводов не верны. Не везде всё будет корректно, если в одном месте при неправильно сделанном проекте запишутся в неуспешные, то не факт, что это будет и с другой cms. Проверка идёт по главной и никакой якобы отсутствующий слеш, не является причиной.

Причина, как я выше вам написал (с огромной вероятностью) в неправильно созданном проекте, если вы напишите конкретные примеры, а не будете заменять их на несуществующие, я смогу вам помочь и подсказать, где и что не так.

Если вы открываете в исходном коде текст страницы, то естественно & будет заменяться на &amp;, в отчёте ссылки сохраняются корректно. И это также не будет причиной.

[DEXploN 5]

"admin писал:

Ваши цепочки выводов не верны. Не везде всё будет корректно, если в одном месте при неправильно сделанном проекте запишутся в неуспешные, то не факт, что это будет и с другой cms. Проверка идёт по главной и никакой якобы отсутствующий слеш, не является причиной.

Причина, как я выше вам написал (с огромной вероятностью) в неправильно созданном проекте, если вы напишите конкретные примеры, а не будете заменять их на несуществующие, я смогу вам помочь и подсказать, где и что не так.

Если вы открываете в исходном коде текст страницы, то естественно & будет заменяться на &amp;, в отчёте ссылки сохраняются корректно. И это также не будет причиной.

Вы в упор не хотите меня понять и видеть, что уже написано, я уже скидывал кучу примеров (Конкретные примеры) в этой теме. Все они находятся под хайдом. В отчетах ссылки корректные, я про это вообще ничего не говорил. Я говорю о том, что часть успешых профилей попадает в "Ссылка не найдена", хотя ссылка там есть. И это не программа ищет их неверно (она ищет полностью идентичную ссылку), а просто CMS меняет структуру ссылки. Хотя можно и в программе учесть на будущее возможное экранирование.

Продублирую:

 

1)Проект (через перевод строки другие тексты, но ссылки сделаны точно так же в них 😞

Я лично души не чаю посмотреть различные кинофильмы да и мульты. Точно так же очень нравится вести игру в видеоигры. В Занятиях спортом я лично уважаю футбол а также хоккей. Но если вы спросите, что лично я обожаю больше всего, я обожаю свою семью. Питать нежные чувств своих близких людей, это лучшие люди на планете. Хотя кинокартины я глядеть также люблю на ***

http://***.ru/forum/index.php?m=profile&u=17602 - Профиль, в котором программа нашла ссылку.

http://***.ru/forum/profile.php?action=show&member=799 - Профиль, в котором программа НЕ нашла ссылку.

Как видно, оба профиля заполнены, и ссылка в них есть. Но в чем же разница? Разница в том, что в первом профиле ссылка на страницу ***/'>***/ , а во втором на ***(CMS убрала слеш). Программа ищет *** (т.е. со слешем) и в первом случае она находит ссылку, а во втором нет, потому что там не ***/'>***, а http://***.ru.

2) Про К2

Проект с небольшим текстом, текст не сохранился:

***

Вы сами написали что ссылка верно составлена.

Профиль : http://***.ru/369669

Профиль заполнен, но программа НЕ находит в нем ссылку.

Почему? Потому в профиле ссылка

http://www.***/index.php?option=com_k2&view=itemlist&task=user&id=16692

А программа ищет ссылку из проекта http://www.***/index.php?option=com_k2&view=itemlist&task=user&id=16692

Естественно она ее не находит, потому что ссылка прошла экранирование, и изменила свой вид после постинга в профиль.

 

[Administrator 1 582]

Вы в упор не хотите меня понять и видеть, что уже написано, я уже скидывал кучу примеров (Конкретные примеры) в этой теме. Все они находятся под хайдом. *

К сожалению, в этой ситуации и вы не хотите слышать . Ну вот написали примеры и это очень сильно упростило понимание.

- По первому моменту и про слеш, нужно проверять, возможно да, специфика данной cms и нужно проверить, но опять же, если вы также указали ссылку как в примере ниже, то естественно здесь дело в вашем проекте, но на всякий случай - проверим.

- По моменту с статьей, как я и говорил, вы допустили ошибку в статье, зачем вы указывали ссылки в таком формате:

<A HREF="http://site.ru">site</A>

Ведь в примерах строго показано, как нужно указывать ссылки, регистр играет роль. Такой формат работать не будет. Но, если вы будете указывать ссылки в проекте так, как это показано в мануале, всё будет работать. Корректный пример:

<a href="http://site.ru">site</a>[/code]


Надеюсь это решит вопрос . Но а по поводу проверки noindex, nofollow, уже работаем над исправлением в 3.2 этот момент должен быть уже исправлен.

[DEXploN 5]

- По моменту с статьей, как я и говорил, вы допустили ошибку в статье, зачем вы указывали ссылки в таком формате:

<A HREF="http://site.ru">site</A>

Вы не могли бы указать цитатой, в каком месте я указал формат с верхним регистром? Я специально прошелся по всей теме и не нашел такого формата, мной указанного.

Но а по поводу проверки noindex, nofollow , уже работаем над исправлением в 3.2 этот момент должен быть уже исправлен.

Мое мнение что эти ошибки вытекают из "ссылка не найдена", сама проверка вроде работает корректно.

[Administrator 1 582]

Вы не могли бы указать цитатой, в каком месте я указал формат с верхним регистром? Я специально прошелся по всей теме и не нашел такого формата, мной указанного.

Это видно в исходном коде страницы, пример который вы указали. Раз там такое, значит это и вы указали в проекте. Не отрицайте, а лучше исправьте и поймите общую концепцию работы. Ссылки нужно указывать строго в том формате, в котором поддерживает программа. Примеры указывал уже и в этой теме и они есть в мануале.

Мое мнение что эти ошибки вытекают из "ссылка не найдена", сама проверка вроде работает корректно.

Мнение и факты - это два разных представления. Проблема в анализе nofollow и noindex есть и она не вытекает из "ссылка не найдена".

[DEXploN 5]

Это видно в исходном коде страницы, пример который вы указали. Раз там такое, значит это и вы указали в проекте. Не отрицайте, а лучше исправьте и поймите общую концепцию работы. Ссылки нужно указывать строго в том формате, в котором поддерживает программа. Примеры указывал уже и в этой теме и они есть в мануале.

Это же бред. Я скинул конкретный проект, по которому я гоняю, как Вы просили. В нем я НЕ указывал в верхнем регистре.

[DEXploN 5]

Вот еще один профиль с того же сайта, скидывал в топике уже:

http://***.ru/369666

Он УСПЕШНО зарегистрирован, ссылка в нем НАЙДЕНА, все ПРОИНДЕКСИРОВАНО , а ссылку я составлял с помощью программы (вставить html ссылку) - т.е. точно в нижнем регистре.

Однако в коде страницы так же <A HREF="http://site.ru">site</A>

[HIDE]<A HREF="http://yandex.ru">yandex.ru</A>[/HIDE]

Это вообще не показатель