Какой фичи не хватает в xNeoLinks?

[goldendragon 59]

1.Добавьте в парсер, а можно и в саму программу, возможность использования гугла.переводчика в качестве пула прокси. Подробнее здесь

2. Сделайте возможность отбора "сырой" базы, т.е. на вход подается список сайтов, программа не регистрируется на них, а только проверяет возможность регистрации и на выходе указывает те сайты, на которых возможно провести регистрацию с указанием cms этого сайта. По сравнению с регистрацией эта операция займет намного меньше времени.

 

1. Добавьте возможность постинга статей в сервисы web 2.0.

Примеры сервисов

Web 2.0 Sites List
Serial No:	Web 2.0 Site	Page Rank
1	http://wordpress.com 	9
2	http://xing.com	9
3	http://bloglines.com	9
4	http://blogspot.com	9
5	http://issuu.com	9
6	http://academia.edu	8
7	http://livejournal.com	8
8	http://tumblr.com	8
9	http://friendfeed.com	8
10	http://goodreads.com	8
11	http://jimdo.com	8
12	http://storify.com	8
13	http://wix.com	8
14	http://myspace.com	8
15	http://weebly.com	8
16	http://salon.com	8
17	http://last.fm	8
18	http://blox.pl	7
19	http://getsatisfaction.com	7
20	http://jamendo.com	7
21	http://technorati.com	7
22	http://blog.de	7
23	http://slashdot.org	7
24	http://bravenet.com	7
25	http://miarroba.com	7
26	http://hatena.ne.jp	7
27	http://angelfire.lycos.com	7
28	http://wikidot.com	7
29	http://edublogs.org	7
30	http://evernote.com	7
31	http://tripod.lycos.com	7
32	http://zoho.com	7
33	http://drupalgardens.com	7
34	http://blog.fc2.com	7
35	http://groups.google.com	7
36	http://newsvine.com	7
37	http://synthasite.com	7
38	http://couchsurfing.org	7
39	http://webs.com	7
40	http://wikispaces.com	7
41	http://keepandshare.com	7
42	http://youblisher.com	7
43	http://deviantart.com	7
44	http://gawker.com	7
45	http://diigo.com	7
46	https://box.com	7
47	http://calameo.com	7
48	http://www.zoho.com	7
49	http://blog.pchome.com.tw	6
50	http://albawaba.com	6

[Administrator 1 582]

1 час назад, goldendragon сказал:

Добавьте возможность постинга статей в сервисы web 2.0.

В 18.12.2015 at 8:12 PM, Jyvvi сказал:

Хотелось бы Увидеть СамоОбучение. изменение логики.

Визуально увидеть весь процес от открытия до перехода до профиля и заполнения его , по надобности подкорректировать на не успешных ресурсах. как то так =)

В версии 3.7.4 можно будет обучать логику на основе макросов и вы сможете самостоятельно добавить поддержку данных web2.0 ресурсов, если будет желание. Если желания не будет, со временем мы сами добавим поддержку.

Браузер видимым делать не будем, есть ряд причин почему мы не хотим это делать, хоть и включить его дело изменение одного параметра. Возможно в будущем мы сделаем так, что бы отображался браузер, но вероятней всего это будет не скоро, не в ближайшие месяцы.

4 часа назад, Иван Дурак сказал:

Я сторонник ленивой школы и думаю тут таких очень много, суть идеи такая как в sape wizard сделать  , водишь ссылку на свой сайт , пароли от счетчиков, и программа собирает запросы и на какие страницы ссылаться 

Автоматический анализ в стиле  sape, seopult, в планах делать нет. Подобное долго реализуемо и вне концепции программы. Да и подобное - автосоздание анкоров, не всегда идеальное, обычно потом нужно затратить кучу времени на адаптацию, проще и эффективнее анкор-лист составлять самому, делая максимальное разнообразие, если вы продвигаете СДЛ. Насколько знаю, в этих системах есть импорт в xml результатов, на основе этого можно сконвертировать в html или bbcode и добавить в программу. В дополнение, если у сайта нет проиндексированных страниц, нет посещаемости, подобное авто-определение не работает в данных сервисах, и опять же - ручной подход.

1 час назад, goldendragon сказал:

Сделайте возможность отбора "сырой" базы, т.е. на вход подается список сайтов, программа не регистрируется на них, а только проверяет возможность регистрации и на выходе указывает те сайты, на которых возможно провести регистрацию с указанием cms этого сайта. По сравнению с регистрацией эта операция займет намного меньше времени.

В отношение чекера, есть в планах в виде утилиты. Как это будет реализовано и когда, сказать не могу, в планах это на ближайшие время.

 

[goldendragon 59]

Добавьте аналогично "Настройка ссылок" и "Настройка статей" еще и закладку "Настройка комментариев", из которой будут браться данные для комментариев и гостевых.

[Administrator 1 582]

2 часа назад, goldendragon сказал:

Добавьте аналогично "Настройка ссылок" и "Настройка статей" еще и закладку "Настройка комментариев", из которой будут браться данные для комментариев и гостевых.

Там где сейчас свободное место, вероятней всего появится возможность создавать опросы на форумах, с вариантами ответов :). Размещение комментариев можно делать в разных проектах.

Про настройку комментариев, обдумаем. Если актуально, жмём лайки к сообщению goldendragon с предложением разделение текстовок на информацию для профилей и комментариев, мы прислушаемся :).

[Jyvvi 14]

Сделайте работу прокси как в Хруме, есть источники , нажали на кнопку спарсились , проверились и готовы к работе. 

[ROI 57]

С какими Xneo+ сейчас работает досками объявлений и есть ли в перспективе дальнейшее развитие в данном направлении

[evol22 89]

10 час назад, Rost сказал:

С какими Xneo+ сейчас работает досками объявлений и есть ли в перспективе дальнейшее развитие в данном направлении

Как я понимаю перспектива самая радужная - возможность самому создавать модули под нужные движки. 

[ROI 57]

В 23.11.2015 at 11:26 PM, Andrey сказал:

Предлагаю добавить автоматизацию. Постинг в комментарии Facebook, Disqus, Cackle, Hypercomments, UCOZ. Также для других систем, где можно оставлять комментарии через соц-авторизацию.

 

В 26.11.2015 at 6:34 AM, Administrator сказал:

Остальные не нужны, данных примеров достаточно, чтобы понимать целесообразность автоматизации.  Повторюсь, есть в планах сделать подобное.

Как это будет выглядеть в новой версии?

[Sevip 40]

У меня такое предложение:

Сделайте много поточность проектов. То есть приведу пример:

Программа запущенна, идёт прогон. И вот вдруг возникла необходимость этот прогон поставить на паузу и запустить другой прогон. Что бы второй прошёл и потом можно было начать первый с того же самого места.

Я надеюсь что в моей тавтологии вы разберётесь, суть в том что бы можно было возобновлять любой прогон с места его остановки. даже если перед этим был другой проект запущен.

 

[Nonsys 101]

Rost,
Сможете сами добавлять нужные сайты. Думаю, все разберутся  

[Sevip 40]

Так же неплохо бы было реализовать функцию выключения компьютера после прогона  (возможно писал уже об этом, точно не помню)

Думаю она бы многим пригодилась, что бы комп не молотил впустую.

[Administrator 1 582]

3 часа назад, Sevip сказал:

У меня такое предложение:

Сделайте много поточность проектов. То есть приведу пример:

Программа запущенна, идёт прогон. И вот вдруг возникла необходимость этот прогон поставить на паузу и запустить другой прогон. Что бы второй прошёл и потом можно было начать первый с того же самого места.

Я надеюсь что в моей тавтологии вы разберётесь, суть в том что бы можно было возобновлять любой прогон с места его остановки. даже если перед этим был другой проект запущен.

Можно запомнить позицию, на которой остановилось выполнение, номер последнего пройденного сайта, отображаемого в статус баре. Сохранить это всё в отдельный проект. Затем при запуске, в настройках базы, указать позицию, номер, который вы запомнили и продолжить выполнение с места остановки, при той же базе и информации. Позиция не сохраняется в проекте, с целью избежания ошибок, т.к. если она будет запоминаться, есть риск, что можно про неё забыть и постоянно стартовать с N сайта, и не замечать этого.

[Sevip 40]

Да так тоже можно, НО если перед этим была какая то часть неуспешных то перепрогона по ним не будет, что тоже неочень хорошо.

[seodonor 66]

В Менеджер проверки индексации добавить html шаблон, где слева список сайтов, а справа столбцы с пс. Зеленым ДА проиндексированы, а красным НЕТ не проиндексированы.

[seodonor 66]

В парсере и в аддурилку не хватает кнопки паузы. Мне, к примеру, нужно не надолго приостановить и после продолжить. Особенно парсер, который создает большую нагрузку на цп.

В парсере не хватает:

- возможность задать до какой страницы парсить. К примеру, хочу парсить только до 5 страницы и дальше не идти.

- нет настроек задержки или есть - задержка перед переходом это оно? В секундах или в мс указывается?

В аддурилке не хватает:

- информативности, хотелось бы видеть с какого акка идет размещение

[Romka 2]

Полуавтоматичный прогон осуществить, чтоб была возможность) Или такое есть? Не нашел...

Есть много хороших сайтов, которые не пробиваются программами, но вручную можно разместить ссылку.

Чтоб программа заполняла формы, подтверждала письма и т.п. А работать можно было ручками немного.

[chij25 0]

самой думаю главной фичи которой не хватает, это скорость прогона, ну очень она маленькая, на базу 5к сылок уходит сутки, хотя тот же хрумер это выполняет минут за 20

сделать где это возможно постинг через пост/гет запросы, тогда думаю скорость в разы будет выше

и да забыл добавить, что бы потом не возникло вопросов, пробив у xneolinks раз в 200 выше чем у стороннего софта 

[Administrator 1 582]

1 час назад, chij25 сказал:

самой думаю главной фичи которой не хватает, это скорость прогона, ну очень она маленькая, на базу 5к сылок уходит сутки, хотя тот же хрумер это выполняет минут за 20

Но дело в том, что хрумер не сможет пройти те же самые ресурсы с той же эффективностью и той же скоростью. Это основной момент. Всё дело в эмуляции браузера, уже много про это писали, в программе полностью эмулируются все человеческие действия. Каждый поток - это отдельный человек, который открывает страницу в браузере, ждёт пока она загрузится, загружаются картинки, js, css (всё это создаёт нагрузку на процессор, к слову уже давно есть игры в браузере, и JS на некоторых ресурсах может грузить процессор значительно больше), затем заполняет все поля, ищет место, где можно разместится. И то что это полная эмуляция, это создаёт гораздо выше нагрузку.

В озвученной вами программе всё выполняется на post/get запросах и это вносит многочисленные ограничения и сложности разработки, а порой и невозможности (в том плане, что трудозартаты выше, предполагаемой пользы) автоматизировать некоторые моменты. Мы вынесли логику определения cms в post/get, как можете заметить проверка идёт очень быстро. Сделать то же самое с браузером - нельзя. Можно только в будущем говорить о повышение производительности и возможности увеличивать число потоков. Но это в любом случае не даст той скорости, которая на post/get! И такой скорости не будет в любом случае! Всё дело в используемых технологиях. Основной принцип xneolinks, программа может пройти там, где другие не могут. И именно этот момент достигается за счёт полной эмуляции.

1 час назад, chij25 сказал:

сделать где это возможно постинг через пост/гет запросы, тогда думаю скорость в разы будет выше

Мы всё же ориентируемся на полную эмуляцию. Это основа программы. Согласен, что многие cms очень легко можно сделать на post/get, но так же есть большое количество cms, где подобное будет крайне затруднительным и без эмуляции - невозможным (ничего невозможного нет, подзразуемеваю то же, что трудозартаты такие, что это не эффективно). Тысячи различных защит, любое ухищрение на JS способно остановить post/get, что не сказать про эмуляцию. Но да же в полной эмуляции есть свои моменты, и некоторые защиты не такие простые, где для автоматического распознавания необходимо затрачивать безумное количество времени, на подбор правильного алгоритма. Нюансов - очень много. Будь всё так просто, на post/get были бы сильные конкуренты, которые бы заставили нас задуматься и усомнится в выбранном методе . Но, мы в любом случае думаем о скорости, если брать в расчёт первую версию программы и то что сейчас, разница в скорости, как небо и земля, просто вы не застали, когда всё было ещё медленнее, например совсем недавно мы ускорили работу примерно в 2 раза. И всё ещё работаем над тем, как ускорить, совершенствуя алгоритм чекера cms. Ради интереса можете скачать какую-нибудь из версий, например 4.0.0 и сравнить. Да, в будущем обязательно можно будет добиться ещё более лучшей производительности, если переписать браузер. Но это не ближайшие перспективы. Но они есть и по своим соображениям думаю можно ещё ускорить работу раз в 5-20 (в зависимости от cms), есть куда расти в плане скорости. Но это задача одна из самых ресурсоёмких и в силу того, что ещё есть моменты, КПД от которых для вас будет намного интересней, в плане результатов и более лучшего взаимодействия, мы делаем это. Но понимаем актуальность скорости и определённо этим займёмся.

 

А ещё эта тема уже не актуальна, есть отдельный раздел для пожеланий и предложений:

• http://xneolinks.com/forums/suggestions/

Всё туда.

[fusion77 18]

8 часов назад, Administrator сказал:

Да, в будущем обязательно можно будет добиться ещё более лучшей производительности, если переписать браузер.

Через сколько примерно наступит это будущее? Месяц, квартал, полугодие, год, два?

[kxk 3]

Пожалуйста добавьте парсинг проксей по ссылке раз в X  минут

[Administrator 1 582]

В 13.04.2017 at 3:41 PM, kxk сказал:

Пожалуйста добавьте парсинг проксей по ссылке раз в X  минут

Подобное реализовано:

Путь можно указывать не только локальный, но и URL до списка прокси.

Важно, прокси должны быть обязательно HTTP, поддерживаются только они.

В 12.04.2017 at 10:28 PM, fusion77 сказал:

Через сколько примерно наступит это будущее? Месяц, квартал, полугодие, год, два?

Не скоро, только по одной причине, что разработка подобного займёт от 2 месяцев. Нет конкретных дат. Но это есть в планах по развитию.
Основной упор сейчас будет на автоматизациях, улучшение логики.

 

[kxk 3]

1 час назад, Administrator сказал:

Важно, прокси должны быть обязательно HTTP, поддерживаются только они.

Гыы, незнал, сделайте подсказку:)

[creckwell 20]

Всем привет! Не хватает Менеджер индексации, или еще либо где))) В общем нужна функция, которая определяет, закрыта ли ссылка от индексации ноффолов, ноиндекс и роботс. Например, есть уже пробив, и мне отдельно нужно проверить, закрыта ли ссылка! У Вас офт уже умеет это делать при прогоне, сделайте пожалуйста что бы можно было чекать и отдельную базу.

[Administrator 1 582]

14 часа назад, creckwell сказал:

Всем привет! Не хватает Менеджер индексации, или еще либо где))) В общем нужна функция, которая определяет, закрыта ли ссылка от индексации ноффолов, ноиндекс и роботс. Например, есть уже пробив, и мне отдельно нужно проверить, закрыта ли ссылка! У Вас офт уже умеет это делать при прогоне, сделайте пожалуйста что бы можно было чекать и отдельную базу.

Есть в планах на ближайшие время. Но, данная тема не актуальна, все пожелания присылайте в специальный раздел:

• http://xneolinks.com/forums/suggestions/

За предложения можно голосовать, оставив отзыв. Тем самым, указав нам, что это нужный момент и на него стоит обратить внимание, реализовать.

[GigXeo 23]

Обнаружил баг. Запускаю ссылки на чекинг, из 58к чекает 18к, в ручную лучше проверяется, из неопределенных чекается еще 30% примерно. Но проблема основная вот в чем: он чекает ссылки и определяет цмс на доменах на которых давным давно нет никаких сайтов! - это как?!

Про обновления: мелочь, но желательно обновление системы скачивать не на диск С, а по месту нахождения программы.