Войти
NeoBooker.ru
Добро пожаловать к нам в гости!
Наш сайт посвящён программе NeoBook, с помощью которой вы легко сможете создавать собственные мультимедиа-приложения без необходимости изучать сложные языки программирования! Зарегистрируйтесь, чтобы стать членом нашего сообщества.
  • Страница 1 из 1
  • 1
Модератор форума: DEMBEL, YURIY  
Парсер ленты форума для UCOZ
DEMBELДата: Сб, 05 Февраля 2011, 11:26 | Сообщение # 1
Наш дизайнер
Вот в общем, давно хотел сделать парсер ленты форума на ucoz. Предлагал Сергею сделать для информера. С утра посидел, накропал. Проверил на нескольких сайтах, вроде пашет, кому интересно проверьте еще, возможно на своих форумах если есть. Интересует универсальность работы на разных сайтах и средняя скорость работы. Это зависит от степени изменения стандартного кода форума и его (кода) загаженности, замедляющей парсинг. Для вытаскивания заданы 12 элементов, все значения (имена, ссылки) засовываются в отдельные массивы переменных проекта, с которыми можно уже работать и показывать как вздумается (предполагался браузер с собственной состряпанной таблицей). Вход пока без авторизации...

Вставлять ссылку вида

Code
http://адрес_сайта/forum/0-0-1-34

Скачать ехе (1,1 Мб)


Как задавать вопросы

Win7x64 SP1 Neobook v5.70 (Trial)
WinXP SP3 Neobook v5.62
 
СообщениеВот в общем, давно хотел сделать парсер ленты форума на ucoz. Предлагал Сергею сделать для информера. С утра посидел, накропал. Проверил на нескольких сайтах, вроде пашет, кому интересно проверьте еще, возможно на своих форумах если есть. Интересует универсальность работы на разных сайтах и средняя скорость работы. Это зависит от степени изменения стандартного кода форума и его (кода) загаженности, замедляющей парсинг. Для вытаскивания заданы 12 элементов, все значения (имена, ссылки) засовываются в отдельные массивы переменных проекта, с которыми можно уже работать и показывать как вздумается (предполагался браузер с собственной состряпанной таблицей). Вход пока без авторизации...

Вставлять ссылку вида

Code
http://адрес_сайта/forum/0-0-1-34

Скачать ехе (1,1 Мб)


Автор - DEMBEL
Дата добавления - 05 Февраля 2011 в 11:26
СергейДата: Сб, 05 Февраля 2011, 11:55 | Сообщение # 2
Необукер
Quote (DEMBEL)
Предлагал Сергею сделать для информера.
а он ведь сделал эскиз и попросил посмотреть набросок(дабы убедится правильно ли понял идею), но все кануло в лету
ps
Делал парсинг rss ленты
Работает на всех, которые я нашел в сети, сайтах юкоза


Сообщение отредактировано
Сергей - Сб, 05 Февраля 2011, 11:57
 
Сообщение
Quote (DEMBEL)
Предлагал Сергею сделать для информера.
а он ведь сделал эскиз и попросил посмотреть набросок(дабы убедится правильно ли понял идею), но все кануло в лету
ps
Делал парсинг rss ленты
Работает на всех, которые я нашел в сети, сайтах юкоза

Автор - Сергей
Дата добавления - 05 Февраля 2011 в 11:55
DEMBELДата: Сб, 05 Февраля 2011, 18:29 | Сообщение # 3
Наш дизайнер
я вроде писал, что идея правильная, но рсс лучше не использовать (он по тормозному обновляется), а парсить сразу страницу ленты.
Quote (Сергей)
Работает на всех, которые я нашел в сети, сайтах юкоза

хорошо, значит получилось более менее универсально. А скорость? На одном загаженном сайте процесс занимал до 20сек ((


Как задавать вопросы

Win7x64 SP1 Neobook v5.70 (Trial)
WinXP SP3 Neobook v5.62
 
Сообщениея вроде писал, что идея правильная, но рсс лучше не использовать (он по тормозному обновляется), а парсить сразу страницу ленты.
Quote (Сергей)
Работает на всех, которые я нашел в сети, сайтах юкоза

хорошо, значит получилось более менее универсально. А скорость? На одном загаженном сайте процесс занимал до 20сек ((

Автор - DEMBEL
Дата добавления - 05 Февраля 2011 в 18:29
ВадимДата: Вс, 06 Февраля 2011, 00:16 | Сообщение # 4
Генератор идей
Quote (DEMBEL)
парсер ленты форума
Клево! Мне понравилось! :)

У меня на первой мессаге указано 11,076 сек (парсилась лента этого форума).

Только кнопка "Отобразить в браузере" не работает... так надо?

Исходник будет? Для целей обучения очень здоровский пример получился, да еще и практически применимый!


Бесплатный онлайн курс программирования в VisualNEO Win (NeoBook)
 
Сообщение
Quote (DEMBEL)
парсер ленты форума
Клево! Мне понравилось! :)

У меня на первой мессаге указано 11,076 сек (парсилась лента этого форума).

Только кнопка "Отобразить в браузере" не работает... так надо?

Исходник будет? Для целей обучения очень здоровский пример получился, да еще и практически применимый!


Автор - Вадим
Дата добавления - 06 Февраля 2011 в 00:16
DEMBELДата: Вс, 06 Февраля 2011, 00:22 | Сообщение # 5
Наш дизайнер
еще не доделано до конца
Quote (Вадим)
Исходник будет?
да, в виде нб-функции. пусть народ ляпает информеры себе для сайтов.


Как задавать вопросы

Win7x64 SP1 Neobook v5.70 (Trial)
WinXP SP3 Neobook v5.62
 
Сообщениееще не доделано до конца
Quote (Вадим)
Исходник будет?
да, в виде нб-функции. пусть народ ляпает информеры себе для сайтов.

Автор - DEMBEL
Дата добавления - 06 Февраля 2011 в 00:22
ВадимДата: Вс, 06 Февраля 2011, 00:26 | Сообщение # 6
Генератор идей
Quote (DEMBEL)
да, в виде нб-функции. пусть народ ляпает информеры себе для сайтов.

Отличная затея! Куча народу сможет пользоваться себе на радость! thumbs_up


Бесплатный онлайн курс программирования в VisualNEO Win (NeoBook)
 
Сообщение
Quote (DEMBEL)
да, в виде нб-функции. пусть народ ляпает информеры себе для сайтов.

Отличная затея! Куча народу сможет пользоваться себе на радость! thumbs_up

Автор - Вадим
Дата добавления - 06 Февраля 2011 в 00:26
СергейДата: Вс, 06 Февраля 2011, 13:28 | Сообщение # 7
Необукер
Quote (DEMBEL)
парсить сразу страницу ленты
универсальность не получится, ты привязку на некоторые элементы делаешь к классам (стили)?! А кто задает имена классов?
Quote (DEMBEL)
На одном загаженном сайте процесс занимал до 20сек
ссылку в студию, я проверю завтра и отпишу. А на счет универсальности, что-то я сомневаюсь... Цепляться для парсинга практически не за что (имею ввиду то, что не изменится или будет работать у всех). То ли дело у xml все разграничено :D
 
Сообщение
Quote (DEMBEL)
парсить сразу страницу ленты
универсальность не получится, ты привязку на некоторые элементы делаешь к классам (стили)?! А кто задает имена классов?
Quote (DEMBEL)
На одном загаженном сайте процесс занимал до 20сек
ссылку в студию, я проверю завтра и отпишу. А на счет универсальности, что-то я сомневаюсь... Цепляться для парсинга практически не за что (имею ввиду то, что не изменится или будет работать у всех). То ли дело у xml все разграничено :D

Автор - Сергей
Дата добавления - 06 Февраля 2011 в 13:28
GorezcaidДата: Вс, 06 Февраля 2011, 13:50 | Сообщение # 8
Ветеран форума
Исходник показал скорость 3,329 сек, потом быстрее до 2 сек.
Насчет универсальности я тоже сомневаюсь.Но подстроить я думаю можно под любой сайт...
thumbs_up


Win7 Pro SP1 x64; NBv5.5.4rus,v5.6.2rus, v5.7.0en, Opera
 
СообщениеИсходник показал скорость 3,329 сек, потом быстрее до 2 сек.
Насчет универсальности я тоже сомневаюсь.Но подстроить я думаю можно под любой сайт...
thumbs_up

Автор - Gorezcaid
Дата добавления - 06 Февраля 2011 в 13:50
СергейДата: Вс, 06 Февраля 2011, 14:27 | Сообщение # 9
Необукер
Quote (Gorezcaid)
Но подстроить я думаю можно под любой сайт...
подстроить?? неужели ты думаешь, что подстройка займет пару примитивных действий юзера, типа нажать кнопку или поставить галочку...это утопия :D
Сейчас, слово "Подстройка" включает в себя миниум знания хтмл, чтоб орентироватся, что и откуда цеплять :)
Пока не будут на всех сайтах одинаковые "якоря", за которые можно цеплятся, про все остальное можно смело забыть. Многие имена классов совпадают, но тестил на одном форуме, и парсер половина выдал "лажу". И простой подстройкой там не обойтись, я минут 10 возился, пока не нашел в чем сабж. Зато на остальных 6 сработало, как часы :D
 
Сообщение
Quote (Gorezcaid)
Но подстроить я думаю можно под любой сайт...
подстроить?? неужели ты думаешь, что подстройка займет пару примитивных действий юзера, типа нажать кнопку или поставить галочку...это утопия :D
Сейчас, слово "Подстройка" включает в себя миниум знания хтмл, чтоб орентироватся, что и откуда цеплять :)
Пока не будут на всех сайтах одинаковые "якоря", за которые можно цеплятся, про все остальное можно смело забыть. Многие имена классов совпадают, но тестил на одном форуме, и парсер половина выдал "лажу". И простой подстройкой там не обойтись, я минут 10 возился, пока не нашел в чем сабж. Зато на остальных 6 сработало, как часы :D

Автор - Сергей
Дата добавления - 06 Февраля 2011 в 14:27
DEMBELДата: Вс, 06 Февраля 2011, 18:16 | Сообщение # 10
Наш дизайнер
Quote (Сергей)
ты привязку на некоторые элементы делаешь к классам (стили)?! А кто задает имена классов?
именно. а задает их юкоз, поэтому они везде будут одинаковы. но так пока получается не везде сделать. я уже тоже наткнулся на один форум где все ок кроме ссылок на картинку темы, ну там можно подкорректировать. лучше бы вы показывали ссылки на форумы где косячит, я буду смотреть что можно сделать.


Как задавать вопросы

Win7x64 SP1 Neobook v5.70 (Trial)
WinXP SP3 Neobook v5.62
 
Сообщение
Quote (Сергей)
ты привязку на некоторые элементы делаешь к классам (стили)?! А кто задает имена классов?
именно. а задает их юкоз, поэтому они везде будут одинаковы. но так пока получается не везде сделать. я уже тоже наткнулся на один форум где все ок кроме ссылок на картинку темы, ну там можно подкорректировать. лучше бы вы показывали ссылки на форумы где косячит, я буду смотреть что можно сделать.

Автор - DEMBEL
Дата добавления - 06 Февраля 2011 в 18:16
СергейДата: Вс, 06 Февраля 2011, 19:58 | Сообщение # 11
Необукер
DEMBEL, как ты реализовал счетчик?
Я сделал так: поставил таймер на 1 перед обработкой файлов, потом результат делю Math "[n]/1000/1000" "3" "[nn]".
 
СообщениеDEMBEL, как ты реализовал счетчик?
Я сделал так: поставил таймер на 1 перед обработкой файлов, потом результат делю Math "[n]/1000/1000" "3" "[nn]".

Автор - Сергей
Дата добавления - 06 Февраля 2011 в 19:58
DEMBELДата: Вс, 06 Февраля 2011, 20:06 | Сообщение # 12
Наш дизайнер
просто пустой таймер без интервала
TimerStart "Timer1" ""
тогда он даже не выполняется, а потом TimerStop и берем прошедшее время из переменной таймера и /1000


Как задавать вопросы

Win7x64 SP1 Neobook v5.70 (Trial)
WinXP SP3 Neobook v5.62
 
Сообщениепросто пустой таймер без интервала
TimerStart "Timer1" ""
тогда он даже не выполняется, а потом TimerStop и берем прошедшее время из переменной таймера и /1000

Автор - DEMBEL
Дата добавления - 06 Февраля 2011 в 20:06
  • Страница 1 из 1
  • 1
Поиск: