Парсер liveinternet.ru

.:nbd:.
На сайте с 04.11.2008
Offline
98
18449

Написал вот парсер для Ливера. В принципе писал для себя и особо не заморачивался со всякими проверками и прочими штуками-дрюками. Сейчас немного его подправил и решил отдать в добрые руки.

Функцианал следующий:

1) проверка существования статистики в Ливере;

2) проверка доступность статистики без пароля;

3) поддержка proxy (паблик, приват с логином и пассом);

4) можно выставить слип;

5) парсить можно за период (в conf/config.php стоит ограничение в 7 дней, можно его увеличить на сколько нужно);

6) он умеет парсить Ливер =);

7) что-то еще.

Мана к нему нет, интерфейс итак интуитивно понятен.

Кому надо, берем отсуда.

Если будут баги (а они будут) пишите здесь, будет время исправлю.

Системные требования:

PHP 4 или 5 (парсеру пофигу), Curl, права на запись в папку keys.

Где брать статсы не закрытые паролем думаю знаете, если нет то Вам суда.

Палю тему Дорген (/ru/forum/439165) + кеи + контент (http://datarama.biz/) + еще немного кеев и скриптов (http://amazingsoftware.ru/) = $$$ Мы делаем доры, а не пишем романы (c) один Дима рефка dino_spomoni (http://goo.gl/w62v3)
Egi[s]
На сайте с 08.04.2007
Offline
244
#1

Так а для чего это нужно в больших обеъмах?

I
На сайте с 10.12.2007
Offline
27
#2

спасибо, потестирую щас

.:nbd:.
На сайте с 04.11.2008
Offline
98
#3
'Egi[s:
;4772472']Так а для чего это нужно в больших обеъмах?

Чесно, не понял вопроса =). Парсер тянет кеи по которым заходят на сайт "конкурентов" если статистика не прекрыта паролем.

Egi[s]
На сайте с 08.04.2007
Offline
244
#4

Все, я понял, спасибо :)

LA
На сайте с 03.06.2008
Offline
105
#5

Круто)) Такой софт в паблик выкладывать - респект =)

Баги:

1. Кодировка у календаря UTF-8, а у страницы WINDOWS-1251 - крякозяблы при нажатии на кнопку с выбором даты

2. parser.php - два раза запрос функций OpenStat() и CheckStat() - не гуд, сделай $error переменную и проверяй её в if'е

3. Странная логика в том же файле - вначале пишем кеи в файл (GetLIStat()), а потом проверяем можно ли туда писать?.. о_О

lord_alfred добавил 29.04.2009 в 18:23

4. В функции OpenStat() урл для проверки - "http://www.liveinternet.ru/stat/".$url . "/queries.html" - т.к. есть сайты, где закрыт именно этот раздел.

lord_alfred добавил 29.04.2009 в 18:25

5. Кеи парсятся в UTF-8, нужно добавить селект для выбора кодировки

.:nbd:.
На сайте с 04.11.2008
Offline
98
#6
lord_alfred:
Круто)) Такой софт в паблик выкладывать - респект =)

Баги:
1. Кодировка у календаря UTF-8, а у страницы WINDOWS-1251 - крякозяблы при нажатии на кнопку с выбором даты
2. parser.php - два раза запрос функций OpenStat() и CheckStat() - не гуд, сделай $error переменную и проверяй её в if'е
3. Странная логика в том же файле - вначале пишем кеи в файл (GetLIStat()), а потом проверяем можно ли туда писать?.. о_О

lord_alfred добавил 29.04.2009 в 18:23
4. В функции OpenStat() урл для проверки - "http://www.liveinternet.ru/stat/".$url . "/queries.html" - т.к. есть сайты, где закрыт именно этот раздел.

lord_alfred добавил 29.04.2009 в 18:25
5. Кеи парсятся в UTF-8, нужно добавить селект для выбора кодировки

Спс за тест, пофиксил, перезалил, ссылка там же.

B
На сайте с 07.07.2006
Offline
147
#7

.:nbd:., мега-респект!

mih4
На сайте с 15.04.2007
Offline
142
#8

прогнал им сайтик. все хорошо, но вот эти ограничения , только 7 дней ..

выкинь ты эти даты, лутше поставь парсить месяц..вводиш месяц и год. насколько понимаю, там только запрос изменить надо.

и прицепом техзадание.

можно сделать такое:

вводим список запросов.

по ним собираем первую 50 в яндексе, проверяем сайт на установленый счетчик ливера, и если есть пробуем парсить его..и так по списку.

да, не плохо бы что бы была возможность сохранять с колвом запросов по кею.

LA
На сайте с 03.06.2008
Offline
105
#9

У меня одного он парсит только 1й день и выплёвывает результат? >_< Битый час сижу пытаюсь исправить его, а он всё равно не хочет парсить дальше 1го дня %(

lord_alfred добавил 29.04.2009 в 22:03

Пля.. Там:

@fclose($fh);

return $keys;

не у той скобки стоит... %((

.:nbd:.
На сайте с 04.11.2008
Offline
98
#10

да, не плохо бы что бы была возможность сохранять с колвом запросов по кею.

К вечеру сделаю. Ограничение в 7 дней снимается в conf/config.php. Вместо 7 ставим 30 и парсим за 30 дней.

lord_alfred, еще раз спасибо за найденые баги, исправленная версия тут (форум не дает отредактировать первое сообщение). Просто изначально писался он для себя и в нем небыло вообще никаких проверок, логики, и т.д. =)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий