Форум Сайтостроение Веб-строительство

Альтернативный DLE Граббер

12345678 ...10
Sergey Gr.
На сайте с 21.10.2008
Offline
48
Sergey Gr.
13941

Добрый день. Предлагаю вашему вниманию DLE Grabber написанный на PHP.

Сразу скажу, что за его основу был взят другой популярный граббер, однако до 80% его кода было переписано, так что

данный скрипт является уникальным и до этого дня не распространяемым.

DLE порталы очень популярны в рунете, отсюда и актуальность данной темы.

Особенности скрипта:

  • Скрипт полностью автономен и самодостаточен.
    • При покупке скрипта вы получаете, также, техническую поддержку
  • Скрипт не привязан к конкретному движку.
    • можно использовать на любой CMS (подробнее о механизме ниже)
  • Два режима работы.
    • >>Классический режим:>>Пакетный режим:Преимущества данного режима:
  • Универсальность.
    • На некоторых DLE (да и не только) сайтах стоит анти-спам защита (ограничение количества обращений с одного IP в период времени)почему-то авторы других грабберов об этом предпочитают не задумываться. Данный же скрипт имеет опцию ограничения количества одновременных запросов с указанием интервала для паузы. Что, конечно, увеличивает время граббинга, но все же оставляет его автоматизированным даже на сайтах с анти-спам защитой(на большинстве серверов она по понятным причинам как раз отключена)
  • Оптимизация.
    • Работа с граббером максимально нацелена на оптимизацию. Тут вам на помощь конфиги, расположенные в отдельной директории, где вы можете указать реквизиты пользователя (для граббинга с автозированной сессией) по умолчанию, перечень ваших категорий, куда вы добавляете новости и ряд других опций. По желанию, мы можем оптимизировать скрипт персонально для вас
  • Надеждый механизм работы.
    • Это очень полезно, если объем получаемого контента большой, - ведь в этом случае возобновление работы
    после любого сбоя не представляет проблем    а скрипт сам определит какие из статей уже получены, а какие предстоит сграбить
  • Расширяемость.
    • собственных модулей по обработке контента. В дистрибутив граббера включен модуль по загрузке
    картинок в указанную директорию
  • Стоимость.
    • Стоимость данного скрипта - 25 WMZ. Форма оплаты - WebMoney.
    • Полный дистрибутив скрипта, с оригинальным кодом и документацией;
    • Отсутствие ограничений по времени использования;
    • Отсутствие привязок (к домену/IP/....);
    • Бесплатную техническую поддержку по почте и ICQ в течении месяца;
    • Бесплатную услугу по написанию драйвера под вашу CMS в кратчайшие сроки;

  • Итого

    • По любым вопросам можете обращаться по ICQ: 494-897-304.

    Если вас заинтересовал граббер, я могу вам предоставить ссылку на демонстрационную онлайн версию,

    где вы можете протестировать его на сайтах, которые вам интересны. Пишите!


    P.S. Изначально, данный скрипт писался для личных целей и ранее не распространялся. Большая просьба к покупателям - не спешите выкладывать его в паблик. Я сознательно отказался от кодирования и обсуфикации кода, а также привязки к домену / IP для удобства тех, кто им пользуется.

    Как я уже писал выше, для использования полученного контента на какой-либо CMS (сайте, движке), необходим персональный драйвер.
    Драйвера для пакетного и классического режимов различаются.
    На данный момент драйвера написаны только для форума Invision Power Board v 2.3.x.
    В дистрибутив, также, включен демонстрационный драйвер (классический), который просто показывает сграбленные новости (он же используется в демонстрационной он-лайн версии).

    И еще раз повторюсь - каждому покупателю, в случае необходимости, будет написан драйвер для его CMS.

    Хортица
    На сайте с 22.12.2006
    Offline
    289
    Хортица
    #1

    Если я предоставлю 1 сайт на ДЛЕ ,на котором стоит защита, и Вы его сграбите, я куплю у Вас данный продукт, если нет, ВЫ более не будете продавать его тут, или измените его описание. Договорились ?

    На XBit.Money (https://xbit.money/?rid=111) меняю крипту на гривны. Лучшие курсы Обмен Вашего PayPal/ЯД/QIWI/WebMoney и куча плюшек! Рекомендую (https://exchangex.ru/index.php?who=26749)
    Sergey Gr.
    На сайте с 21.10.2008
    Offline
    48
    Sergey Gr.
    #2
    Хортица:
    Если я предоставлю 1 сайт на ДЛЕ ,на котором стоит защита, и Вы его сграбите, я куплю у Вас данный продукт, если нет, ВЫ более не будете продавать его тут, или измените его описание. Договорились ?

    Согласен. Напишите мне в ICQ - проведем эксперимент, если сграбить не удастаться - я добавлю в описание примечание о том, что есть сайты с защитой, которая грабберу неподсильна. Спасибо за интерес!

    Sergey Gr. добавил 01.09.2009 в 19:15

    Полноценно сграбить сайт предоставленный Хортица не удалось, поэтому еще раз подчеркиваю, что универсальность граббера имеет обратные стороны - граббер может некорректно работать с DLE сайтами, на которых изменен скелет шаблона.

    Все, кто хочет протестировать граббер на каком-либо сайте - you are welcome :)

    eTarget 2011:Панельная дискуссия «Стратегия eTarget 2011: Круглый стол Могут ли «плохие» входящие
    Sergey Gr.
    На сайте с 21.10.2008
    Offline
    48
    Sergey Gr.
    #3

    Готова новая версия.

    - Улучшено ядро скрипта;

    - Добавлена возможность рандомизации времени размещения новостей;

    - Добавлена возможность проверки новостей на уникальность перед размещением;

    В дистрибутив также входят:

    - Драйвер для форума Simple Machines Russian;

    - Драйвер для форума Invision Power Board

    - Драйвер для DataLife Engine (DLE)

    - Несколько новых опциональных модулей по обработке новостей

    --------------------------------------------------------------------------------

    Кого заинтересовало - пишите в ICQ: 494-897-304

    YouTube улучшит процесс загрузки NetPromoter выпускает вторую версию
    Sergey Gr.
    На сайте с 21.10.2008
    Offline
    48
    Sergey Gr.
    #4

    Обновление:

    - Добавлен драйвер для WordPress

    - Добавлена возможность распределения импортируемых новостей по времени (поэтапное импортирование)

    - добавлема система авторизации для доступа к скрипту

    + несколько других новых функций

    Sergey Gr.
    На сайте с 21.10.2008
    Offline
    48
    Sergey Gr.
    #5

    Рад сообщить, что сегодня вышло обновление.
    Просьбы клиентов учитываются и впоследствии выполняются.

    Текущий функционал:

    • Поддержка авторизаций на сайте-источнике для получения элементов, недоступных гостям;
    • Возможнсоть получения новостей определенной категории или всех новостей, публекуемых на главной странице;
    • Возможность ограничения количества одновременных запросов с указанием интервала для паузы;*
    • Возможность добавления "случайных" дат при размещении новостей на Вашем сайте;
    • Возможность проверки новости на уникальность перед добавлением;
    • Возможность поэтапного добавления новостей на Ваш сайт;
    • Возможность автоматического определения категории новости по её содержимому (с помощью шаблонов));
    • Возможность автоматического добавления "подписей" в новости, где можно указать сайт, например, сайт-источник или ключевые слова;
    • Возможность цензурирования новостей;
    • Возможность "чистки" HTML-кода новости;
    • Возможность синонимизации текста (в дистрибутив входит открытая база синонимов Абрамова);

    Как и прежде, Вы можете написать мне в ICQ, чтобы протестировать демонстрационную онлайн версию граббера.

    eTarget 2011:Панельная дискуссия «Стратегия eTarget 2011: Круглый стол Отчет о конференции User
    Sergey Gr.
    На сайте с 21.10.2008
    Offline
    48
    Sergey Gr.
    #6

    Акция!

    До 8.10.2009 - стоимость скрипта всего 20 WMZ.

    Sergey Gr.
    На сайте с 21.10.2008
    Offline
    48
    Sergey Gr.
    #7

    Акция завершена. Зато появилась новая версия.

    Добавлены новые компоненты:

    - online-синонимизатор (с поддержкой неограниченного количества баз)

    - редактор новостей (в визуальном RTE-редакторе или на уровне HTML-кода)

    Sergey Gr.
    На сайте с 21.10.2008
    Offline
    48
    Sergey Gr.
    #8

    Цена граббера увеличивается до 35 wmz.

    В новой версии появилась возможность добавлять потоковые видео (IMBd) в нескольких режимах (в том числе и с полной загрузкой FLV-видео)

    Sergey Gr.
    На сайте с 21.10.2008
    Offline
    48
    Sergey Gr.
    #9

    Вышла новая версия.

    В связи с большим наплывом вопросов по работе с потоковым видео, опишу возможные варианты работы:

    - FLV Flash проигрыватель замещается любым своим (в комплекте с дистрибутивом идет один)

    - Сами FLV видео, по желанию, могут закачиваться на сервер. Делать это можно в двух режимах:

    • Автоматический: все видео закачивается скриптом через cURL;
    • Ручной: в конце парсинга страниц выводится список ссылок на видео, которое необходимо скачать и залить на сервер вручную;

    ---------------------------------------------

    Также, я готов продать нескольким людям скрипт по старой цене (25 wmz), при условии написания объективного отзыва о продукте.

    Sergey Gr.
    На сайте с 21.10.2008
    Offline
    48
    Sergey Gr.
    #10

    Итак, как и обещал, - выпускаю обновление. Постарался реализовать наиболее интересные предложения,

    которые мне поступили)


    - Добавлен универсальный конвертор формата текстовых баз синонимов;
    - добавлена возможность автоматического наложения водяного знака на картинки, если они загружаются на сервер;
    - добавлена возможность автоматического сохранения картинок в разные папки с сортировкой по дате (годам, месяцам)
    - добавлена система удаления текстовых совпадений из содержания новости по шаблонам;
    - добавлена возможность заключения всех ссылок новости в тег <noindex> ... </noindex>;
    - добавлена возможность автоматического расшифровывания dle ссылок (./engine/go.php) на сайте-источнике;
    + также множество других нововведений;

    Также, хочу еще раз прояснить некоторые моменты:

    - Текущая цена граббера 35 wmz;

    - Услуга бесплатной установки и настройки граббера действительна ТОЛЬКО для одного сайта.

    - Для всех клиентов обновления в течении 6 месяцев - бесплатны!

    eTarget 2011:Панельная дискуссия «Стратегия eTarget 2011: Круглый стол Могут ли «плохие» входящие
    12345678 ...10

    Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий