Просмотр полной версии : Разница между счетчиком и логами
Думаю это будет любопытно всем.
Затеялась дискуссия тут: http://forum.searchengines.ru/showpost.php?p=918821&postcount=241
Да, у него есть примущества, но недостатков все таки больше.
1. Перечислите, пожалуйста, преимущества лог-анализатора перед счетчиком в плане подсчета посетителей.
Если есть те, кто верит в "Посетителей надо считать именно счетчиком.", то ... Любой может поставить эксперимент и сгенерировать статистику, как счетчиком, так и из лог-файлов. Данные совпадут только в "идеальном случае", который недостижим.
Хм. Любопытно. Конечно данные будут отличаться. Я об этом всегда говорил. Анализатор просто некорректно считает повторные заходы одного пользователя (вернее вообще не считает), и неправильно считает вообще пользователей из-за единых корпоративных прокси на большое количество пользователей и из-за динамических IP.
Ответ от Pavel Grusha:
В первую очередь учет всех запросов. В этом топике уже упоминалось про заходы роботов и причина их неучета банальна - роботам не нужны картинки. Добавим отключенные картинки, недостаточное время для загрузки картинки, запросы изображений, файлов. С момента появления статистики через счетчики эти недостатки неоднократно отмечались.
Да, через стандартные лог-файлы невозможно учитывать уникальных посетителей, а лог-файлы с куками крайне слабо распространены и создатели анализаторов не ориетируются на такую задачу.
А по разнице в учете хитов тоже куки виноваты? Показатели счетчика практически всегда меньше данных, извлеченных из логов. Причины описаны выше.
В первую очередь учет всех запросов. В этом топике уже упоминалось про заходы роботов и причина их неучета банальна - роботам не нужны картинки. Добавим отключенные картинки, недостаточное время для загрузки картинки, запросы изображений, файлов. С момента появления статистики через счетчики эти недостатки неоднократно отмечались.
1. Роботов счетчик не учитывает. Согласен. Для этого мы специально сделали отдельный анализатор логов сервера в своей программе. К тому же я специально просил говорить именно о пользователях.
Отключенные картинки ... Вы не интересовались статистикой, сколько людей сейчас отключают картинки? Раньше, когда Интернет у всех был очень слабый - да, безусловно. Но сейчас, когда скорости и дешевизна интернета стали совсем другие таких людей осталось мизерное количество. И становится все меньше. Такая погрешность по сравнению с, мягко говоря, неправильным учетом пользователей по IP - сущая безделица.
Да, через стандартные лог-файлы невозможно учитывать уникальных посетителей, а лог-файлы с куками крайне слабо распространены и создатели анализаторов не ориетируются на такую задачу.
А по разнице в учете хитов тоже куки виноваты? Показатели счетчика практически всегда меньше данных, извлеченных из логов. Причины описаны выше.
Вот Вы пишите у мебя на сайте про маркетинг при помощи анализатора ... Какой маркетинг можно сделать по хитам? Нам нужны именно пользователи и их действия. Хиты в анализаторе могут нагонять те же роботы.
А причины, почему данных в счетчике меньше, заключаются не в отключении картинок, а опять же в этих качественно неверных способах определения пользователей. К тому же, счетчик с куками помнит пользователя, пришедшего вчера, неделю назад, месяц .... Анализатор же радостно считает его за нового :)
А что нужно маркетологам? Много, или правильно?
Pavel Grusha
15.09.2005, 16:31
Отключенные картинки ... Вы не интересовались статистикой, сколько людей сейчас отключают картинки? Раньше, когда Интернет у всех был очень слабый - да, безусловно. Но сейчас, когда скорости и дешевизна интернета стали совсем другие таких людей осталось мизерное количество. И становится все меньше. Такая погрешность по сравнению с, мягко говоря, неправильным учетом пользователей по IP - сущая безделица.
Для рунета диалап еще более чем актуален (вы сами ссылаетесь на динамические IP), а с ним и отключение картинок. Да и помимо этого существует еще масса причин по которым картинка загружена не будет.
Вот Вы пишите у мебя на сайте про маркетинг при помощи анализатора ... Какой маркетинг можно сделать по хитам? Нам нужны именно пользователи и их действия.
В какой-то мере, нужно изначально исходить из принципа, что пользователи ленивы. Если он не желает делать целевое действие сейчас, то шансы на то, что он сделает его в будущем крайне невелики. Я прекрасно вижу какие ключевые слова работают в AdWords, а какие - нет, вижу эффективность от действий по продвижению, насколько результативна оптимизация сайта и как к нему относится Гуглбот.
А если нужно оценить продажи для конкретного источника, то для этого лучше применять совсем другие методы, не имеющие отношения к статистике сайта.
Хиты в анализаторе могут нагонять те же роботы.
Я еще раз повторяю, что достаточно поставить простой эксперимент по стравнению статистики анализатором логов и счетчиком. Роботов можно отфильтровать. Погрешность счетчика никуда не денется. Для внешних счетчиков она может быть и 20%, но предполагаю, что для локального она будет поменьше.
А причины, почему данных в счетчике меньше, заключаются не в отключении картинок, а опять же в этих качественно неверных способах определения пользователей. К тому же, счетчик с куками помнит пользователя, пришедшего вчера, неделю назад, месяц .... Анализатор же радостно считает его за нового :)
А что нужно маркетологам? Много, или правильно?
Отключенные/стертые куки мы в расчет не принимаем? Проблема в том, что 100% точной статистики быть не может. В реальности у некоторых доходит до того, что не смотря на куки и целый ряд ухищрений удается определить источник только 20-40% покупателей. Остальные появляются ниоткуда.
В заключение несколько (на самом деле их поболее будет) примеров с которыми счетчик справиться не в состоянии:
1. У меня основной отчет настроен на реальных посетителей. Это фильтр на включение всех посетителей, запросивших страницу или файл и фильтр на исключение всех роботов. В результате в статистике по реферам я вижу сайты на которых с сайта были запрошены только картинки, но пользователь в конечном итоге попал на мой сайт. Не важно, по какой причине это произошло: ссылка через ява-скрипт, редирект или ручное копирование URLа, но источник посетителя я вижу.
2. Одна из задач, которую спрашиваю пользователи - узнать, по каким адресам ушли с сайта (традиционно - уход на билдинговую систему). Это делается заменой всех внешних URLов на внутренний с редиректом. Будем заставлять посетителя видеть непонятную страничку с ожиданием загрузки счетчика?
3. Что делать маркетологам, у которых целевое действие - загрузка файла?
4. Как фиксировать попытки взлома сайта?
5. Как выявить воровство контента/дизайна?
Возможность работать с куками и определять некоторые параметры системы пользователя - единственные преимущества счетчиков перед анализаторами. При некоторых дополнительных усилиях это можно делать и через логи, а вот обеспечить 100% фиксацию событий счетчики не смогут никогда.
Буду отвечать без цитирования.
Динамические IP - сейчас в основной своей массе это DSL. Диаллап очень уверенно умирает, и причин тому много, которые перечислять не буду, если никто не попросит.
Ленивость пользователей ... категорически не согласен. Если речь идет о заказе дисков, книг, мелких комплектующих - возможно. Когда речь идет о крупных заказах - человек может долго и мучительно выбирать, ходя изо дня в день по одним и тем же сайтам. В маркетинге нельзя обобщать большие категории.
Согласен на эксперимент. Только что будем сравнивать?
Количество? - не имеет значения для маркетинга, если нет точности.
Или качество анализа? - Какие критерии качества?
Точность? - Что будет шаблоном точности?
Давайте, предлагайте, я готов.
Отвечаю на Ваши преимущества:
1. Анализатор логов не может показать реальных посетителей, потому что он их считает изначально не верно. IP - это не посетитель.
2. Вы невнимательно изучили нашу программу. Учет уходящих пользователей по определенным ссылкам есть и сделан качественно. Учет есть, а пользователь не замечает ничего странного и раздражающего.
3. Целевое действие загрузка файла? Запросто. На моем сайте пояснение отчета "реклама" и "эффективность рекламы" написано на примере загрузки файла.
4. Попытки взлома и подсчет роботов - да, анализатор. Который у нас тоже есть в программе. Но мы говорим о маркетинге.
5. Поискать в поисковиках. Только я не вижу смысла в этом действии.
Самая важная мысль, без ответа на которую бессмысленно обсуждать остальное:
Да, Интернет-статистика, по крайней мере сейчас, не может быть 100% точной. Да, счетчик теряет несколько процентов посещений.
Но!
Но зачем нужна статистика, которая считает все, но считает не правильно!?
Вот попробуйте мне объяснить, как можно говорить о пользователях, когда на крупные и мелкие компании приходится один IP прокси сервера? Т.е. вся компаниясчитается за одного пользователя?
Или в нынешнюю эру ADSL'ивания, когда каждый пользователь по несколько раз на дню имеет разные IP адреса?
Такая статистика для маркетинга абсолютно бесполезна. Даже тенденции нельзя смотреть.
А все вами перечисленные недостатки счетчиков - это либо погрешность, либо к маркетингу отношения не имеет.
Для того, что не имеет отношения к маркетингу нужно использовать анализатор. Который, кстати, у нас входит в комплект.
Попробуйте доказать, что анализатор точен, при подсчете пользователей по IP. А иначе нет смысла беседовать дальше.
Inoff, у меня ADSL и у меня один и тот же IP за все время использования ADSL.
Pavel Grusha
15.09.2005, 18:48
Динамические IP - сейчас в основной своей массе это DSL. Диаллап очень уверенно умирает, и причин тому много, которые перечислять не буду, если никто не попросит.
Уже ответили, что это не так. Как только появляется выделенный канал, появляется и выделенный IP.
Ленивость пользователей ... категорически не согласен. Если речь идет о заказе дисков, книг, мелких комплектующих - возможно. Когда речь идет о крупных заказах - человек может долго и мучительно выбирать, ходя изо дня в день по одним и тем же сайтам. В маркетинге нельзя обобщать большие категории.
Если речь идет о больших категориях, то там зачастую вступает в силу правило "покупает не тот, кто нашел/скачал". Добавим пользователей, у которых несколько машин и т.д. Все эти вещи сводят "точность" к довольно минимальному уровню.
Согласен на эксперимент. Только что будем сравнивать?
Количество? - не имеет значения для маркетинга, если нет точности.
Или качество анализа? - Какие критерии качества?
Точность? - Что будет шаблоном точности?
Давайте, предлагайте, я готов.
Учтеные заходу на страницы, заходы с поисковиков, хиты в операционных системах и браузерах. Это наглядно покажет погрешность счетчика.
Отвечаю на Ваши преимущества:
1. Анализатор логов не может показать реальных посетителей, потому что он их считает изначально не верно. IP - это не посетитель.
Читайте выше. Реальные посетители - это такой же миф. А средств учитывать действия клиентов пока еще не изобрели.
2. Вы невнимательно изучили нашу программу. Учет уходящих пользователей по определенным ссылкам есть и сделан качественно. Учет есть, а пользователь не замечает ничего странного и раздражающего.
Через какой механизм? У меня прпало желание изучать программу после первых же багов и заваливаний IE.
3. Целевое действие загрузка файла? Запросто. На моем сайте пояснение отчета "реклама" и "эффективность рекламы" написано на примере загрузки файла.
Здесь даже о погрешности нельзя говорить.
4. Попытки взлома и подсчет роботов - да, анализатор. Который у нас тоже есть в программе. Но мы говорим о маркетинге.
Вы сами задали тему. А смотреть нужно все. Может ведь стать и поздно.
5. Поискать в поисковиках. Только я не вижу смысла в этом действии.
Отслеживание идет через загрузку картинок.
Да, Интернет-статистика, по крайней мере сейчас, не может быть 100% точной. Да, счетчик теряет несколько процентов посещений.
И сколько это несколько для вашего счетчика?
Но зачем нужна статистика, которая считает все, но считает не правильно!?
Идеализировать статистику счетчика с учетом всех перечисленных условий - нонценс. В подавляющем большинстве случаев действует принцип "здесь и сейчас".
Вот попробуйте мне объяснить, как можно говорить о пользователях, когда на крупные и мелкие компании приходится один IP прокси сервера? Т.е. вся компаниясчитается за одного пользователя?
Может быть в случае больших компаний это как раз может оказаться наиболее верным.
Попробуйте доказать, что анализатор точен, при подсчете пользователей по IP. А иначе нет смысла беседовать дальше.
Какой смысл, если анализатор считает визиты. Будут более распространены логи с куками (под Апач, кстати есть соответствующи мод, а в IIS это делается соответствующими настройками) - будут считать уникальных посетителей настолько точно, насколько это вообще возможно.
А со священными войнами действительно пора завязывать. Если кому-то хочется знать об уникальных посетителях с погрешностью в десятки процентов - значит такая задача у него и стоит. Я предпочту обходится знаниями о визитах, но иметь полную информацию.
Через какой механизм? У меня прпало желание изучать программу после первых же багов и заваливаний IE.
Да очень простой - редирект. Почитайте хелп к программе Рекламные возможности
Pavel Grusha, не цепляйтесь за соломинки. Выделенный IP, например, у Стрима - это отдельная услуга за дополнительную плату, если я не ошибаюсь. Это лишь мизерная часть пользователей, а не тенденция.
Вообще у Вас очень странное свойство пытаться все обобщить, причем в весьма крупные категории и основанием для этого у Вас служат частности. То у Вас все пользователи ленивые, то весь ADSL перешел на статические IP. В других местах это тоже у Вас прослеживается... Разговор, мягко говоря, неконструктивный получается.
И вообще хорошо бы доказывать свои слова примерами хотя бы, а не голословить.
По-поводу соревнования ... Я же уже сказал, что хиты не верно использовать в статистике. Вы же не хитам продаете товар, а пользователям. И соответственно исследовать нужно именно пользователей. Это все равно что устраивать соревнования между автомобилями, у кого клаксон громче.
Если Вы так прикапываетесь к атакам и паукам, то именно для этого мы и сделали анализатор, идущий вместе со счетчиком.
Но если мы говорим о статистике пользователей (читай потенциальных клиентов), то повторю:
Попробуйте доказать, что анализатор точен, при подсчете пользователей по IP.
А вот когда логи с куками войдут в моду, то тогда и разговор будет другим.
Pavel Grusha
16.09.2005, 15:17
Не знаю, кто из нас больше цепляется за соломинки. Объяснять неполноту статистики отсутствием кук...
Итак предложение полноценного эксперимента:
Если у кого-то, кто пользуется AWLA генерируются лог-файлы с куками или есть возможность генерировать такие лог-файлы, то можно поступить следующим образом:
Я создаю специальную версию AlterWind Log Analyzer, где отсутствуют ограничения на длительность сесии визита, формат лог-файла указываем таким образом, чтобы кука в лог-файле воспринималась в качестве хоста. Это "убьет" отчеты по хостам и странам, но остальные отчеты не пострадают. Выделяем посетителей, которые загрузили хотя бы одну страницу и исключаем роботов.
А потом сравним статистику счетчика AWLA и анализатора. Или есть возражения, что и такой анализ будет неполноценным?
Чтобы у участника эксперимента появился стимул, он получит бесплатную лицензию на AlterWind Log Analyzer Professional.
Не знаю, кто из нас больше цепляется за соломинки. Объяснять неполноту статистики отсутствием кук...
Я объясняю не ее неполноту, а ее неверность. Кажется уже 3 раза объяснил :)
О Вашем соревновании я подумаю на досуге... сейчас других, более злободневных дел много.
Pavel Grusha
16.09.2005, 17:46
Я объясняю не ее неполноту, а ее неверность. Кажется уже 3 раза объяснил :)
И при этом твердить о достоверности статистики у которой погрешность до 20% в самой методике и еще процентов 30 из-за других факторов. Я это объяснял не меньшее число раз.
Мое предложение в силе для любого человека, имеющего возможность поставить такой эксперимент.
Pavel Grusha
16.09.2005, 20:56
В заключении, небольшой пример, что куки далеко не всесильны и даже наоборот.
У меня есть партнер, у которого смежная по тематике программа. Он зарегистрирован афилейтом на RegNow. В старых версиях кастомизация дистрибутива была невозможна и поэтому использовался стандартный в таких случаях метод - все ссылки на мой сайт и загрузку программы шли через редирект на RegNow, который засаживал посетителю куку. Если посетитель заходит на покупку, то в теории RegNow по этой куке определяет афилейта и начисляет ему соответствующую комиссию.
В новой версии кастомизация была реализована и в конце июля я создал партнеру дистрибутив с сылками на его сайт и сразу на RegNow при покупке.
А вот теперь статистика: с января по июнь RegNow не было зафиксировано ни одного (!!!) захода от партнера. В июле таких переходов зафиксировано 2 (жаль, что нельзя посмотреть их по дням, но предполагаю, что они пришлись как раз на конец месяца), в августе - 12 переходов, за прошедшую часть сентября - 5.
Именно поэтому серьезные афилейты не расчитывают на куки, а требуют кастомизированный дистрибутив. Именно поэтому партнерские программы "за продажи" не пользуются популярностью. Впрочем, верящие в статистику по кукам могут продолжать молиться на этого бога.
Я извиняюсь за оффтоп. Паша, ты какой-то хитрый хороший счетчик разрабатываешь?
Просто сейчас тоже начинаю задумываться о честной и корректной статистике, и по моему надо как-то логи совмещать со счетчиком. Но сам счетчик наверное на серваке своего (анализируемого) хоста...
И при этом твердить о достоверности статистики у которой погрешность до 20% в самой методике и еще процентов 30 из-за других факторов. Я это объяснял не меньшее число раз.
:D
Забавные цифры :) А чего ж не 40 сразу? и полтинник на "другие" факторы? :D А что самое забавное, Вы не то, что не установили программу, предлагаемую мной, Вы даже описание к ней не читали :D
В заключении, небольшой пример, что куки далеко не всесильны и даже наоборот
...
А вот теперь статистика: с января по июнь RegNow не было зафиксировано ни одного (!!!) захода от партнера. В июле таких переходов зафиксировано 2 (жаль, что нельзя посмотреть их по дням, но предполагаю, что они пришлись как раз на конец месяца), в августе - 12 переходов, за прошедшую часть сентября - 5.
...
Потрясающе репрезентативная выборка :D Я уж не говорю, что сделанная на стороннем примере :)
Pavel Grusha, Вы меня, право, утомили. Вы, вероятно, еще не поняли, что для качественного маркетиногово анализа обычные логи без кук устарели как минимум год назад. Что ж, время и деньги рассудят нас.
Наш с Вами дальнейший разговор наврятли будет интересен аудитории форума, потому что основное мы уже обсудили, с двух противоположных точек зрения. И я благодарен Вам за это. Пользователи сами сделают выводы.
Тем более, я не понимаю, зачем Вы бросились в пекло спора, когда вместе с нашим счетчиком в комплекте идет хороший анализатор логов. Вы вероятно даже заголовок к программе, которую тут горячо поносите, не читали ...
Хотя нет, понимаю зачем вы полезли в топик суппорта моей программы. Вам захотелось чужой славы и чужих клиентов. А вот теперь подумайте, почему имея несколько известных конкурентов, мы с ними нормально и культурно сосуществуем, не конфликтуем и порой сидим в одном поле.
Удачи :)
И я понял, что последнее слово Вы хотите оставить за собой. Я предоставляю Вам его.
Я извиняюсь за оффтоп. Паша, ты какой-то хитрый хороший счетчик разрабатываешь?
Просто сейчас тоже начинаю задумываться о честной и корректной статистике, и по моему надо как-то логи совмещать со счетчиком. Но сам счетчик наверное на серваке своего (анализируемого) хоста...
Леш, да тут уже и так оффтоп пошел :)
Откуда информация про хитрый счетчик? :)
Ага. Я вот тоже над статистикой корпею ... Пытаюсь вывести формулу счастья :) Вернее концепцию анализа эффективности сайта, как инструмента продаж. Тяжкова-то :)
Не понял фразу про счетчик на серваке. Поясни, пожалуйста :)
Pavel Grusha
17.09.2005, 00:42
Я извиняюсь за оффтоп. Паша, ты какой-то хитрый хороший счетчик разрабатываешь?
Просто сейчас тоже начинаю задумываться о честной и корректной статистике, и по моему надо как-то логи совмещать со счетчиком. Но сам счетчик наверное на серваке своего (анализируемого) хоста...
Не понятно, к какому Павлу идет обращение ;)
Если ко мне, то счетчик я не разрабатываю, а занимаюсь анализатором лог-файлов. Какой смысл совмещать счетчик и анализатор? Если нужен подсчет уникальных посетителей - в лог-файлы можно добавить данные о куках и использовать анализатор, поддерживающий эти данные. Нужны данные о разрешении экрана пользователя - встроить в страницы сайта вызов картинки или ява-скрипта, имя которого будет содержать эту информацию, настройте фильтр в анализаторе и получите нужную статистику. Что еще требуется из того, что умеет счетчик?
А что касается "честной и корректной статистики", то такого просто не бывает из-за целого ряда факторов.
Паша, просто я по обсуждению подумал, что твоя контора решила такой продукт (счетчик) создать.
А про свой сервак - ну чтоб вся обработка шла на твоем же сайте (серваке), а не где-нибудь на раксе, хотлоге или спае (чтоб терялось меньше)
Паша, просто я по обсуждению подумал, что твоя контора решила такой продукт (счетчик) создать.
А про свой сервак - ну чтоб вся обработка шла на твоем же сайте (серваке), а не где-нибудь на раксе, хотлоге или спае (чтоб терялось меньше)
Леш, какая моя контора? :) Вон, у меня в подписи уже почти год счетчик виднеется :)
Который как раз размещается на сервере с сайтом.
Неужели я тут такой редкий гость? Надо исправляться ... :)
Паша, ага, редкий :) К тому же я к знакомым людям в подпись обычно не смотрю - я же тебя итак знаю :)
Все понял, пасиб :)
vBulletin® v3.8.6, Copyright ©2000-2012, Jelsoft Enterprises Ltd. Перевод: zCarot