Форум Не про работу Самое разное

[FAQ] по добыче прокси

12
mff
На сайте с 21.02.2008
Offline
266
mff
39572

FAQ по добыче прокси.

В этой статье мы рассмотрим следующие способы добычи прокси:

  • Сканирование
  • Сёрчинг
  • Личинг
  • Граббинг

Так же рассмотрим некоторые методы проверки на прокси (чек), сортировки, фильтрации, проверки на страны и т.д.

Я не буду здесь описывать, что такое прокси сервер, для чего они нужны и мы не будем рассматривать ряд устаревших программ.

Сканирование ip адресов и последующая их проверка (чек) на прокси.

Сканировать можно по стране или по определенному диапазону на определённые порты.

Диапазоны.

Диапазоны стран можно взять на сайтах:

http://www.proxyserverprivacy.com/ipaddress_range.php

http://www.ipaddresslocation.org/ip_ranges/get_ranges.php

http://www.find-ip-address.org/ip-country/

http://www.proxysecurity.com/ip-address-range.php

и т.д. Весь диапазон ip адресов: 0.0.0.0-255.255.255.255

Порты.

Мы будем сканировать на порты:

Http: 80, 8080, 3128

Socks4 и Socks5: 1080

Это основные порты. Есть очень много других хороших портов, на которых есть http прокси, например: 81, 82, 6855, 8000, 8082, 8090, 8888 и т. д.

Как же узнать, на какие порты сканировать?

Есть много способов, я предложу один из простых и верных. Регистрируемся на нескольких прокси форумах:

http://proxyfire.net/forum/

http://dcsproxy.com

http://forum.my-proxy.com

http://proxygod.com/forum/

Собираем все прокси, что там выкладывают за сегодня, удаляем дубликаты (как их удалить читайте ниже) и чекаем оставшиеся (как это сделать читайте ниже).

Весь диапазон портов: 0-65535

Proxyfire

Качаем Proxyfire Master Suite Free 1.22 или покупаем ProxyFire Master Suite Professional 1.22($29)

Можно найти крякнутую версию, Google в помощь.

Proxyfire - это целая лаборатория для работы с прокси. Можно выкидывать весь старый софт! Вам больше не нужны: сканнеры, грабберы, личеры, сёрчеры, чеккеры, бат-криейдеры, фильтры, дубликат-ремоуторы, парсеры отчётов сканнера и прочий мусор. Proxyfire объединяет все эти утилиты в одной компактной программе, поэтому мы будем работать с ним. Proxyfire не требует установки и с ним очень удобно работать на дедике. Есть скрытый режим.

Приступаем к настройкам программы.

Settings

Здесь есть окно редактирование прокси судей (Proxy Judges). Их можно нагуглить, а можно сделать свои, надёжные. Для этого вам понадобиться зарегистрировать несколько хостингов и разместить там скрипт azenv.php: 

<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">

<html xmlns="http://www.w3.org/1999/xhtml" xml:lang="en" lang="en">

<head>

<title>AZ Environment variables 1.04</title>

</head>

<body>

<pre>

<?php

foreach ($_SERVER as $header => $value ) {

	if(strpos($header , 'REMOTE')!== false || strpos($header , 'HTTP')!== false || strpos($header , 'REQUEST')!== false) {

	echo $header.' = '.$value."\n";

	}

}

?>

</pre>

</body>

</html>

В программе указать путь к этому файлу, нажмите "Add" и пропишите как на скриншоте:

На самом деле легче это сделать вручную, заходим в папку с программой, открываем файл check.ini и пишем в нём: 

[0]

Status=BAD

Verify_http=1

Verify_tunnel=1

Verify_ssl=0

Deleted=0

Url=http://jerry4.freehostia.com/judges/azenv.php

azenv=1

custom=0

UrlCustom=http://www.google.com/intl/zh-CN/

StrLevel1=<title>Google

StrLevel2=<title>Google

StrLevel3=<title>Google

StrIP=

TunnelHost=www.google.com

TunnelPort=443

SSLUrl=https://www.google.com/accounts/ManageAccount

SSLKeyword=<title>Google

Checked=1

[1]

Status=OK

Verify_http=1

Verify_tunnel=1

Verify_ssl=1

Deleted=0

Url=http://joshua2.freehostia.com/judges/azenv.php

azenv=1

custom=0

UrlCustom=http://www.google.com/intl/zh-CN/

StrLevel1=<title>Google

StrLevel2=<title>Google

StrLevel3=<title>Google

StrIP=

TunnelHost=www.google.com

TunnelPort=443

SSLUrl=https://www.google.com/accounts/ManageAccount

SSLKeyword=<title>Google

Checked=1

[2]

Status=OK

Verify_http=1

Verify_tunnel=1

Verify_ssl=1

Deleted=0

Url=http://leroy2.freehostia.com/judges/azenv.php

azenv=1

custom=0

UrlCustom=http://www.google.com/intl/zh-CN/

StrLevel1=<title>Google

StrLevel2=<title>Google

StrLevel3=<title>Google

StrIP=

TunnelHost=www.google.com

TunnelPort=443

SSLUrl=https://www.google.com/accounts/ManageAccount

SSLKeyword=<title>Google

Checked=1

и т.д. Потом сохраняем и перезагружаем программу, заходим во вкладку Settings и видим наши пути к прокси судьям. 10 будет достаточно, подходящий хостинг из бесплатных freehostia.com

Proxy Filter

Все мы знаем, что прокси могут иметь разный вид, к порту приписывают различную информацию, порт 8080 и 808 (это одно и то же), переодически нужно удалять дубликаты, перемешивать прокси листы, удалять прокси с ненужными портами и т.д.

Современнее и новороченнее фильтра-парсера, чем в Proxyfire я не встречал! Это машина для работы с прокси листами.

В окно "In" можно пихать любой мусор, Proxyfire вытащит из него прокси.

P-Scan

Вкладка "Scanner". Здесь можно включить "Auto Check", задать приоритет "Scan process Priority". Устанавливаем количество потоков "Threads". Если у вас интернет канал 6 метров и более ставим 3000 потоков. Проверить скорость интернет соединения можно здесь: http://2ip.ru

Таймаут "Timeout(s)" ставим от 5 до 20. Выбираем метод сканирования "TCP" (метод "SYN" сейчас не работает, на сколько мне известно). Далее вбиваем диапазоны, которые будем сканировать, диапазоны должны быть вида: 

xxx.xxx.xxx.xxx xxx.xxx.xxx.xxx

Можно сканировать диапазоны определённой страны, можно сканировать просто свои диапазоны, а можно создать диапазоны из хороших прокси. Для этого переходим на вкладку "Make IP Ranges", вбиваем хорошие прокси в окно "Input proxies here", выставляем на сколько расширять диапазоны до и после "Up Expand" и "Down Expand" 1000 - оптимальное число. Можно отсеять по странам, жмём кнопку "Sel..." и выбираем страны. Далее жмём "Go" видим в соседнем окне сгенерированные диапазоны и ниже порты.

Жмём "Copy to Scanner" и мы опять во вкладке "Scanner".

Proxyfire сканирует на 1 порт, на тот, что первый прописан в списке.

P-Search

Очень эффективный способ поиска прокси. Если вам нужно быстро найти рабочие прокси - это то что вам нужно.

Здесь всё просто, выбираем поисковый движок: Google, Baidu, Yahoo! или MSN. Далее меняем код, жмём "Edit" напротив интересующего нас поисковика:

  • Google 
    • [search]

    name=Google

    engine=http://www.google.com/search?hl=en&lr=&as_epq=%KEYWORD%&start=%PAGE%

    link_start=<li class=g>

    link_end=</a>
  • Baidu 
    • [search]

    name=Baidu

    engine=http://www.baidu.com/s?wd=%22%KEYWORD%%22&cl=3&pn=%PAGE%

    link_start=<td class=f>

    link_end=target="_blank"
  • Yahoo! 
    • [search]

    name=Yahoo!

    engine=http://search.yahoo.com/search?p=%22%KEYWORD%%22&ei=UTF-8&b=%PAGE%

    link_start=<a class=

    link_end=</a>
  • MSN 
    • [search]

    name=MSN

    engine=http://search.msn.com/results.aspx?q=%22%KEYWORD%%22&first=%PAGE%

    link_start=<h3>

    link_end=onmousedown

После выбора поисковика устанавливаем количество потоков "Serch Threads:" (в free версии оно ограниченно пятью!).

Можно так же включить "Auto Check" проверка прокси после достижения установленного вами количества найденных прокси.

Жмём "Keywords" и пишем там хорошие прокси с портами, их и будем искать + то, что вместе с ними выкладывают. Жмём "Go".

P-Leecher

Другими словами граббер прокси. Тут так же всё просто, устанавливаем "Loop" и "Auto Check" если надо. Указываем количество потоков и количество тем. Жмём "Edit Forum List" вбиваем туда наши прокси листы.

Прокси листы можно легко нагуглить, вот мой старый лист (нужно чекать) http://dump.ru/file/3764102

Check

Прокси чеккер. Жмём кнопку "Options...", далее выставляем потоки "Threads:" я ставлю 300 как то больше и не надо. Повтор "Retry:" 0

Далее указываем, нужно ли прогонять, через уже настроенный нами фильтр, прокси перед чеком "Filter proxies in the Proxy Filter Tab before Check"

Показать время отклика "Show response time"

Тут есть одна хитрая кнопка на панели "SOCKS4/5" нажав на нее, откроются 2 текстовых файла с разделёнными Socks4 и Soсks5 прокси

Proxylist

Если ваш компьютер случайно выключиться, вам нужно зайти сюда, чтобы забрать прокси, которые вы сканировали или искали.

P.S. Моя первая статья.

Актуально

Да!
85% (39)
Нет!
15% (7)
Всего проголосовало: 46
mff
На сайте с 21.02.2008
Offline
266
mff
#1

Меняем в настройках judges строку "https://www.google.com/accounts/ManageAccount" на "https://www.google.com/accounts/ServiceLogin".

Вот в общем то и всё. Ссылка на оригинальный топик: http://www.proxyfire.net/forum/showthread.php?p=88274

Удачи...

E
На сайте с 07.10.2009
Offline
3
erihtoney
#2

mff, полезная статья, пригодилась, спасибо

PHP программист - скрипты на заказ (/ru/forum/406509) | feedback (http://erihtoney.net)
[Удален]
#3

А на каких портах живут соксы: 1080, или не только?

theCo6aka
На сайте с 03.03.2010
Offline
47
theCo6aka
#4

-=Sveta=-, не только.

mff
На сайте с 21.02.2008
Offline
266
mff
#5

-=Sveta=-, воспользуйтесь вкладкой "P-Search", насобирайте проксей (50000-100000), прочекайте их на socks и потом отберите часто встречающиеся порты ;)

D
На сайте с 09.04.2009
Offline
75
Dodgy
#6
mff:
-=Sveta=-, воспользуйтесь вкладкой "P-Search", насобирайте проксей (50000-100000), прочекайте их на socks и потом отберите часто встречающиеся порты ;)

Какой то бред, дернул я 70к проксей с гугла, прочекал ни одного сокса

Вечные ссылки (http://www.gogetlinks.net/?inv=k9a4pk) | VPS за 8.99 € - 4 ядра, 12 память, 300гиг SSD -Германия (https://goo.gl/9ZgvyP)
mff
На сайте с 21.02.2008
Offline
266
mff
#7

Dodgy, в каком плане бред? Может это руки кривые?! Чеккер настроили? Прокси-судьи работают?

D
На сайте с 09.04.2009
Offline
75
Dodgy
#8
mff:
Dodgy, в каком плане бред? Может это руки кривые?! Чеккер настроили? Прокси-судьи работают?

Прокси судьи это скрипт на хостах? Я не могу понять они то работают то нет ... создан на 100вебспейсе 1 ак там 5 сабов и на них залил, вначале все работало.

Я вот закидую свои листы находит 60-70к проксей, чекаю - выходит 5-10 прокси, соксов вобще нет, ищу в гугле тоже нахожу, чекаю почти ничего нет.

Все сделал как в описании.

Если не сложно, стукнись в аську 491407672

eTarget 2011:Панельная дискуссия «Стратегия eTarget 2011: Круглый стол Могут ли «плохие» входящие
mff
На сайте с 21.02.2008
Offline
266
mff
#9

Dodgy, попробуйте паблик судьи заюзать: 

http://1337ware.kicks-ass.net/azenv.php

http://citrix.unimatrix-one.com/proxysecurity/azenv.php

http://www.deadlybeatz.ch/azenv.php

http://freeinternetpress.com/azenv.php

http://kaox.php0h.com/azenv.php

http://kasupke.redio.de/azenv.php

http://membres.lycos.fr/proxyworld/azenv.php

http://members.lycos.nl/proxyworld31/azenv.php

http://nobody2006.redio.de/TEST.php

http://pinkcat.extra.hu/K9/azenv.php

http://proxyjudge.hell-spy.de/

http://proxytest.pr.funpic.de/

http://proxywordl.hbg.fr/azenv.php

http://proxywoorld.ovh.org/azenv.php

http://proxyworld.ifrance.com/azenv.php

http://rightnow.proxyworld.org/azenv.php

http://scifi.pages.at/myproxies/azenv.php

http://sevy.eu.org/azenv.php

http://technofreax.te.ohost.de/azenv.php

http://www.anonymousproxylist.net/azenv2.php

http://www.belgarion.com/images/azenv.php

http://www.cooleasy.com/azenv.php

http://www.deadlybeatz.ch/azenv.php

http://www.internetsec.org/azenv.php

http://www.jennifersinn.com/tour/samples/azenv.php

http://www.messedupshit.com/judgeme/azenv.php

http://www.nassc.com/pr.php

http://www.pr0.net/deny2/azenv.php

http://www.proxysecurity.com/azenv.php

http://www.proxyjudge.biz/az.php

http://www.ure.de/az.php

http://www.proxyjudge.biz/az.php

http://www.proxy-heaven.com/azenv.php

http://www.pr0.net/deny2/azenv.php

http://www.messedups...dgeme/azenv.php

http://www.matchav.com/deny2/azenv.php

http://www.cship.info/azenv.php

http://www.belgarion...mages/azenv.php

http://technofreax.t...st.de/azenv.php

http://membres.lycos...world/azenv.php

http://citrix.unimat...urity/azenv.php

citrix.unimatrix-one.com/proxysecurity/azenv.php

http://proxywoorld.ovh.org/azenv.php

http://www.youtah.com/userinfo.php

http://www.vespacontent.com/info.php

http://www.imwin.net/bte/prxjdg.php
Чекните их, все BAD - удалите. Оставьте 10-15 рабочих, быстрых. Так же обратите внимание на пост: #2
D
На сайте с 09.04.2009
Offline
75
Dodgy
#10
mff:
Dodgy, попробуйте паблик судьи заюзать: 
http://1337ware.kicks-ass.net/azenv.php

http://citrix.unimatrix-one.com/proxysecurity/azenv.php

http://www.deadlybeatz.ch/azenv.php

http://freeinternetpress.com/azenv.php

http://kaox.php0h.com/azenv.php

http://kasupke.redio.de/azenv.php

http://membres.lycos.fr/proxyworld/azenv.php

http://members.lycos.nl/proxyworld31/azenv.php

http://nobody2006.redio.de/TEST.php

http://pinkcat.extra.hu/K9/azenv.php

http://proxyjudge.hell-spy.de/

http://proxytest.pr.funpic.de/

http://proxywordl.hbg.fr/azenv.php

http://proxywoorld.ovh.org/azenv.php

http://proxyworld.ifrance.com/azenv.php

http://rightnow.proxyworld.org/azenv.php

http://scifi.pages.at/myproxies/azenv.php

http://sevy.eu.org/azenv.php

http://technofreax.te.ohost.de/azenv.php

http://www.anonymousproxylist.net/azenv2.php

http://www.belgarion.com/images/azenv.php

http://www.cooleasy.com/azenv.php

http://www.deadlybeatz.ch/azenv.php

http://www.internetsec.org/azenv.php

http://www.jennifersinn.com/tour/samples/azenv.php

http://www.messedupshit.com/judgeme/azenv.php

http://www.nassc.com/pr.php

http://www.pr0.net/deny2/azenv.php

http://www.proxysecurity.com/azenv.php

http://www.proxyjudge.biz/az.php

http://www.ure.de/az.php

http://www.proxyjudge.biz/az.php

http://www.proxy-heaven.com/azenv.php

http://www.pr0.net/deny2/azenv.php

http://www.messedups...dgeme/azenv.php

http://www.matchav.com/deny2/azenv.php

http://www.cship.info/azenv.php

http://www.belgarion...mages/azenv.php

http://technofreax.t...st.de/azenv.php

http://membres.lycos...world/azenv.php

http://citrix.unimat...urity/azenv.php

citrix.unimatrix-one.com/proxysecurity/azenv.php

http://proxywoorld.ovh.org/azenv.php

http://www.youtah.com/userinfo.php

http://www.vespacontent.com/info.php

http://www.imwin.net/bte/prxjdg.php
Чекните их, все BAD - удалите. Оставьте 10-15 рабочих, быстрых. Так же обратите внимание на пост: #2

Вот уже получше, я так понял, если чекать большое количество, то нада очень много судей, они как то отмирают на время

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий