Python爬虫--用户代理IP池

2019-08-20 | 阅读：次

前言：

前面一篇讲了用户 UA 代理池，现在这篇来讲下 IP 代理，

相对于 UA 来说，IP 更容易被封，

这里讲两种方法。

方法一：本地ip池

方法一就是将 IP 拿下来本地，然后通过随机选取或者其他来调用

这就跟之前使用 UA 差不多，只不过函数不同

这里使用 urllib.request.ProxyHandler() 方法

ProxyHandler() 函数是来设置使用代理服务器

废话不多说，先来简单的看看

import urllib.request
import random

ip_pool = [

	"192.168.0.1",
	"192.168.0.2",
	"192.168.0.3",
	"192.168.0.4",
	"192.168.0.5"

]

def IP(ip_pool):

	this_ip = random.choice(ip_pool)  #  随机选取一个

	proxy = urllib.request.ProxyHandler({"http":ip})

	opener = urllib.request.build_opener(proxy,urllib.request.HTTPHandler)

	urllib.request.install_opener(opener)

# if __name__ == '__main__':
# 	ua(ip_pool)

这样就封装好了一个函数

我们再拿糗事百科来举例吧

这次加一个 try except 来捕获异常

import urllib.request
import random

ip_pool = [

	"192.168.0.1",
	"192.168.0.2",
	"192.168.0.3",
	"192.168.0.4",
	"192.168.0.5"

]

def IP(ip_pool):

	this_ip = random.choice(ip_pool)  #  随机选取一个

	proxy = urllib.request.ProxyHandler({"http":this_ip})

	opener = urllib.request.build_opener(proxy,urllib.request.HTTPHandler)

	urllib.request.install_opener(opener)

for i in range(1,5):

	try:
		IP(ip_pool)

		this_url = "https://www.qiushibaike.com/text/page/"+str(i)+"/"

		data = urllib.request.urlopen(this_url).read().decode("utf-8","ignore")

		path = '<div class="content">.*?<span>(.*?)</span>.*?</div>'

		resut = re.compile(path,re.S).findall(data)

		for j in resut:
			print(j)
			
		time.sleep(0.5)

	except Exception as error:
		print(error)

这样就可以了，即使那个 ip 访问不了，也不会影响到程序的执行

方法二：IP接口

第二种方法就是调用 IP 接口了

有些网站提供 ip 池，然后只需要调用他那个接口就行了

这里简单提一下，可能不同网站调用方法不同

import urllib.request
import random

def IP(ip_pool):

	this_ip = urllib.request.urlopen("http://www.xxx.com/?xxx=xxx")  #  调用接口提取 ip

	proxy = urllib.request.ProxyHandle({"http":this_ip})

	opener = urllib.request.build_opener(proxy,urllib.request.HTTPHandler)

	opener = urllib.request.build_opener(proxy,urllib.request.HTTPHandler)

	urllib.request.install_opener(opener)

for i in range(1,5):

	try:
		IP(ip_pool)

		this_url = "https://www.qiushibaike.com/text/page/"+str(i)+"/"

		data = urllib.request.urlopen(this_url).read().decode("utf-8","ignore")

		path = '<div class="content">.*?<span>(.*?)</span>.*?</div>'

		resut = re.compile(path,re.S).findall(data)

		for j in resut:
			print(j)
			
		time.sleep(0.5)

	except Exception as error:
		print(error)

总结：

如果想要 UA 和 IP 代理一起使用的话

多封装一个函数就行了

免费短期代理网站举例：

西刺免费代理IP ： https://www.xicidaili.com/

快代理免费代理： https://www.kuaidaili.com/free/inha/

blubiu

blubiu

Python爬虫--用户代理IP池

前言：

目录：

方法一：本地ip池

方法二：IP接口

总结：