blubiu

My Love

上网不网恋,简直浪费电.


Python爬虫--用户代理IP池


前言:

前面一篇讲了用户 UA 代理池,现在这篇来讲下 IP 代理,

相对于 UA 来说,IP 更容易被封,

这里讲两种方法。


目录:


方法一:本地ip池

方法一 就是将 IP 拿下来本地,然后通过随机选取或者其他来调用

这就跟之前使用 UA 差不多,只不过函数不同

这里使用 urllib.request.ProxyHandler() 方法

ProxyHandler() 函数是 来设置使用代理服务器

废话不多说,先来简单的看看

import urllib.request
import random

ip_pool = [

	"192.168.0.1",
	"192.168.0.2",
	"192.168.0.3",
	"192.168.0.4",
	"192.168.0.5"

]

def IP(ip_pool):

	this_ip = random.choice(ip_pool)  #  随机选取一个

	proxy = urllib.request.ProxyHandler({"http":ip})

	opener = urllib.request.build_opener(proxy,urllib.request.HTTPHandler)

	urllib.request.install_opener(opener)

# if __name__ == '__main__':
# 	ua(ip_pool)

这样就封装好了一个函数


我们再拿 糗事百科 来举例吧

这次加一个 try except 来捕获异常

import urllib.request
import random

ip_pool = [

	"192.168.0.1",
	"192.168.0.2",
	"192.168.0.3",
	"192.168.0.4",
	"192.168.0.5"

]

def IP(ip_pool):

	this_ip = random.choice(ip_pool)  #  随机选取一个

	proxy = urllib.request.ProxyHandler({"http":this_ip})

	opener = urllib.request.build_opener(proxy,urllib.request.HTTPHandler)

	urllib.request.install_opener(opener)

for i in range(1,5):

	try:
		IP(ip_pool)

		this_url = "https://www.qiushibaike.com/text/page/"+str(i)+"/"

		data = urllib.request.urlopen(this_url).read().decode("utf-8","ignore")

		path = '<div class="content">.*?<span>(.*?)</span>.*?</div>'

		resut = re.compile(path,re.S).findall(data)

		for j in resut:
			print(j)
			
		time.sleep(0.5)

	except Exception as error:
		print(error)

这样就可以了,即使那个 ip 访问不了,也不会影响到程序的执行


方法二:IP接口

第二种方法就是调用 IP 接口了

有些网站提供 ip 池,然后只需要调用他那个接口就行了

这里简单提一下,可能不同网站调用方法不同

import urllib.request
import random

def IP(ip_pool):

	this_ip = urllib.request.urlopen("http://www.xxx.com/?xxx=xxx")  #  调用接口提取 ip

	proxy = urllib.request.ProxyHandle({"http":this_ip})

	opener = urllib.request.build_opener(proxy,urllib.request.HTTPHandler)

	opener = urllib.request.build_opener(proxy,urllib.request.HTTPHandler)

	urllib.request.install_opener(opener)


for i in range(1,5):

	try:
		IP(ip_pool)

		this_url = "https://www.qiushibaike.com/text/page/"+str(i)+"/"

		data = urllib.request.urlopen(this_url).read().decode("utf-8","ignore")

		path = '<div class="content">.*?<span>(.*?)</span>.*?</div>'

		resut = re.compile(path,re.S).findall(data)

		for j in resut:
			print(j)
			
		time.sleep(0.5)

	except Exception as error:
		print(error)

总结:

如果想要 UAIP 代理一起使用的话

多封装一个函数就行了

免费短期代理网站举例:

西刺免费代理IP : https://www.xicidaili.com/

快代理免费代理 : https://www.kuaidaili.com/free/inha/