技术分享:Proxy-Pool代理池搭建IP代理

 

前言本章内容仅供参考,不涉及实际使用,主要使用Python环境和Redis数据库进行环境搭建,工具网盘存储如下,有问题可以私聊我。网址:https://wwgn.lanzoul.com/b03w0tvja 密码:am5m

一、环境准备1、Python3.10/.72、Redis5.0.103、Proxy-pool2.4.1

二、搭建过程

1.Redis数据库搭建

1、首先确定好环境是否准备好,提前安装好Python3.10.7环境。

 2、环境准备好后,首先配置Redis数据库环境,进入到Redis数据库的根目录文件夹,在文件夹中打开cmd窗口,输入命令启动redis服务。命令:redis-server.exe redis.windows.conf

3、确定能够启动redis服务后,将该窗口关闭,接下来需要将redis服务安装到Windows服务中,新开一个cmd窗口,输入命令将redis安装到Windows服务中,安装完成后,打开运行框输入services.msc打开服务,查看是否成功安装redis服务。命令:redis-server.exe --service-install redis.windows.conf

 4、确定添加成功后,再次通过命令启动redis服务,关闭所有cmd窗口,再打开一个新的cmd窗口,输入命令启动redis服务。(start代表开启,stop代表关闭)命令:redis-server.exe --service-start

 5、接下来测试是否成功开启redis服务,输入命令,如出现下列信息则代表开启成功。命令:redis-cli.exe -h 127.0.0.1 -p 6379

2.Proxy-Pool代理池搭建

1、首先要安装依赖环境,这里需要注意Python版本问题,由于Proxy-pool代理池是基于Python3.6制作的,所以需要将依赖文件中的版本号进行删除,交给pip进行适应版本下载,打开requirements.txt文件,将后面的版本号连同等于号一起删除,保留如下。

 2、修改完毕后,使用PIP安装依赖环境,输入命令。命令:pip install -r requirements.txt

 3、环境依赖安装完毕后,需要将Proxy-pool的配置文件进行修改,打开setting.py文件,修改数据库密码,端口号等信息,根据自己的需求进行修改。

 4、配置完毕后启动项目,这里需要启动两个程序,分别是调度程序和代理池的API接口程序。首先启动调度程序,打开cmd输入命令。命令:python proxyPool.py schedule

 5、如图所示开始采集IP地址,等待IP地址采集稳定后,开启API接口程序,新开一个cmd输入命令。命令:python proxyPool.py server

 6、两个程序开启以后,测试API调用是否成功,打开浏览器,输入网址进行查看,发现IP地址每次刷新都会改变,证明API接口调用成功,实验完成。地址:http://127.0.0.1:5010/get/

 

作者:|Redhskb|,原文链接: https://www.cnblogs.com/redHskb/p/17293058.html

文章推荐

PyInstaller 完美打包 Python 脚本,输出结构清晰、便于二次...

JAVA Socket编程

AutoGPT:有手就会的安装教程

Java的对象克隆

ASP.NET Core如何知道一个请求执行了哪些中间件?

Go如何自动解压缩包?如何读取docx/doc文件内容?

深入理解 Python 虚拟机:集合(set)的实现原理及源码剖析

滴滴前端一面常考vue面试题(持续更新中)

BOM 浏览器对象模型

聊聊OOP中的设计原则以及访问者模式

Java开发学习(二)----IOC、DI入门案例

一次XGBoost性能优化-超线程影响运算速度