免费代理——gitee

下载地址

proxy_pool: dddddddddddddd (gitee.com)

-1 使用爬虫技术，爬取网上免费的代理
-2 爬完回来做验证，如果能用，存到redis中
# 启动调度程序，爬代理，验证，存到redis中
python proxyPool.py schedule

-3 使用flask启动服务，对外开放了几个接口，向某个接口发请求，就能随机获取一个代理
# 启动webApi服务
python proxyPool.py server

#搭建步骤:
1 从git拉去开源代码
git clone https://github.com/jhao104/proxy_pool.git
2 使用pycharm打开，创建虚拟环境
mkvirtualenv -p python3 pool
3 配置项目使用虚拟环境
4 修改项目配置文件
DB_CONN = ‘redis://127.0.0.1:6379/2’
HTTP_URL = “http://www.baidu.com”
HTTPS_URL = “https://www.baidu.com”

5 启动调度程序—》爬取网站，验证，存到redis
python proxyPool.py schedule

6 启动web程序（flask写的）
python proxyPool.py server

7 向http://192.168.1.252:5010/get/?type=http 地址发送请求就可以随机获取代理ip