Python 爬虫案例

一、用cookie池模拟登录

在网络请求交互中，为了维持用户的登录状态，引入了cookie的概念。当用户第一次登录某个网站时，网站服务器会返回维持登录状态需要用到的信息，这些信息就称为cookie。浏览器会将cookie信息保存在本地计算机中，再次对同一网站发起请求时就会携带上cookie信息，服务器从中可以分析判断出用户的登录状态。

服务器中的资源有些不需要登录就能获取，有些则需要登录才能获取，如果在爬虫程序中携带正确的cookie信息，就可以爬取那些需要登录才能获取的数据了。

1、用浏览器获取cookie信息

代码文件：用浏览器获取cookie信息.py

第一次登录一个网页后，浏览器会从响应头的set-cookie字段中读取cookie值并保存起来。下次访问该网页时，浏览器就会携带cookie值发起请求，服务器从cookie值中得到用户登录信息，就会直接返回用户登录之后的页面。下面以人人网为例讲解如何获取cookie值。

在谷歌浏览器中打开人人网（http://www.renren.com/），输入账号和密码，登录成功后通过开发者工具对数据进行抓包，即在开发者工具的“Network”选项卡下刷新当前页面后选中第一个数据包，在“Headers”选项卡下的“Request Headers”中查看Cookie字段，该字段的值就是发起请求时携带的cookie值，如下图所示。

在爬虫程序中使用requests模块的get()函数发起请求时，携带cookie值的方式有两种，下面分别介绍。

第一种方式是在get()函数的参数headers中直接携带cookie值的字符串。

演示代码如下：

1  import requests2  url = 'http://www.renren.com/974388972/newsfeed/photo'3  cookie = 'anonymid=kbbumh2lxrmpf1; depovince=GW; _r01_=1; JSESSIONID=abcGWVhbBr19FhENjsNkx; ick_login=989861b2-b103-4dec-acae-a997d02bbaa6; taihe_bi_sdk_uid=f5185c56d440f6d9816cbd80ee1c01e3; taihe_bi_sdk_session=b57a76d842fee2d91ce5701999cb1dbe; XNESSESSIONID=abcoL9H_VgmAddSCksNkx; ick=c1409cb0-0813-44ec-8834-729af8f535cd; t=d06e12b9149594f6fba8cc62f9e8f3e32; societyguester=d06e12b9149594f6fba8cc62f9e8f3e32; id=974598592; xnsid=58ab78d8; WebOnLineNotice_974598592=1; jebecookies=3b9d3b87-1f8b-4867-a20b-b183cc3b36c4|||||; ver=7.0; loginfrom=null; wp_fold=0'4  headers = {'Cookie': cookie, 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.75 Safari/537.36'}　　# 在headers中携带cookie值5  response = requests.get(url=url, headers=headers).text　　# 获取页面源代码6  print(response)

第二种方式是将获取到的cookie值的字符串处理成字典，作为get()函数的参数cookies携带上。

演示代码如下：

1  import requests2  url = 'http://www.renren.com/974388972/newsfeed/photo'3  cookie = 'anonymid=kbbumh2lxrmpf1; depovince=GW; _r01_=1; JSESSIONID=abcGWVhbBr19FhENjsNkx; ick_login=989861b2-b103-4dec-acae-a997d02bbaa6; taihe_bi_sdk_uid=f5185c56d440f6d9816cbd80ee1c01e3; taihe_bi_sdk_session=b57a76d842fee2d91ce5701999cb1dbe; XNESSESSIONID=abcoL9H_VgmAddSCksNkx; ick=c1409cb0-0813-44ec-8834-729af8f535cd; t=d06e12b9149594f6fba8cc62f9e8f3e32; societyguester=d06e12b9149594f6fba8cc62f9e8f3e32; id=974598592; xnsid=58ab78d8; WebOnLineNotice_974598592=1; jebecookies=3b9d3b87-1f8b-4867-a20b-b183cc3b36c4|||||; ver=7.0; loginfrom=null; wp_fold=0'4  headers = {'Cookie': cookie, 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.75 Safari/537.36'}5  cookie_dict = {}6  for i in cookie.split(';'): # 将cookie值的字符串格式化为字典7    cookie_keys = i.split('=')[0]8    cookie_value = i.split('=')[1]9    cookie_dict[cookie_keys] = cookie_value10  response = requests.get(url=url, headers=headers, cookies=cookie_dict).text # 将cookie字典作为参数cookies的值，获取页面源代码11  print(response)

2、自动记录cookie信息

代码文件：自动记录cookie信息.py

上面介绍用浏览器获取cookie信息的方式需要我们自己在数据包中定位cookie信息并提取出来，相对比较烦琐。

这里介绍一种自动记录登录数据的方法：先使用requests模块中的Session对象对一个网站发起登录请求，该对象会记录此次登录用到的cookie信息；再次使用该对象对同一网站的其他页面发起请求时，就会直接使用记录下的cookie信息，不再需要额外携带cookie信息参数了。

演示代码如下：

1  import requests2  s = requests.Session() # 实例化一个Session对象3  headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.75 Safari/537.36'} # 验证浏览器身份的信息4  data = {'email': '15729560000', 'password': '123456'} # 用于登录网站的账号/密码信息5  response=s.post(url='http://www.renren.com/ajaxLogin/login" />
 
登录成功后，在“Network”选项卡下的“Name”窗格中产生了很多新的数据包，其中就有登录表单的数据包，包名中一般有“login”字样，可在“Filter”筛选器中输入关键词“login”来筛选数据包。
 
筛选后可在“Name”窗格中看到含有“login”字样的数据包，单击这个包，在“Headers”选项卡下的“Form Data”中可以看到登录时携带的表单信息，一般只需要账号和密码的字段名（这里为“email”和“password”），在发起post请求时携带即可，如下图所示。
 
 
二、爬取当当网销售排行榜
 
代码文件：案例：爬取当当网的图书销售排行榜.py
 
图书销售排行榜对于出版社编辑制定选题开发方向、图书销售商制定进货计划具有很高的参考价值。实体书店的图书销售排行数据采集难度较大，而电子商务网站的图书销售排行数据则具有真实性高、更新及时、容易获取等优点，是一个相当好的数据来源。
 
步骤1：先确定需要爬取数据的网址。在谷歌浏览器中打开当当网，进入“图书畅销榜”，网址为http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-24hours-0-0-1-1。为了增强数据的时效性，选择查看近30日的排行榜数据，发现网址随之变为http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-recent30-0-0-1-1，该网址显示的是排行榜的第1页内容。
 
通过观察页面底部的翻页链接可以发现，排行榜共有25页，单击第2页的链接，可以发现网址的最后一个数字变为2，依此类推。根据这一规律，如果要爬取所有页码，只需使用for语句构造循环，按页码依次进行网址的拼接并发起请求即可。
 
演示代码如下：
 
1  import requests2  import pandas as pd3  from bs4 import BeautifulSoup4  headers = {'User-Agent':' Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36'} # 模拟浏览器的身份验证信息5  for i in range(1, 26):6    url = f'http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-recent30-0-0-1-{i}' # 循环生成每一页的网址
步骤2：确定数据是否是动态加载的。打开开发者工具，切换到“Network”选项卡，然后单击“All”按钮，按【F5】键刷新页面，在“Name”窗格中找到主页面的数据包并单击（通常为第一个数据包）。
在“Name”窗格的右侧切换至“Response”选项卡，并在网页源代码的任意处单击，按快捷键【Ctrl+F】调出局部搜索框，输入排行第一的图书名称，如“你当像鸟飞往你的山”，搜索后发现在“Response”选项卡下的网页源代码中有该关键词。这说明数据不是动态加载的，可以用响应对象的text属性获取网页源代码，再从源代码中提取数据。
在步骤1的for语句构造的循环内部继续添加如下代码：
1    response = requests.get(url=url, headers=headers, timeout=10)　　# 对25页的不同网址循环发起请求，设置超时等待为10秒2    html_content = response.text # 获取网页源代码3    soup = BeautifulSoup(html_content, 'lxml') # 将网页源代码实例化为BeautifulSoup对象4    parse_html(soup) # 调用自定义函数提取BeautifulSoup对象中的数据，该函数的具体代码后面再来编写5    print(f'第{i}页爬取完毕')
如果用局部搜索找不到关键词，则说明数据是动态加载的，需要携带动态参数发送请求，再使用json()函数提取数据。
步骤3：分析要提取的数据位于哪些标签中。利用开发者工具可看到要提取的排行榜数据位于class属性值为bang_list的
标签下的多个
标签中，如下图所示。
每个
标签中存储着一本图书的详细数据，包括排名、书名、作者、出版时间、出版社、价格等。还需要继续利用开发者工具更细致地剖析源代码，定位这些数据所在的标签。具体方法和前面类似，这里就不展开讲解了，留给读者自己练习。
步骤4：编写提取数据的代码。先创建一个字典data_info，然后根据上一步的分析结果编写自定义函数parse_html()，从BeautifulSoup对象中提取数据并添加到字典中。
演示代码如下：
1  data_info = {'图书排名': [], '图书名称': [], '图书作者': [], '图书出版时间': [], '图书出版社': [], '图书价格': []} # 新建一个空字典2  def parse_html(soup): # 解析每一个BeautifulSoup对象3    li_list = soup.select('.bang_list li') # 通过层级选择器定位class属性值为bang_list的标签下的所有
标签4    for li in li_list: # 将从每一个
标签中解析到的数据添加到字典data_info相应键的对应列表中5      data_info['图书排名'].append(li.select('.list_num ')[0].text.replace('.', ''))6      data_info['图书名称'].append(li.select('.name a')[0].text)7      data_info['图书作者'].append(li.select('.publisher_info ')[0].select('a')[0].text)8      data_info['图书出版时间'].append(li.select('.publisher_info span')[0].text)9      data_info['图书出版社'].append(li.select('.publisher_info ')[1].select('a')[0].text)10      data_info['图书价格'].append(float(li.select('.price .price_n')[0].text.replace('¥', '')))
第7、8、9行代码使用层级选择器通过class属性值publisher_info进行标签定位，因为有两个标签的class属性都是这个值，所以先做列表切片再使用select()函数进行定位，才能获得准确的数据。总体来说，如果多个标签的属性值一样，可以多次使用select()函数进行定位，这样获得的数据更准确。
第10行代码是为后面的数据清洗做准备，将“¥”替换为空值（即删除），再用float()函数将字符串转换为浮点型数字，以方便比较数据大小。
需要注意的是，在最终的代码文件中，定义parse_html()函数的代码需位于调用该函数的代码之前。步骤5：缺失值和重复值的处理。获取了每一页的数据并存储到字典data_info中后，还需要进行数据清洗。先用pandas模块将字典转换为DataFrame对象格式，再判断缺失值和重复值。
演示代码如下：
1  book_info = pd.DataFrame(data_info)2  print(book_info.isnull()) # 缺失值判断3  print(book_info.duplicated()) # 重复值判断
第3行代码中的duplicated()函数用于判断是否有重复行，如果有，则返回True。运行后，结果全为False，说明代码没有问题，获取到的数据也没有重复值和缺失值，接着进行异常值的处理。
步骤6：异常值的处理。假定本案例只研究价格在100元以下的图书，所以需要将价格高于100元的图书删除。
演示代码如下：
1 book_info['图书价格'][book_info['图书价格'] > 100] = None # 将大于100的图书价格替换为空值2  book_info = book_info.dropna() # 删除有空值的一行数据
步骤7：保存爬取的数据。最后，将处理好的数据保存起来，这里存储为csv文件。
演示代码如下：
1  book_info.to_csv('当当网图书销售排行.csv', encoding='utf-8', index=False)
三、CSDN数据采集
通过python实现csdn页面的内容采集是相对来说比较容易的，因为csdn不需要登陆，不需要cookie，也不需要设置header。
本案例使用python实现csdn文章数据采集，获取我的博客下每篇文章的链接、标题、阅读数目。
需要安装BeautifulSoup包（点击下载）
python3.6下：
#coding:utf-8#本实例用于获取指定用户csdn的文章名称、连接、阅读数目import urllibimport refrom bs4 import BeautifulSoup#csdn不需要登陆，也不需要cookie,也不需要设置headerprint('=======================csdn数据挖掘==========================')urlstr="https://blog.csdn.net/qq_35029061?viewmode=contents"host = "https://blog.csdn.net/qq_35029061"  #根目录alllink=[urlstr]   #所有需要遍历的网址data={}def getdata(html,reg):  #从字符串中安装正则表达式获取值    pattern = re.compile(reg)    items = re.findall(pattern, html)    for item in items:        urlpath = urllib.parse.urljoin(urlstr,item[0])   #将相对地址，转化为绝对地址        if not hasattr(object, urlpath):            data[urlpath] = item            print(urlpath,'     ', end=' ')  #python3中end表示结尾符，这里不换行            print(item[2], '     ', end=' ')            print(item[1])#根据一个网址获取相关连接并添加到集合中def getlink(url,html):    soup = BeautifulSoup(html,'html5lib')   #使用html5lib解析，所以需要提前安装好html5lib包    for tag in soup.find_all('a'):   #从文档中找到所有标签的内容        link = tag.get('href')        newurl = urllib.parse.urljoin(url, link) #在指定网址中的连接的绝对连接        if host not in newurl:  # 如果是站外连接，则放弃            continue        if newurl in alllink:   #不添加已经存在的网址            continue        if not "https://blog.csdn.net/qq_35029061/article/list" in newurl:  #自定义添加一些链接限制            continue        # if not "https://blog.csdn.net/qq_35029061/category_10969287" in newurl:  #必须是python类目下的列表        #     continue        # if not "https://blog.csdn.net/qq_35029061/category_11852875" in newurl:  # 必须是K8s类目下的列表        #     continue        alllink.append(newurl)   #将地址添加到链接集合中#根据一个网址，获取该网址中符合指定正则表达式的内容def craw(url):    try:        request = urllib.request.Request(url)  #创建一个请求        response = urllib.request.urlopen(request)  #获取响应        html = str(response.read(),'utf-8')  #读取返回html源码，,python2里面读取的是字节数组        # reg = r'"link_title">\r\n(.*?)\n.*?'  #只匹配文章地址和名称        reg = r'"link_title">\r\n        (.*?)            \r\n.*?[\s\S]*?阅读\((.*?)\)'  # 匹配地址、名称、阅读数目        getdata(html,reg)        getlink(url,html)    except urllib.error.URLError as e:        if hasattr(e,"code"):            print(e.code)        if hasattr(e,"reason"):            print(e.reason)for url in alllink:    craw(url)
python2.7下：
#coding:utf-8#本实例用于获取指定用户csdn的文章名称、连接、阅读数目import urllib2import refrom bs4 import BeautifulSoup#csdn不需要登陆，也不需要cookie,也不需要设置headerprint('=======================csdn数据挖掘==========================')urlstr="http://blog.csdn.net/luanpeng825485697?viewmode=contents"host = "http://blog.csdn.net/luanpeng825485697"  #根目录alllink=[urlstr]   #所有需要遍历的网址data={}def getdata(html,reg):  #从字符串中安装正则表达式获取值    pattern = re.compile(reg)    items = re.findall(pattern, html)    for item in items:        urlpath = urllib2.urlparse.urljoin(urlstr,item[0])   #将相对地址，转化为绝对地址        if not hasattr(object, urlpath):            data[urlpath] = item            print urlpath,'     ',  #print最后有个逗号，表示输出不换行            print item[2], '     ',            print item[1]#根据一个网址获取相关连接并添加到集合中def getlink(url,html):    soup = BeautifulSoup(html,'html.parser')   #使用html5lib解析，所以需要提前安装好html5lib包    for tag in soup.find_all('a'):   #从文档中找到所有标签的内容        link = tag.get('href')        newurl = urllib2.urlparse.urljoin(url, link) #在指定网址中的连接的绝对连接        if host not in newurl:  # 如果是站外连接，则放弃            continue        if newurl in alllink:   #不添加已经存在的网址            continue        if not "http://blog.csdn.net/luanpeng825485697/article/list" in newurl:  #自定义添加一些链接限制            continue        alllink.append(newurl)   #将地址添加到链接集合中#根据一个网址，获取该网址中符合指定正则表达式的内容def craw(url):    try:        request = urllib2.Request(url)  #创建一个请求        response = urllib2.urlopen(request)  #获取响应        html = response.read()  #读取返回html源码        # reg = r'"link_title">\r\n(.*?)\n.*?'  #只匹配文章地址和名称        reg = r'"link_title">\r\n        (.*?)            \r\n.*?[\s\S]*?阅读\((.*?)\)'  # 匹配地址、名称、阅读数目        getdata(html,reg)        getlink(url,html)    except urllib2.URLError, e:        if hasattr(e,"code"):            print e.code        if hasattr(e,"reason"):            print e.reasonfor url in alllink:    craw(url)
四、糗事百科数据采集
通过python实现糗事百科页面的内容采集是相对来说比较容易的，因为糗事百科不需要登陆，不需要cookie，不过需要设置http的MIME头，模拟浏览器访问才能正常请求
本案例使用python实现糗事百科数据采集，获取糗事百科热门的文章内容和好评数量。
需要安装BeautifulSoup包（点击下载）
python2.7下：
#coding:utf-8#本实例用于获取糗事百科热门的文章内容和好评数量。import urllib2import refrom bs4 import BeautifulSoup#糗事百科需要设置MIME头才能正常请求，不需要登陆，也不需要cookieprint('=======================糗事百科数据挖掘==========================')urlstr="https://www.qiushibaike.com/8hr/page/%d"data={}def getdata(html):  #从字符串中安装正则表达式获取值    soup = BeautifulSoup(html, 'html.parser');    alldiv = soup.find_all("div", class_="content")   #内容的外部div    allnum = soup.find_all("span", class_="stats-vote")  #点赞数量的外部span    for i in range(0,len(alldiv)):        print str(alldiv[i].find_all('span')[0]).replace('','').replace('','').replace('
','\r\n').strip()  #内容文字，使用string在文字里还有
时，无法打印，使用text会省略调用
        print allnum[i].find_all('i')[0].string  #好评数量    #根据一个网址，获取该网址中符合指定正则表达式的内容def craw(url):    try:        user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'        headers = { 'User-Agent' : user_agent }  #设置MIME头，糗事百科对这个进行了验证        request = urllib2.Request(url,headers = headers)  #创建一个请求        response = urllib2.urlopen(request)  #获取响应        html = response.read()  #读取返回html源码        getdata(html)    except urllib2.URLError, e:        if hasattr(e,"code"):            print e.code        if hasattr(e,"reason"):            print e.reasonfor i in range(1,14):    url = urlstr % i    print(url)    craw(url)
python3.6下：
#coding:utf-8#本实例用于获取糗事百科热门的文章内容和好评数量。import urllibfrom bs4 import BeautifulSoup#糗事百科需要设置MIME头才能正常请求，不需要登陆，也不需要cookieprint('=======================糗事百科数据挖掘==========================')urlstr="https://www.qiushibaike.com/8hr/page/%d"data={}def getdata(html):  #从字符串中安装正则表达式获取值    soup = BeautifulSoup(html, 'html.parser');    alldiv = soup.find_all("div", class_="content")   #内容的外部div    allnum = soup.find_all("span", class_="stats-vote")  #点赞数量的外部span    for i in range(0,len(alldiv)):        print(str(alldiv[i].find_all('span')[0]).replace('','').replace('','').replace('
','\r\n').strip())  #内容文字，使用string在文字里还有
时，无法打印，使用text会省略调用
        print(allnum[i].find_all('i')[0].string)  #好评数量#根据一个网址，获取该网址中符合指定正则表达式的内容def craw(url):    try:        user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'        headers = { 'User-Agent' : user_agent }  #设置MIME头，糗事百科对这个进行了验证        request = urllib.request.Request(url,headers = headers)  #创建一个请求        response = urllib.request.urlopen(request)  #获取响应        html = response.read()  #读取返回html源码        getdata(html)    except urllib.error.URLError as e:        if hasattr(e,"code"):            print(e.code)        if hasattr(e,"reason"):            print(e.reason)for i in range(1,14):    url = urlstr % i    print(url)    craw(url)
五、百度贴吧数据采集
通过python实现百度贴吧页面的内容采集是相对来说比较容易的，因为百度贴吧不需要登陆，不需要cookie，不需要设置http的MIME头
本案例使用python实现百度贴吧数据采集，获取百度贴吧的文章内容，楼层
百度贴吧网址比如：http://tieba.baidu.com/p/3138733512?see_lz=1&pn=1，这是一个关于NBA50大的盘点，分析一下这个地址。
 http://  代表资源传输使用http协议 tieba.baidu.com 是百度的二级域名，指向百度贴吧的服务器。 /p/3138733512 是服务器某个资源，即这个帖子的地址定位符 see_lz和pn是该URL的两个参数，分别代表了只看楼主和帖子页码，等于1表示该条件为真
所以我们可以把URL分为两部分，一部分为基础部分，一部分为参数部分。
例如，上面的URL我们划分基础部分是 http://tieba.baidu.com/p/3138733512，参数部分是 ?see_lz=1&pn=1
爬虫过程比较简单，基本还是围绕：请求、正则解析、打印存储。
注意：python3.4以后中，将urllib2、urlparse、robotparser并入了urllib模块，并且修改了urllib模块，其中包含了5个子模块，每个子模块中的常用方法如下：
python3中的库             包含了子类（python2中）urllib.error:            ContentTooShortError;URLError;HTTPErrorurllib.parse：           urlparse;_splitparams;urlsplit;urlunparse;urlunsplit;urljoin;urldefrag;unquote_to_bytes;unquote;parse_qs;parse_qsl;unquote_plus;quote;quote_plus;quote_from_bytes;urlencode;to_bytes;unwrap;splittype;splithost;splituser;splitpasswd;splitport等；urllib.request:          urlopen; install_opener; urlretrieve; urlcleanup; request_host; build_opener; _parse_proxy; parse_keqv_list; parse_http_list; _safe_gethostbyname; ftperrors; noheaders; getproxies_environment; proxy_bypass_environment; _proxy_bypass_macosx_sysconf; Requesturllib.response:         addbase; addclosehook; addinfo;addinfourl;urllib.robotparser:      RobotFileParser
python2.7下：
# -*- coding:utf-8 -*-import urllibimport urllib2import re#处理页面标签类class Tool:    #去除img标签,7位长空格    removeImg = re.compile('
执行结果：
十、多线程+队列+入库：根据关键字筛选爬取网页
实现思路：
多线程爬取网页信息，从一个页面为起点，爬取其包含的所有链接，并根据关键字筛选，将符合的网页入库。
访问首页（种子页），获取源码 html；
使用正则或者其他方式获取所有的绝对地址链接，存到一个 list 里面；
遍历 list，加入到队列中；
多线程从队列中取数据，一次取一个绝对地址链接，并重复上面 1-3 步。
代码：
下载地址：https://github.com/juno3550/Crawler
MysqlTool 类：将 mysql 的初始化及操作进行封装。
get_page_message()：获取当前网页的所需信息（标题、正文、包含的所有链接）。
get_html()：多线程任务函数，将包含关键字的当前页面进行入库，并将包含的所有链接放入队列中，以此循环。
import requestsimport refrom threading import Thread, Lockimport queueimport pymysqlimport tracebackimport time# 线程同步锁lock = Lock()queue = queue.Queue()# 设定需要爬取的网页数crawl_num = 20# 存储已爬取的urlresult_urls = []# 当前已爬取的网页个数current_url_count = 0# 爬取的关键字key_word = "新闻"# mysql操作封装class MysqlTool():    def __init__(self, host, port, db, user, passwd, charset="utf8"):        self.host = host        self.port = port        self.db = db        self.user = user        self.passwd = passwd        self.charset = charset    def connect(self):        '''创建数据库连接与执行对象'''        try:            self.conn = pymysql.connect(host=self.host, port=self.port, db=self.db, user=self.user, passwd=self.passwd, charset=self.charset)            self.cursor = self.conn.cursor()        except Exception as e:            print(e)    def close(self):        '''关闭数据库连接与执行对象'''        try:            self.cursor.close()            self.conn.close()        except Exception as e:            print(e)    def __edit(self, sql):        '''增删改查的私有方法'''        try:            execute_count = self.cursor.execute(sql)            self.conn.commit()        except Exception as e:            print(e)        else:            return execute_count    def insert(self, sql):        '''插入数据'''        self.connect()        self.__edit(sql)        self.close()# 获取URL的所需信息def get_page_message(url):    try:        if ".pdf" in url or ".jpg" in url or ".jpeg" in url or ".png" in url or ".apk" in url or "microsoft" in url:            return        r = requests.get(url, timeout=5)        # 获取该URL的源码内容        page_content = r.text        # 获取页面标题        page_title = re.search(r"