文章目录

      • 前言
      • 查看API接口
      • 基本思想
      • 实现过程
        • 构建一次举手函数
        • 构建多次举手函数
        • 构建保存函数
      • 区域切分代码
      • 代码详解
        • 经纬度小数点问题
        • 列表的知识
      • 完整代码:
      • 运行截图
      • 功能更新

前言

据说高德POI的尽头是多边形搜索法,今天下午也是简单试了一下。

高德poi的获取有四种基本方法,其中关键词搜索法已经在博客Python获取高德POI(关键词搜索法),许多基本的知识也在上文中详细赘述了,如果是没有基础的朋友建议先看完关键词搜索法,这有助于您看懂这篇文章。


查看API接口

高德地图的开放平台提供了四种poi获取的接口:

  1. 关键字搜索: 通过用POI的关键字进行条件搜索,例如:肯德基、朝阳公园等;同时支持设置POI类型搜索,例如:银行
  2. 周边搜索: 在用户传入经纬度坐标点附近,在设定的范围内,按照关键字或POI类型搜索;
  3. 多边形搜索: 在多边形区域内进行搜索
  4. ID查询: 通过POI ID,查询某个POI详情,建议可同输入提示API配合使用

那么我们这次要使用的是多边形搜索法,而且用的是矩形来获取poi。通过查看多边形搜索法的使用说明,我们可以知道,如果要使用这个多边形搜索法,我们必须提注意以下几个地方:

1. 提供多边形的坐标对。形如:112.953161,23.935966为一个坐标对,由经纬度构成2. 坐标对之间用“|”进行分割,坐标对按照经度在前、纬度在后的方式提供,且经纬度之间用逗号隔开。3. 当区域为矩形的时候,只需要提供左上右下两个顶点坐标。


基本思想

那么了解完这个API的使用,我们就可以开始动手构思如何对区域进行切分。
在搜索完网上的一些多边形搜索法之后,不外乎以下两种:

  1. 通过用户提供的长度将多边形进行格网化,然后遍历每个格子内的poi。
  2. 通过四叉树的方法将区域不断切分成四个子矩形,当矩形内poi数量小于900的时候直接获取poi;当矩形内poi数量大于900的时候对该矩形继续切分,直至每个子矩形内的poi数量都小于900.

优缺点:
第一种格网化的方法是相对简单,只需要将区域的长和宽进行n等分,通过遍历来实现获取poi,但缺点也很明显,长度的大小由用户自己定义,当长度太小的时候,需要遍历的格网数量几何级增加,长度太大的时候不难保证poi的完整性。
第二种方法是运用递归的方法,矩形切分的大小由区域内poi的数量来控制,既能保证poi的完整,又免去设置区域大小的麻烦。缺点在于由于是矩形搜索,因此获取的poi难免会有超过目标区域的地方,需要后期用GIS的手段进行裁剪

实现过程

引入我们需要的库

#库的说明1.requests --爬虫常用库2.json  --该库能够帮我们处理高德返回的JSON格式的数据3.Coordin_transformlat -- 这个是自己写的一个坐标转换的库,其目的是为了解决开头说的坐标偏移的问题4.csv --这个是将poi点最终保存为csv文件所使用的库#引入所需的库import requestsimport jsonimport csvfrom Coordin_transformlat import gcj02towgs84

构建一次举手函数

通过刚刚查看的多边形的API可以知道,如果我们要请求数据,那么需要填写的关键参数有以下几个:

key:高德地图的密钥polygon:经纬度坐标对keywords或types:关键词或者poi分类page:表示当前页数,用于控制举手的次数

所以我们一共有四个参数需要设置。
Tips: 我们还是可以运用关键词搜索法里的思想,将这个过程理解成举手向老师索取数据,举一次手老师给你20条数据,跟关键词搜索法不同的地方在于,这个举手函数里用的API是多边形搜索法。

def Get_poi_polygon(key,polygon,keywords,page):    '''    这是一个能够从高德地图获取poi数据的函数    key:为用户申请的高德密钥    polygon:目标区域的坐标对,默认是list格式,按照[左上经度,左上纬度,右下经度,右下纬度]的顺序输入    keywords:POI数据的类型    page:当前页数    '''    #设置header    header = {'User-Agent': "Mozilla/5.0 (Windows; U; Windows NT 6.1; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50"}    #将输进来的矩形进行格式化    Polygonstr = str(polygon[0]) + ',' + str(polygon[1]) + '|' + str(polygon[2]) + ',' + str(polygon[3])    #构建url    url = 'https://restapi.amap.com/v3/place/polygon?polygon={}&key={}&keywords={}&page={}'.format(Polygonstr, key, keywords, page)        #用get函数请求数据    r = requests.get(url, headers=header)    #设置数据的编码为'utf-8'    r.encoding = 'utf-8'    # 将请求得到的数据按照'utf-8'编码成字符串    data = r.text    return data

在上面的代码里,唯一需要注意的地方是需要对用户输入进来的坐标对进行格式化,因为用户输入的坐标对通常是浮点型的,但这个坐标对我们需要拼接到url里,因此我们需要将其转换成字符型,因此在url之前需要进行这个格式化。


构建多次举手函数

上面的函数是一次举手的函数,那么下面我们需要通过次数来实现爬取一个区域内的所有poi。
刚刚上文说到可以通过page来控制举手的次数,那么利用高德地图每次返回的页数最多包含20条记录的特点,通过判断当前页数page下的count是否为0来实现控制次数。

这里面代码的书写与上一篇大有不同,原因在于以下地方:
需要通过传入的矩形,来判断当前区域内poi的数量是否大于800,如果大于800,需要返回一个值,方便我们继续对区域进行切分。如果小于800,我们就直接将数据写入csv中,因此我也是在这个函数里直接调用了写入数据的函数。

def Get_times_polygon(key,polygon,keywords):    '''    这是一个控制Get_poi_polygon申请次数的函数    '''    page = 1    # 执行以下代码,直到count为0的时候跳出循环    while True:        # 调用第一个函数来获取数据        result = Get_poi_polygon(key,polygon, keywords, page)        # json.loads可以对获取回来JSON格式的数据进行解码        content = json.loads(result)        pois = content['pois']        count = content['count']        print(count)        #如果区域内poi的数量大于800,则认为超过上限,返回False请求对区域进行切割        if int(count) > 800:            return False        else:            #开始提取poi的信息            for i in range(len(pois)):                name = pois[i]['name']                location = pois[i]['location']                #通过多次运行,我发现有时候会检索不到poi的地址                #当address为空时,代码将会报错,因此这里设置一下地址为空的时候仍能继续爬取               if 'address' not in pois[i].keys():                    address = str(-1)                else:                    address = pois[i]['address']                adname = pois[i]['adname']                result = gcj02towgs84(location)                lng = result[0]                lat = result[1]                row = [name, address, adname, lng, lat]                #调用写入函数来保存数据                writecsv(row, keywords)            if count == '0':                break                # 递增page            page = page + 1

构建保存函数

我是将数据保存成了csv文件,由于在上述的函数里提取过poi的信息了,所以就无需在保存函数里再进行过滤。直接将poi的信息进行写入即可。当然,注意一下写入的模式是追加,否则每次循环都会覆盖已有的数据。

def writecsv(poilist,keywords):    """    这是写入成csv文件的函数    :param poilist:    :param keywords:    :return: 输出的结果存放在代码文件夹下    """    with open('{}.csv'.format(keywords),'a',newline='',encoding='utf-8') as csvfile:        writer = csv.writer(csvfile)        writer.writerow(poilist)

区域切分代码

区域的切分主要用到的是四叉树的方法,当然也是借鉴了几篇博客。有一幅图可以直观明了地表示出四叉树的思想。

其次呢,我们在代码里运用的是经度跟纬度,如果不熟悉地理的朋友估计容易混乱,因此我画了一幅图:

那么有这个图的思想之后,我们就用经纬度来表示出每个子矩形。
我们输入的坐标对是左上右下的坐标对
因此左上角的矩形可以用
(最小经度,最大纬度)和(最大经度+最小经度)/2,(最大纬度+最小纬度)/2来表示
其余三个子矩形均可以通过最大最小的经纬度来表示

简单理解了过程之后,就可以准备敲代码了。

def Quadrangle(key,polygon,keywords):    """    :param key:高德地图密钥    :param polygon: 矩形左上跟右下坐标的列表    :param keywords: poi关键词    :return:    """    #准备一个空列表,存放切割后的子区域    PolygonList = []    for i in range(len(polygon)):        currentMinlat = round(polygon[i][0],6)#当前区域的最小经度        currentMaxlat = round(polygon[i][2],6)#当前区域的最大经度        currentMaxlon = round(polygon[i][1],6)#当前区域的最大纬度        currentMinlon = round(polygon[i][3],6)#当前区域的最小纬度        cerrnt_list = [currentMinlat, currentMaxlon, currentMaxlat, currentMinlon]        #将多边形输入获取函数中,判断区域内poi的数量        status = gp.Get_times_polygon(key,cerrnt_list,keywords)        #如果数量大于800,那么返回False,对区域进行切分,否则返回区域的坐标对        if status != False:            print('该区域poi数量小于800,正在写入数据')        else:            #左上矩形            PolygonList.append([                currentMinlat, #左经                currentMaxlon, #上纬                (currentMaxlat+currentMinlat)/2, #右经                (currentMaxlon+currentMinlon)/2]) #下纬            #右上矩形            PolygonList.append([                (currentMaxlat+currentMinlat)/2,#左经                currentMaxlon, #上纬                currentMaxlat, #右经                (currentMaxlon+currentMinlon)/2#下纬            ])            #左下矩形            PolygonList.append([                currentMinlat,#左经                (currentMaxlon+currentMinlon)/2,#上纬                (currentMaxlat+currentMinlat)/2,#右经                currentMinlon#下纬            ])            #右下矩形            PolygonList.append([                (currentMaxlat+currentMinlat)/2,#左经                (currentMaxlon+currentMinlon)/2,#上纬                currentMaxlat,#右经                currentMinlon#下纬            ])            #当带切分的区域数量为0时,返回上一层矩形            if len(PolygonList) == 0:                break            else:            #继续切分区域                Quadrangle(key,PolygonList,keywords)

代码详解

四叉树的代码并不算复杂,其实就是用一个列表来放置切分的子矩形,然后遍历这些子矩形,遍历的时候继续做判断,需要的时候继续切分,加入现有的列表中。

经纬度小数点问题

其中round()函数是用来保留小数位点的函数,因为在高德地图API的说明里提到了经纬度小数点不能超过6位,因此这里需要注意一下。

列表的知识

还有另外一个知识点,代码里 PolygonList = []是在定义一个空的列表,列表就像一格格排列整齐的车厢,向列表里面添加东西需要用append()函数来添加,所以如果你感到好奇的话,可以理解为向PolygonList这个列表里添加四个子矩形

出于时间原因,还有一些基础的知识点没来得及详细解释,深感歉意。

到这里我的代码也就大致写完了,当然一部分是借鉴前人的经验,另一部分是自己改良的。在我多次的尝试过程中,我发现有时候爬取的过程中会出现 “假死” 现象,估计是我没有限制爬取速度,所以才会出现这种卡住不继续运行也不报错的现象,但这个问题不大。可以通过加入time库设置每次爬取的休眠时长来提高稳定性。

完整代码:

完整的代码我分成了三个文件,下面是这三个文件的描述

1. Coordin_transformlat.py -- 坐标转换文件,用于对poi进行坐标系纠偏2. GetPoi_keywords.py --  对高德地图发起数据请求并写入csv文件3. RectanSearch.py --  四叉树划分法

注意的地方:
在 RectanSearch.py里面需要调用GetPoi_keywords.py里的方法进行判断
在GetPoi_keywords.py里面需要调用Coordin_transformlat.py进行坐标系变换

所以三个文件缺一不可!!!

import GetPoi_keywords as gpdef Quadrangle(key,polygon,keywords):    """    :param key:高德地图密钥    :param polygon: 矩形左上跟右下坐标的列表    :param keywords: poi关键词    :return:    """    #准备一个空列表,存放切割后的子区域    PolygonList = []    for i in range(len(polygon)):        currentMinlat = round(polygon[i][0],6)#当前区域的最小经度        currentMaxlat = round(polygon[i][2],6)#当前区域的最大经度        currentMaxlon = round(polygon[i][1],6)#当前区域的最大纬度        currentMinlon = round(polygon[i][3],6)#当前区域的最小纬度        cerrnt_list = [currentMinlat, currentMaxlon, currentMaxlat, currentMinlon]        #将多边形输入获取函数中,判断区域内poi的数量        status = gp.Get_times_polygon(key,cerrnt_list,keywords)        #如果数量大于800,那么返回False,对区域进行切分,否则返回区域的坐标对        if status != False:            print('该区域poi数量小于800,正在写入数据')        else:            #左上矩形            PolygonList.append([                currentMinlat, #左经                currentMaxlon, #上纬                (currentMaxlat+currentMinlat)/2, #右经                (currentMaxlon+currentMinlon)/2]) #下纬            #右上矩形            PolygonList.append([                (currentMaxlat+currentMinlat)/2,#左经                currentMaxlon, #上纬                currentMaxlat, #右经                (currentMaxlon+currentMinlon)/2#下纬            ])            #左下矩形            PolygonList.append([                currentMinlat,#左经                (currentMaxlon+currentMinlon)/2,#上纬                (currentMaxlat+currentMinlat)/2,#右经                currentMinlon#下纬            ])            #右下矩形            PolygonList.append([                (currentMaxlat+currentMinlat)/2,#左经                (currentMaxlon+currentMinlon)/2,#上纬                currentMaxlat,#右经                currentMinlon#下纬            ])            print(len(PolygonList))            if len(PolygonList) == 0:                break            else:                Quadrangle(key,PolygonList,keywords)#这里修改为自己的高德密钥key ='***************'#这里修改自己的poi类型keywords = '公园'#这里输入想要查询的城市city = '广州'#调用高德查询行政区的API接口来返回矩形坐标对Retance = gp.get_city_scope(key,city)#存储区域矩形的列表input_polygon = []input_polygon.append(Retance)Quadrangle(key,input_polygon,keywords)

运行截图


如果想传入poi的类型(types)来检索,可以将url里的keywords={}替换成types = {},其他地方均不用再做修改!!!

成功突破了900条的限制!大功告成!!!

功能更新

由于很多朋友不知道区域最小外接矩形的坐标对如何获取,因为我在源码中添加了自动获取目标城市外接矩形的坐标对的方法,该方法调用了高德地图查询行政区划信息接口,只需要我们输入城市的名称或者编号即可。(注意这个区域一定是区级及以上单位的,乡镇级别是返回不了边界的!!!)
点此查看高德城市编码表

PS:以前是编程小白,做个科研连数据都拿不到,到处求大佬帮忙爬的时候真的是太难过了,都不知道是在爬数据还是爬着求大佬,所以暗暗下定决心自己要自力更生。在百度上能够得到的资源固然不少,但灌水重复的文章也不在少数,所以特别理解那些正在淋雨的人,因为我也是一步步摸索着过来的。能做的不多,能够照亮一点黑暗即知足。
完整代码链接:
链接: 完整源码
提取码:455x
源代码于2020/4/17 23:31已更新最新版