爬虫小案例 | 批量查询地址经纬度信息

  • A+
所属分类:安全开发

如何批量查询地址经纬信息?

抓包

爬虫小案例 | 批量查询地址经纬度信息

  1. 打开https://jingweidu.51240.com/
  2. F12键(mac电脑快捷键option+command+I)打开开发者工具Network面板
  3. 搜索框输入查询地址,回车查询
  4. 开发者工具Network会看到截图中的网址
  5. 点击Preview,能看到具体信息

爬虫小案例 | 批量查询地址经纬度信息


1. 经纬度查询爬虫函数query

1. 根据抓包分析,构造网址模板template

2. 使用requests库发起访问

3. 使用正则表达式re库解析出经纬度信息

import requests

def query(addr):
    #查询addr的经纬度
    template = 'https://apis.map.qq.com/jsapi?qt=geoc&addr={addr}&key=UGMBZ-CINWR-DDRW5-W52AK-D3ENK-ZEBRC&output=jsonp&pf=jsapi&ref=jsapi&cb=qq.maps._svcb2.geocoder0'
    url = template.format(addr=addr)
    resp = requests.get(url)
    x = re.findall('pointx":"(.*?)",',resp.text)[0]
    y = re.findall('pointy":"(.*?)",',resp.text)[0]
    return x,y

query(addr="山东省潍坊市安丘市兴安街道")
('119.161423', '36.331699')

2. 测试数据

import pandas as pd

df = pd.read_csv("test.csv")
df

company addr
0 公司A 山东省潍坊市安丘市兴安街道
1 公司B 浙江省杭州市萧山区
2 公司C 广东省广州市番禺区
3 公司D 陕西省西安市莲湖区
df['addr']
0    山东省潍坊市安丘市兴安街道
1 浙江省杭州市萧山区
2 广东省广州市番禺区
3 陕西省西安市莲湖区
Name: addr, dtype: object

3. 批量查询

对选中的addr列,使用apply方法调用query函数批量查询经纬度

df['addr'].apply(query)
0    (119.161423, 36.331699)
1 (120.264570, 30.185340)
2 (113.384240, 22.937720)
3 (108.940200, 34.267030)
Name: addr, dtype: object

4. 保存

df['经纬度']=df['addr'].apply(query)
df

company addr 经纬度
0 公司A 山东省潍坊市安丘市兴安街道 (119.161423, 36.331699)
1 公司B 浙江省杭州市萧山区 (120.264570, 30.185340)
2 公司C 广东省广州市番禺区 (113.384240, 22.937720)
3 公司D 陕西省西安市莲湖区 (108.940200, 34.267030)

5. 导出csv

结果导出到csv中

df.to_csv('result.csv')


Python相关

[更新] Python网络爬虫与文本数据分析 
读完本文你就了解什么是文本分析
文本分析在经管领域中的应用概述  
综述:文本分析在市场营销研究中的应用
plotnine: Python版的ggplot2作图库
小案例: Pandas的apply方法  
stylecloud:简洁易用的词云库 
用Python绘制近20年地方财政收入变迁史视频  
Wow~70G上市公司定期报告数据集
漂亮~pandas可以无缝衔接Bokeh  
YelpDaset: 酒店管理类数据集10+G  

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: