- 当前位置：首页 >数据库 >Python爬取房产数据，在地图上展现！
Python爬取房产数据，在地图上展现！
发布时间：2025-11-05 10:55:29 来源：码上建站 作者：数据库
小伙伴，房产我又来了，数据上展这次我们写的地图是用python爬虫爬取乌鲁木齐的房产数据并展示在地图上，地图工具我用的房产是 BDP个人版-免费在线数据分析软件，数据可视化软件 ，数据上展这个可以导入csv或者excel数据。地图
首先还是房产分析思路，爬取网站数据，数据上展获取小区名称，地图地址，房产价格，数据上展经纬度，地图保存在excel里。房产再把excel数据上传到BDP网站，b2b供应网数据上展生成地图报表本次我使用的地图是scrapy框架，可能有点大材小用了，主要是刚学完用这个练练手，再写代码前我还是建议大家先分析网站，分析好数据，再去动手写代码，因为好的分析可以事半功倍，乌鲁木齐楼盘,2017乌鲁木齐新楼盘,乌鲁木齐楼盘信息 - 乌鲁木齐吉屋网 这个网站的数据比较全，每一页获取房产的LIST信息，并且翻页，点进去是详情页，云服务器获取房产的详细信息(包含名称，地址，房价，经纬度)，再用pipelines保存item到excel里，最后在bdp生成地图报表，废话不多说上代码：
JiwuspiderSpider.py
# -*- coding: utf-8 -*- from scrapy import Spider,Request import re from jiwu.items import JiwuItem class JiwuspiderSpider(Spider): name = "jiwuspider" allowed_domains = ["wlmq.jiwu.com"] start_urls = [http://wlmq.jiwu.com/loupan] def parse(self, response): """ 解析每一页房屋的list :param response: :return: """ for url in response.xpath(//a[@class="index_scale"]/@href).extract(): yield Request(url,self.parse_html) # 取list集合中的url 调用详情解析方法 # 如果下一页属性还存在，则把下一页的url获取出来 nextpage = response.xpath(//a[@class="tg-rownum-next index-icon"]/@href).extract_first() #判断是否为空 if nextpage: yield Request(nextpage,self.parse) #回调自己继续解析 def parse_html(self,response): """ 解析每一个房产信息的详情页面，生成item :param response: :return: """ pattern = re.compile(<script type="text/javascript">.*?lng = \(.*?)\;.*?lat = \(.*?)\;.*?bname = \(.*?)\;.*? address = \(.*?)\;.*?price = \(.*?)\;,re.S) item = JiwuItem() results = re.findall(pattern,response.text) for result in results: item[name] = result[2] item[address] = result[3] # 对价格判断只取数字，如果为空就设置为0 pricestr =result[4] pattern2 = re.compile((\d+)) s = re.findall(pattern2,pricestr) if len(s) == 0: item[price] = 0 else:item[price] = s[0] item[lng] = result[0] item[lat] = result[1] yield itemitem.py
# -*- coding: utf-8 -*- # Define here the models for your scraped items # # See documentation in: # http://doc.scrapy.org/en/latest/topics/items.html import scrapy class JiwuItem(scrapy.Item): # define the fields for your item here like: name = scrapy.Field() price =scrapy.Field() address =scrapy.Field() lng = scrapy.Field() lat = scrapy.Field() passpipelines.py 注意此处是吧mongodb的保存方法注释了，可以自选选择保存方式
# -*- coding: utf-8 -*- # Define your item pipelines here # # Dont forget to add your pipeline to the ITEM_PIPELINES setting # See: http://doc.scrapy.org/en/latest/topics/item-pipeline.html import pymongo from scrapy.conf import settings from openpyxl import workbook class JiwuPipeline(object): wb = workbook.Workbook() ws = wb.active ws.append([小区名称, 地址, 价格, 经度, 纬度]) def __init__(self): # 获取数据库连接信息 host = settings[MONGODB_URL] port = settings[MONGODB_PORT] dbname = settings[MONGODB_DBNAME] client = pymongo.MongoClient(host=host, port=port) # 定义数据库 db = client[dbname] self.table = db[settings[MONGODB_TABLE]] def process_item(self, item, spider): jiwu = dict(item) #self.table.insert(jiwu) line = [item[name], item[address], str(item[price]), item[lng], item[lat]] self.ws.append(line) self.wb.save(jiwu.xlsx) return item最后报表的源码下载数据
mongodb数据库
地图报表效果图：https://me.bdp.cn/share/index.html?shareId=sdo_b697418ff7dc4f928bb25e3ac1d52348
- 上一篇：Win平板电脑使用教程（掌握Win平板电脑操作技巧，畅享便捷移动办公）
- 下一篇：当我们安装好Tomcat使用后发现，每次启动都需要在终端中手动键入sudo /var/tomcat/bin/startup.sh，那么我们怎么解决这个问题呢 以下是我的解决方案： 1.首先打开终端，输入su，接着输入ROOT的密码获得ROOT权限。进入/etc文件夹(使用cd /etc命令) 2.打开rc.local文件(在/etc目录下使用vi rc.local命令) 3.rc.local文件内容默认如下 #!/bin/sh -e # # rc.local # # This script is executed at the end of each multiuser runlevel. # Make sure that the script will exit 0 on success or any other # value on error. # # In order to enable or disable this script just change the execution # bits. # # By default this script does nothing. /var/tomcat/bin/startup.sh exit 0 4.红色内容为我们手动添加的内容，这里指的是tomcat启动项，那么如何更改呢，首先键入A 进入INSERT模式，移动光标到红色位置输入准确路径，按ESC退出INSERT模式，光标移动到行尾，键入:wq保存文件 至此，我们已经解决这个问题，重启Ubuntu我们发现已经可以自动访问Tomcat下的内容了
- 探索平板Mini的无限可能性（便携性与功能完美结合，让您随身携带多种便利）
- 海信i630m手机（性能强大、拍照出色，海信i630m让你的生活更便捷）
- i57500的性价比分析（揭秘i57500的优势与劣势，解读其性价比）
- 用Beats看电影，享受全新体验（用音乐魔盒Beats观影，让电影更震撼）
- 先锋970主机（一台超强性能的电脑｜先锋970是未来的选择）
- 探索苹果iOS9.2系统的全新功能与体验（深入剖析iOS9.2系统的关键特性与升级优势）
- 英特尔Corei3-6100（性能稳定，功耗低，为日常办公和轻度游戏提供出色表现）
- 优化麦本本散热，提升性能体验（有效降温，提高散热效果）
- 个人电脑装机系统教程（一步步教你如何自行组装个人电脑，让你的电脑更高效！）
- HTCUUltra（突破设计，领先体验，超越期望的HTCUUltra）
随便看看
源码库IT资讯网亿华云香港云服务器源码下载企商汇服务器租用IT技术网益华科技益强前沿资讯益强智囊团益华科技运维纵横益强科技云站无忧益强编程舍益强数据堂亿华云计算亿华云亿华智造创站工坊益强智未来亿华互联全栈开发技术快报思维库亿华智慧云码力社码上建站亿华科技多维IT资讯智能时代益强科技极客编程亿华灵动益强编程堂科技前瞻益华IT技术论坛云智核编程之道IT资讯网
- Copyright © 2025 Powered by Python爬取房产数据，在地图上展现！,码上建站 滇ICP备2023006006号-47sitemap