最近初学Python，写爬虫上瘾。爬了豆瓣练手，又爬了公司的论坛生成词云分析年度关键词。最近琢磨着2019又要过去一半了，我的年度关键词是啥？
所以自然想到爬取下自己的微信朋友圈，来个词频分析，生成属于自己的年度关键词词云。
朋友圈的爬取是非常有难度的，因为微信根本没有暴露API入口去爬取数据。
但它山之石，可以攻玉。
通过各种搜索发现，已经有第三方工具可以做到朋友圈的导出。其中微信公众号【出书啦】就提供了这样一种服务，支持朋友圈导出，并排版生成微信书。
而对朋友圈的爬取就是基于【出书啦】爬取朋友圈后生成网页后的二次爬取。
有点爬虫经验的，只要拿到导出朋友圈的URL，后面的爬虫就不足为道了。但本着分享和总结的精神，还是和大家娓娓道来。
=文中涉及个人隐私内容做了特殊处理=
上面已经介绍过了朋友圈的数据爬取是基于【出书啦】微信公众号生成的在线微信书数据的二次爬取。
具体步骤很简单:
点击上图的链接，我们就可以看到按照月份重新排版的朋友圈数据，如下图所示：
至此，我们拿到朋友圈的数据入口——【出书啦】排版生成的微信书链接。
写过爬虫的，后面就可以直接略过了。
当然，没写过爬虫也不想动手的，也可以把【出书啦】生成的微信书链接留言或私信给我，我帮你获取年度关键词。
本文所写爬虫基于python2.7 + scrapy + jieba + wordcloud，使用VS Code IDE。
第一步：命令行执行scrapy startproject weixin_moment，生成Scrapy爬虫项目。
第二步：进入创建的weixin_moment目录，执行scrapy genspider 'moment' 'chushu.la'创建朋友圈爬虫。
执行以上两步后的文件夹结构如下：
数据的准确抓取，需要对数据源进行准确分析。这一步我们就要来分析【出书啦】生成的微信书链接的数据加载方式。老规矩，F12开发者工具用起来。
从上图我们可以看出这是一个get请求，返回的json类型格式数据。
点击Preview页签可以看到如下图所示的数据：
从图中可以看到返回的目录导航数据包，其数据是按月份进行加载的。当点击导航按钮，其加载对应月份的朋友圈数据。
我们点击【2014-3】再观察网络请求，发现如下请求：
从以上数据我们可以明细看出，其采用的是用json传参的post的方式请求数据包。点击Preview页签，看到返回的分页JSON数据包。
展开某个节点，我们可以发现朋友圈数据藏在data/paras节点下。
至此，我们完成数据的来源分析。
完成了数据源分析，我们只需构造数据请求，并进行正确的数据解析，即可拿到我们想要的数据！
修改moment.py定义start_requests方法：
bookid = '12345678' #请填写【出书啦】返回链接中的数字部分 def start_requests(self): """ 使用get方式请求导航数据包 """ url = 'http://chushu.la/api/book/chushula-{0}?isAjax=1'.format(self.bookid) #获取目录的url yield scrapy.Request(url, callback=self.parse) 重载parse方法，解析获取到的导航数据包： def parse(self, response): """ 处理获取到的导航数据包 """ json_body = json.loads(response.body) #加载json数据包 catalogs = json_body['book']['catalogs'] #获取json中的目录数据包 根据上面跟踪到发出的http导航请求，要想抓取到朋友圈数据，我们需要根据发出的请求参数构造参数。
从上图可知，主要包含五个参数：
继续修改我们的parse方法，遍历我们第一步抓取到的导航数据包构造请求参数：
def parse(self, response): """ 处理获取到的导航数据包 """ json_body = json.loads(response.body) #加载json数据包 catalogs = json_body['book']['catalogs'] #获取json中的目录数据包 url = 'http://chushu.la/api/book/wx/chushula-{0}/pages?isAjax=1'.format(self.bookid) #分页数据url start_page = int(catalogs[0]['month']) #获取起始月份作为index传值 for catalog in catalogs: year = catalog['year'] month = catalog['month'] formdata = { "type": 'year_month', "year": year, "month": month, "index": str(start_page), "value": 'v_{0}{1}'.format(year, month) } start_page += 1 因为从我们跟踪到的http请求来看是基于json传参的post请求：
所以我们要这样发起请求：
yield scrapy.Request( url, method='POST', body=json.dumps(formdata), headers={'Content-Type': 'application/json'}, callback=self.parse_moment) 同样我们需要定义一个回调函数用来处理返回的朋友圈数据。定义parse_moment方法，根据返回的json数据包进行数据提取：
def parse_moment(self, response): """ 朋友圈数据处理 """ json_body = json.loads(response.body) pages = json_body['pages'] pattern = re.compile(u"[\u4e00-\u9fa5]+") #匹配中文 item = WeixinMomentItem() for page in pages: if (page['type'] == "weixin_moment_page"):# 仅抓取朋友圈分页数据 paras = page['data']['paras'] if paras: moment = '' for content in paras[0]['rows']: result = re.findall(pattern, content['data']) #使用正则匹配所有中文朋友圈 moment += ''.join(result) item['moment'] = moment item['date'] = page['data']['dateText']#获取时间 yield item 以上用到了定义的WeixinMomentItem。修改items.py，做如下修改：
class WeixinMomentItem(scrapy.Item): """ 朋友圈Item """ # define the fields for your item here like: # name = scrapy.Field() date = scrapy.Field() #日期 moment = scrapy.Field() #朋友圈文字 至此我们完成爬虫的书写。是不是迫不及待跑一下。
命令行执行scrapy crawl moment -o moment.json，稍等片刻，热乎的朋友圈数据就生成到moment.json文件中了。
jieba中文分词提供了便利的接口用于分词和词频统计。我们直接调用jieba.cut方法即可得到分词结果。在此之前我们需要加载我们爬取的朋友圈数据，即保存到moment.json文件中的数据，并拼接所有朋友圈文本传参至jieba.cut即可。
新添加一个analyse.py文件，定义analyse_words方法：
# -*- coding: utf-8 -*- """分析导出的朋友圈数据""" import json import os import jieba from wordcloud import WordCloud def analyse_words(): """ 分析抓取到的朋友圈数据，使用jieba进行分词，使用wordcloud生成词云 """ curr_path = os.path.dirname(__file__) # 当前文件文件夹所在目录 parent_path = os.path.dirname(curr_path) # 上层目录 file_path = os.path.join(parent_path, 'moment.json') font_path = os.path.join(parent_path, "simhei.ttf") if not os.path.isfile(file_path): return with open(file_path) as moment_file: data = json.load(moment_file) # 使用json加载文件 moments = [item.get('moment', '') for item in data] # 获取朋友圈文字数组 contents = ' '.join(moments) # 拼接为长文本 cut_texts = ' '.join(jieba.cut(contents)) # 使用结巴分词进行中文分词 词云需要基于上一步的分词结果生成词云。代码也很简单：
cloud = WordCloud(font_path=font_path) wordcloud = cloud.generate(cut_texts) #生成词云 wordcloud.to_file('keys.png') #保存图片 image = wordcloud.to_image() # 转化为图片 image.show() # 展示图片 最后在文件末尾调用analyse_words()，命令行执行python analyse.py即可生成关键词！
你可能嫌弃以上生成的词云比较丑，没关系，你可以使用wordart做出各种酷炫的效果。在学习中有迷茫不知如何学习的朋友小编推荐一个学Python的学习q u n 315 -346- 913可以来了解一起进步一起学习！免费分享视频资料