如何用Python爬取了三大相亲软件评论区
本篇文章为大家展示了如何用Python爬取了三大相亲软件评论区，内容简明扼要并且容易理解，绝对能使你眼前一亮，通过这篇文章的详细介绍希望你能有所收获。
公司主营业务：做网站、成都网站设计、移动网站开发等业务。帮助企业客户真正实现互联网宣传，提高企业的竞争能力。创新互联公司是一支青春激扬、勤奋敬业、活力青春激扬、勤奋敬业、活力澎湃、和谐高效的团队。公司秉承以“开放、自由、严谨、自律”为核心的企业文化，感谢他们对我们的高要求，感谢他们从不同领域给我们带来的挑战，让我们激情的团队有机会用头脑与智慧不断的给客户带来惊喜。创新互联公司推出疏勒免费做网站回馈大家。
小三：怎么了小二？一副愁眉苦脸的样子。
小二：唉！这不是快过年了吗，家里又催相亲了 ...
小三：现在不是流行网恋吗，你可以试试相亲软件呀。
小二：这玩意靠谱吗？
小三：我也没用过，你自己看看软件评论区吧。
小二：这 ... 不过也只能先到评论区看看了。
以 360 手机助手为例，地址为：http://zhushou.360.cn/，相亲软件选择 3 个比较流行的，分别为：世纪佳缘、百合婚恋、有缘网，我们使用 Python 爬取软件评论区，看看用户评价情况。
先来看一下这三款软件的下载量和好中差评占比情况（下图单位为万次）。
下面开始爬取评论区，以世纪佳缘为例，首先，在搜索框输入世纪佳缘进行搜索，如图所示：
接着，点击搜索到的软件进入其详情页，如图所示：
将页面向下拉就可以看到评论区了，如图所示：
此时打开开发者工具并选择Network项，点击查看更多评论，然后可以看到getComments请求，如图所示：
通过这个请求我们就可以动态获取评论区数据了，其中参数star为开始的评论索引，参数count为每次加载的评论个数，可以通过参数callback、baike指定不同应用，爬取代码实现如下：
headers = {
"Accept": "*/*",
"Accept-Encoding": "gzip, deflate, sdch",
"Accept-Language": "zh-CN,zh;q=0.8",
"Connection": "keep-alive",
"Host": "comment.mobilem.360.cn",
"User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.98 Safari/537.36 LBBROWSER"
}
def comment_spider(param, file_name):
base_url = "http://comment.mobilem.360.cn/comment/getComments?c=message&a=getmessage&&count=50"
start = 0
for i in range(1, 50):
print("第{}页".format(i))
url = base_url + param + "&start=" + str(start)
r = requests.get(url, headers=headers)
data = re.findall("{\"errno\"(.*)\);}catch\(e\){}", r.text)
# 转为 Json 格式
jdata = json.loads("{\"errno\"" + data[0])
for message in jdata["data"]["messages"]:
content = message["content"]
print(content)
with open(file_name + ".txt", "a", encoding="utf-8") as f:
f.write(content)
start = start + 50
time.sleep(2)
我们将爬取的评论数据存到了 txt 文件中。
接着，我们将评论数据进行词云展示，代码实现如下：
with open("yy.txt", "r", encoding="utf-8") as f:
content = f.read()
stylecloud.gen_stylecloud(text=content, max_words=600,
collocations=False,
font_path="SIMLI.TTF",
icon_name="fas fa-heart",
size=800,
output_name="yy.png")
Image(filename="yy.png")
最后，通过词云看一下用户对上述软件的评价情况。
世纪佳缘：
百合婚恋：
有缘网：
小二：看了有缘网的评论，我感觉自己和相亲软件无缘 ...
小三：...
上述内容就是如何用Python爬取了三大相亲软件评论区，你们学到知识或技能了吗？如果还想学到更多技能或者丰富自己的知识储备，欢迎关注创新互联行业资讯频道。
名称栏目：如何用Python爬取了三大相亲软件评论区
当前URL：http://scyanting.com/article/pcppoj.html
