网易云音乐评论爬虫

2018.08.20

之前写了一个纯过程版本的,本版本mvc面向对象,

测试了一下, 在获取歌单的时候,速度慢了一倍,可能是对数据库连接的频繁的打开和关闭造成的

提示一下,在try以外的地方出错,进程会直接退出并结束

网易云音乐评论爬取,python实现

目前支持以下功能

  1. 听众的增/查
  2. 断点爬取某一个人的歌单里的歌的评论(也不完全正确,但是由于特殊的数据结构,理论上可以获取全部的评论。最多造成数据的冗余,但不会漏解) 一些小功能就算了吧, 算是挖坑不填😂(比如直接获取全部的歌单id,未完成) python这块完全是就是自学,一些框架也不会,就只直接用了mvc 至于view层,就。。。。 脚(其)本(实)程(就)序(是)要(不)啥(会)界面。。。。

至于为什么要写这东西,爬评论嘛,懂得人都知道这是一个悲伤的故事 其实写的还是挺累的,这大概就是用爱发电吧

欸,我为什么不一开始就直接用java写。。。。

2019.03.15 更新

突然上了gayhub发现猛的多了三个star,开心,不过不知道是不是僵尸星哈哈哈哈

那就把顺手把这个爬虫的说明简要得写一下。 对了,这是一个半成品,可实现目的,但还是需要折腾一番。 下文会多次提及多种 ‘id’, 具体参见网易云音乐网页的url

目前的bug和缺点

  • 爬虫的运行一段时间就会无限重复,这个应该不是触发了反扒,初步判断是session和cookies过期
  • 自动获取用户歌单id功能尚未实现,需要手动wyyComments\view\songlist_view.py文件的21行手动填写歌单id

    部署步骤

    1. 安装相关模块 pip install -r requirements.txt
    2. 连接数据库 相关配置在wyyComments\util\db_util.py中已经详细说明,sql文件在source文件夹中
    3. 配置bark 配置bark纯粹就是为了好玩,bark的具体说明可以点这里。配置完毕后,需要将三个参数写在对应配置文件,路径为wyyComments\barktime\bark.conf 如果不想配置似乎报不报错看缘分,注释掉wyyComments\util\getsinglesongallcomment_util.py的149和150行可解。

2019.03.19 更新

似乎和session一级cookie这些关系,网易云api做了限制,只有前1w条和最后1w条能正常显示,中间的就会无限重复,这个“官方bug”只能等限制结束了在说吧,此项目暂时告一段落。




本博客所有内容采用 知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议 进行许可
转载文章请注明:网易云音乐评论爬虫 - https://cser.blog/blog/wyycomment.html