爬取TIOBE编程语言热度数据 + Pyecharts时间轮播图可视化

原文链接:https://yetingyun.blog.csdn.net/article/details/106190615
创作不易,未经作者允许,禁止转载,更勿做其他用途,违者必究。

1. 数据获取

目标url:https://www.tiobe.com/tiobe-index/

分析网页源代码可以找到想要的数据,利用正则表达式提取出想要的数据,并保存到Excel中,便于后续数据处理和可视化。

爬虫代码如下:

# -*- coding: UTF-8 -*-
"""
@File    :spider.py
@Author  :叶庭云
@CSDN    :https://yetingyun.blog.csdn.net/
"""
import requests
import re
import openpyxl
import logging

logging.basicConfig(level=logging.INFO, format='%(asctime)s - %(levelname)s: %(message)s')
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.89 Safari/537.1"
}

wb = openpyxl.Workbook()    # 创建工作簿对象
sheet = wb.active           # 获取活动的工作表
# 编程语言   时间    热度
sheet.append(['Programing', 'Date', 'data_per'])

url = 'https://www.tiobe.com/tiobe-index/'
rep = requests.get(url, headers=headers).text

# 正则匹配提取数据
data = re.findall('{name : (.*?),data : (.*?)}', rep)
programing = [eval(k[0]) for k in data]     # 编程语言
dates = [i[1] for i in data]

# 正则表达式处理 提取出想要的数据
for x in range(len(dates)):
    name = programing[x]
    datas = re.findall(r'\[Date.UTC(.*?)\]', dates[x], re.DOTALL)
    for m in datas:
        date1 = re.findall(r'\d+', m)       # 正则提取出数字
        date2 = '-'.join(date1[:3])         # 拼接得到时间
        data_per = '.'.join(date1[-2:])     # 得到热度数据
        sheet.append([name, date2, data_per])
        logging.info([name, date2, data_per])

wb.save('language_data.xlsx')


运行效果如下:

成功提取出想要的数据,并保存到Excel,在 jupyter notebook 环境中查看数据:

2. 数据可视化

利用pyecharts绘制时间轮播图数据可视化,展示现在热度排 Top10 的编程语言 2009-2019 年每年的平均热度变化。

# -*- coding: UTF-8 -*-
"""
@File    :轮播图.py
@Author  :叶庭云
@CSDN    :https://yetingyun.blog.csdn.net/
"""

import pandas as pd
import xlrd
import pyecharts.options as opts
from pyecharts.charts import Timeline, Bar
from pyecharts.globals import CurrentConfig


CurrentConfig.ONLINE_HOST = 'D:/python/pyecharts-assets-master/assets/'

# 提取编程语言名字
name = list(pd.read_excel('language_data.xlsx')['Programing'].drop_duplicates())

data = xlrd.open_workbook('language_data.xlsx')
table = data.sheets()[0]

dic1 = {k: [] for k in name}
# 各编程语言对应每年里不同时间的热度
for i in range(1, table.nrows):
	x = table.row_values(i)
	dic1[x[0]].append((x[1], x[2]))

# 与编程语言顺序对应  每年编程语言对应的不同时间的热度
data_per = {k: [[] for x in range(10)] for k in range(2001, 2021)}
print(data_per)

count = 0
for k, v in dic1.items():
	for j in v:   # v (时间,热度)  热度数据添加进各年对应的列表里
		data_per[int(j[0][:4])][count].append(eval(j[1]))  # 一年里各编程语言不同时间时的热度  对应起来
	count += 1

# print(data_per)
data_per1 = {k: [] for k in list(data_per.keys())}

for k, v in list(data_per.items()):
	for x in v:
		if len(x) == 0:                  # 这一年里该语言没有热度数据
			data_per1[k].append(0)
		else:
			avg = sum(x) / len(x)
			data_per1[k].append(avg)     # 这一年里的平均热度

# 得到TOBIE现在排Top20的编程语言从2001年开始每年的平均热度
print(data_per1)


def get_year_overlap_chart(year) -> Bar:
	sum_info = [(m, n) for m, n in zip(name, data_per1[year])]
	# 编程语言按每年平均热度排序
	sum_info.sort(key=lambda z: z[1], reverse=True)
	name_ = [m[0] for m in sum_info]
	datas = [m[1] for m in sum_info]
	# 每根柱子的颜色列表
	colors = ['#00BFFF', '#0000CD', '#000000', '#008000', '#FF1493', '#FFD700', '#FF4500', '#00FA9A', '#191970',
			  '#9932CC']
	x = []
	for i in range(10):
		x.append(
			opts.BarItem(
				name=name_[i],
				value=datas[i],
				itemstyle_opts=opts.ItemStyleOpts(color=colors[i])   # 设置每根柱子的颜色
			)
		)
	# 绘制柱形图
	bar = Bar()
	bar.add_xaxis(name_)
	bar.add_yaxis(series_name='热度', yaxis_data=x, is_selected=True,
                  label_opts=opts.LabelOpts(is_show=False))
	bar.set_global_opts(title_opts=opts.TitleOpts(
						title="2009-2019编程语言热度"),
						tooltip_opts=opts.TooltipOpts(
						is_show=True, trigger="axis", axis_pointer_type="shadow"),
		                xaxis_opts=opts.AxisOpts(name='编程语言'), yaxis_opts=opts.AxisOpts(name='热度'),
	)
	return bar

# 生成时间轴的图
timeline = Timeline(init_opts=opts.InitOpts(width="1200px", height="600px"))
for y in range(2009, 2020):
	timeline.add(get_year_overlap_chart(y), time_point=str(y))

timeline.add_schema(is_auto_play=True, play_interval=1000)
timeline.render("language_2009_2019.html")

运行效果如下:

3. 解决有时候pyecharts绘制的图形渲染在网页上无法加载 js 文件的问题

根据网站资源引用说明:pyecharts 使用的所有静态资源文件存放于pyecharts-assets 项目中
默认挂载在 https://assets.pyecharts.org/assets/,因为默认优先从远程引用资源,这就导致有的时候无法加载 js 文件,图表显示不出来。

解决办法:
下载所需 js 文件到本地,修改资源引用地址,Github地址:https://github.com/pyecharts/pyecharts-assets
看网站的介绍,pyecharts 提供了更改全局 HOST 的快捷方式

from pyecharts.globals import CurrentConfig

CurrentConfig.ONLINE_HOST = 'D:/python/pyecharts-assets-master/assets/' # 本地保存 js 资源的路径



作者:叶庭云
CSDN:https://yetingyun.blog.csdn.net/
本文仅用于交流学习,未经作者允许,禁止转载,更勿做其他用途,违者必究。
文章对你有所帮助的话,欢迎给个赞或者 star 呀,你的支持是对作者最大的鼓励,不足之处可以在评论区多多指正,交流学习呀。

已标记关键词 清除标记
©️2020 CSDN 皮肤主题: 书香水墨 设计师:CSDN官方博客 返回首页