Строим Motion chart по индексу Биг Мака на Python
⏱ Время чтения текста – 14 минутОдной из самых знаменитых визуализаций, конечно же, является работа Hans Rosling и его знаменитое выступление про изменение уровня экономики в странах. Посмотрите это видео, если вдруг еще не видели:
Иногда у экономистов возникает желание сравнить уровень жизни в разных странах. Одной из таких опций считается индекс Биг Мака, учёт которого журнал «The Economist» ведёт с 1986 года. Основная мысль — изучить паритет покупательской способности в разных странах, максимально учитывая стоимость внутреннего производства. В производстве Биг Мака участвует стандартный набор ингредиентов, одинаковый во всех странах: сыр, мясо, хлеб и овощи. Считается, что все эти ингредиенты произведены локально, а, значит, цена на Биг Мак позволяет сравнивать покупательскую способность в разных странах на данный товар. Помимо этого, McDonalds — глобальный бренд и его рестораны есть в огромном количестве стран, что обеспечивает широкий охват Биг Маком.
Сегодня при помощи библиотеки Plotly построим Motion Chart для индекса Биг Мака. Мы, следуя за Hann Rosling, хотим получить Motion Chart, где по оси X будет численность населения, по Y — ВВП на душу населения в долларах, а размер точек будет обозначать индекс Биг Мака в данной стране. Кроме того, цвет точки будет обозначать континент, на котором расположилась страна.
Подготовка данных
Хотя «The Economist» ведёт учёт уже более 30 лет и делится своими наблюдениями в интернете, датасет содержит множество пропусков по разным странам. В то же время в датасете журнала не представлены названия континентов, к которым принадлежат страны и численность населения. Поэтому мы дополним данные журнала тремя другими датасетами, представленными в нашем репозитории.
Начнём с импорта библиотек:
import pandas as pd
from pandas.errors import ParserError
import plotly.graph_objects as go
import numpy as np
import requests
import ioПрочитаем все 4 датасета прямо из GitHub. Для этого опишем функцию, которая отправляет GET-запрос к csv-файлу и формирует из него DataFrame. По двум датасетам может возникнуть ошибка ParseError из-за наличия подписи в заглавии: пропустим несколько строк, если это произошло.
def read_raw_file(link):
raw_csv = requests.get(link).content
try:
df = pd.read_csv(io.StringIO(raw_csv.decode('utf-8')))
except ParserError:
df = pd.read_csv(io.StringIO(raw_csv.decode('utf-8')), skiprows=3)
return df
bigmac_df = read_raw_file('https://github.com/valiotti/leftjoin/raw/master/motion-chart-big-mac/big-mac.csv')
population_df = read_raw_file('https://github.com/valiotti/leftjoin/raw/master/motion-chart-big-mac/population.csv')
dgp_df = read_raw_file('https://github.com/valiotti/leftjoin/raw/master/motion-chart-big-mac/gdp.csv')
continents_df = read_raw_file('https://github.com/valiotti/leftjoin/raw/master/motion-chart-big-mac/continents.csv')От датасета «The Economist» оставим только название страны, местную цену, курс доллара, код страны и дату записи. После оставим строки, записанные между 2005 и 2020 годом: данные за этот период наиболее полные. Последним действием посчитаем цену на Биг Мак в долларах: для этого цену в местной валюте поделим на валютный курс.
bigmac_df = bigmac_df[['name', 'local_price', 'dollar_ex', 'iso_a3', 'date']]
bigmac_df = bigmac_df[bigmac_df['date'] >= '2005-01-01']
bigmac_df = bigmac_df[bigmac_df['date'] < '2020-01-01']
bigmac_df['date'] = pd.DatetimeIndex(bigmac_df['date']).year
bigmac_df = bigmac_df.drop_duplicates(['date', 'name'])
bigmac_df = bigmac_df.reset_index(drop=True)
bigmac_df['dollar_price'] = bigmac_df['local_price'] / bigmac_df['dollar_ex']Взглянем на наш DataFrame:
У нас есть датасет с континентами и странами, и нужно к bigmac_df добавить колонку «continents». Для удобства оставим от continents_df только колонки с названием континента и трёхбуквенным кодом страны, а затем для каждой страны в bigmac_df найдём континент. В случае, например, с Россией или с Турцией может произойти ошибка, ведь нельзя однозначно сказать, Европа это или Азия, так что такие страны будем определять как европейские.
continents_df = continents_df[['Continent_Name', 'Three_Letter_Country_Code']]
continents_list = []
for country in bigmac_df['iso_a3']:
try:
continents_list.append(continents_df.loc[continents_df['Three_Letter_Country_Code'] == country]['Continent_Name'].item())
except ValueError:
continents_list.append('Europe')
bigmac_df['continent'] = continents_listУдалим использованные колонки, отсортируем для удобства по названиям стран и дате, переведём дату в числовой тип и снова взглянем на промежуточный результат:
bigmac_df = bigmac_df.drop(['local_price', 'iso_a3', 'dollar_ex'], axis=1)
bigmac_df = bigmac_df.sort_values(by=['name', 'date'])
bigmac_df['date'] = bigmac_df['date'].astype(int)
Заполним пробелы: по тем годам, где нет данных и установим цену в 0 долларов. Ещё придётся удалить Китайскую Республику — Тайвань: это частично признанное государство отсутствует в датасетах World Bank. А Арабские Эмираты повторяются дважды, с этим тоже могут возникнуть проблемы.
countries_list = list(bigmac_df['name'].unique())
years_set = {i for i in range(2005, 2020)}
for country in countries_list:
if len(bigmac_df[bigmac_df['name'] == country]) < 15:
this_continent = bigmac_df[bigmac_df['name'] == country].continent.iloc[0]
years_of_country = set(bigmac_df[bigmac_df['name'] == country]['date'])
diff = years_set - years_of_country
dict_to_df = pd.DataFrame({
'name':[country] * len(diff),
'date':list(diff),
'dollar_price':[0] * len(diff),
'continent': [this_continent] * len(diff)
})
bigmac_df = bigmac_df.append(dict_to_df)
bigmac_df = bigmac_df[bigmac_df['name'] != 'Taiwan']
bigmac_df = bigmac_df[bigmac_df['name'] != 'United Arab Emirates']Осталось добавить ВВП на душу населения и численность населения из других датасетов. В обоих датасетах многие страны записаны иначе, поэтому пропишем словарь и переименуем все страны в обоих датасетах методом replace().
years = [str(i) for i in range(2005, 2020)]
countries_replace_dict = {
'Russian Federation': 'Russia',
'Egypt, Arab Rep.': 'Egypt',
'Hong Kong SAR, China': 'Hong Kong',
'United Kingdom': 'Britain',
'Korea, Rep.': 'South Korea',
'United Arab Emirates': 'UAE',
'Venezuela, RB': 'Venezuela'
}
for key, value in countries_replace_dict.items():
population_df['Country Name'] = population_df['Country Name'].replace(key, value)
gdp_df['Country Name'] = gdp_df['Country Name'].replace(key, value)Наконец, соберём данные по численности и ВВП за нужные года и добавим в основной DataFrame:
countries_list = list(bigmac_df['name'].unique())
population_list = []
gdp_list = []
for country in countries_list:
population_for_country_df = population_df[population_df['Country Name'] == country][years]
population_list.extend(list(population_for_country_df.values[0]))
gdp_for_country_df = gdp_df[gdp_df['Country Name'] == country][years]
gdp_list.extend(list(gdp_for_country_df.values[0]))
bigmac_df['population'] = population_list
bigmac_df['gdp'] = gdp_list
bigmac_df['gdp_per_capita'] = bigmac_df['gdp'] / bigmac_df['population']В итоге получили такой датасет:
Формируем график в plotly
Логарифмируем значения по оси X. В Китае и Индии, например, население в 10 раз больше, чем в среднем в других странах: из-за этого получим сложно интерпретируемую визуализацию, в которой у нас будет много наблюдений около оси и несколько наблюдений справа. Логарифмирование — часто используемый экономистами прием для учета эффекта масштаба в данных.
fig_dict = {
"data": [],
"layout": {},
"frames": []
}
fig_dict["layout"]["xaxis"] = {"title": "Численность населения", "type": "log"}
fig_dict["layout"]["yaxis"] = {"title": "ВВП на душу населения (в $)", "range":[-10000, 120000]}
fig_dict["layout"]["hovermode"] = "closest"
fig_dict["layout"]["updatemenus"] = [
{
"buttons": [
{
"args": [None, {"frame": {"duration": 500, "redraw": False},
"fromcurrent": True, "transition": {"duration": 300,
"easing": "quadratic-in-out"}}],
"label": "Play",
"method": "animate"
},
{
"args": [[None], {"frame": {"duration": 0, "redraw": False},
"mode": "immediate",
"transition": {"duration": 0}}],
"label": "Pause",
"method": "animate"
}
],
"direction": "left",
"pad": {"r": 10, "t": 87},
"showactive": False,
"type": "buttons",
"x": 0.1,
"xanchor": "right",
"y": 0,
"yanchor": "top"
}
]Помимо кнопок у нас будет Slider, позволяющий получать данные за определённый год:
sliders_dict = {
"active": 0,
"yanchor": "top",
"xanchor": "left",
"currentvalue": {
"font": {"size": 20},
"prefix": "Год: ",
"visible": True,
"xanchor": "right"
},
"transition": {"duration": 300, "easing": "cubic-in-out"},
"pad": {"b": 10, "t": 50},
"len": 0.9,
"x": 0.1,
"y": 0,
"steps": []
}Для статичного графика до нажатия на кнопку «Start» возьмём данные за 2005 год и заполним ими поле data фигуры.
continents_list_from_df = list(bigmac_df['continent'].unique())
year = 2005
for continent in continents_list_from_df:
dataset_by_year = bigmac_df[bigmac_df["date"] == year]
dataset_by_year_and_cont = dataset_by_year[dataset_by_year["continent"] == continent]
data_dict = {
"x": dataset_by_year_and_cont["population"],
"y": dataset_by_year_and_cont["gdp_per_capita"],
"mode": "markers",
"text": dataset_by_year_and_cont["name"],
"marker": {
"sizemode": "area",
"sizeref": 200000,
"size": np.array(dataset_by_year_and_cont["dollar_price"]) * 20000000
},
"name": continent,
"customdata": np.array(dataset_by_year_and_cont["dollar_price"]).round(1),
"hovertemplate": '<b>%{text}</b>' + '<br>' +
'ВВП на душу населения: %{y}' + '<br>' +
'Численность населения: %{x}' + '<br>' +
'Стоимость Биг Мака: %{customdata}$' +
'<extra></extra>'
}
fig_dict["data"].append(data_dict)А для анимации заполним поле frames. Каждый frame — данные за год с 2005 по 2019.
for year in years:
frame = {"data": [], "name": str(year)}
for continent in continents_list_from_df:
dataset_by_year = bigmac_df[bigmac_df["date"] == int(year)]
dataset_by_year_and_cont = dataset_by_year[dataset_by_year["continent"] == continent]
data_dict = {
"x": list(dataset_by_year_and_cont["population"]),
"y": list(dataset_by_year_and_cont["gdp_per_capita"]),
"mode": "markers",
"text": list(dataset_by_year_and_cont["name"]),
"marker": {
"sizemode": "area",
"sizeref": 200000,
"size": np.array(dataset_by_year_and_cont["dollar_price"]) * 20000000
},
"name": continent,
"customdata": np.array(dataset_by_year_and_cont["dollar_price"]).round(1),
"hovertemplate": '<b>%{text}</b>' + '<br>' +
'ВВП на душу населения: %{y}' + '<br>' +
'Численность населения: %{x}' + '<br>' +
'Стоимость Биг Мака: %{customdata}$' +
'<extra></extra>'
}
frame["data"].append(data_dict)
fig_dict["frames"].append(frame)
slider_step = {"args": [
[year],
{"frame": {"duration": 300, "redraw": False},
"mode": "immediate",
"transition": {"duration": 300}}
],
"label": year,
"method": "animate"}
sliders_dict["steps"].append(slider_step)Наконец, создадим объект графика, поправим цвета, шрифты и добавим описание.
fig_dict["layout"]["sliders"] = [sliders_dict]
fig = go.Figure(fig_dict)
fig.update_layout(
title =
{'text':'<b>Motion chart</b><br><span style="color:#666666"> Биг Мака для стран мира с 2005 по 2019 год </span>'},
font={
'family':'Open Sans, light',
'color':'black',
'size':14
},
plot_bgcolor='rgba(0,0,0,0)'
)
fig.update_yaxes(nticks=4)
fig.update_xaxes(tickfont=dict(family='Open Sans, light', color='black', size=12), nticks=4, gridcolor='lightgray', gridwidth=0.5)
fig.update_yaxes(tickfont=dict(family='Open Sans, light', color='black', size=12), nticks=4, gridcolor='lightgray', gridwidth=0.5)
fig.show()В итоге получаем такой Motion Chart:
Полный код проекта доступен на GitHub
