2 минут чтения
20 сентября 2020 г.
Собираем топ-10 аккаунтов Instagram по теме аналитики и машинного обучения
В некоторых телеграм-каналах раз, два уже говорилось про другие интересные паблики в телеграме, однако по Instagram такого топа пока не было. Вероятно, это не самая популярная сеть для контента в нашей индустрии, тем не менее, можно проверить эту гипотезу, используя Python и данные. В этом материале рассказываем, как собрать данные по аккаунтам Instagram без API.
Метод сбора данных
Instagram API не позволит вам просто так собирать данные о других пользователях, но есть и другой метод. Можно отправить такой request-запрос:
https://instagram.com/leftjoin/?__a=1
И получить в ответе JSON-объект со всей информацией о пользователе, которую можно посмотреть самому: имя аккаунта, количество постов, подписок и подписчиков, а также первые десять постов с информацией про них: количество лайков, комментарии и прочее. Именно на таких request-запросах устроена библиотека pyInstagram.
Схема данных
Будем собирать данные в три таблицы Clickhouse: пользователи, посты и комментарии. В таблицу пользователей собираем всю информацию о них: идентификатор, наименование аккаунта, имя и фамилия человека, описание профиля, количество подписок и подписчиков, количество постов, суммарное количество комментариев и лайков, наличие верификации, география пользователя и ссылки на аватарку и Facebook.
CREATE TABLE instagram.users
(
`added_at` DateTime,
`user_id` UInt64,
`user_name` String,
`full_name` String,
`base_url` String,
`biography` String,
`followers_count` UInt64,
`follows_count` UInt64,
`media_count` UInt64,
`total_comments` UInt64,
`total_likes` UInt64,
`is_verified` UInt8,
`country_block` UInt8,
`profile_pic_url` Nullable(String),
`profile_pic_url_hd` Nullable(String),
`fb_page` Nullable(String)
)
ENGINE = ReplacingMergeTree
ORDER BY added_at
В таблицу с постами сохраняем автора поста, идентификатор записи, текст, количество комментариев и прочее. is_ad, is_album и is_video — поля, проверяющие, является ли запись рекламной, «каруселью» изображений или видеозаписью.
CREATE TABLE instagram.posts
(
`added_at` DateTime,
`owner` String,
`post_id` UInt64,
`caption` Nullable(String),
`code` String,
`comments_count` UInt64,
`comments_disabled` UInt8,
`created_at` DateTime,
`display_url` String,
`is_ad` UInt8,
`is_album` UInt8,
`is_video` UInt8,
`likes_count` UInt64,
`location` Nullable(String),
`recources` Array(String),
`video_url` Nullable(String)
)
ENGINE = ReplacingMergeTree
ORDER BY added_at
В таблице с комментариями храним отдельно каждый комментарий к записи с автором и текстом.
CREATE TABLE instagram.comments
(
`added_at` DateTime,
`comment_id` UInt64,
`post_id` UInt64,
`comment_owner` String,
`comment_text` String
)
ENGINE = ReplacingMergeTree
ORDER BY added_at
Скрипт
Из библиотеки pyInstagram нам понадобятся классы Account, Media, WebAgent и Comment.
from instagram import Account, Media, WebAgent, Comment
from datetime import datetime
from clickhouse_driver import Client
import requests
Создаем экземпляр класса WebAgent — он необходим для вызова некоторых методов и обновления аккаунтов. В начале нам нужно иметь хотя бы названия профилей пользователей, информацию о которых мы хотим собрать, поэтому отправим другой request-запрос для поиска пользователей по ключевым словам, их список ниже в фрагменте кода. В выдаче будут аккаунты, у которых название или описание профиля совпало с ключевым словом.
agent = WebAgent()
queries_list = [‘machine learning’, ‘data science’, ‘data analytics’, ‘analytics’, ‘business intelligence’,
‘data engineering’, ‘computer science’, ‘big data’, ‘artificial intelligence’,
‘deep learning’, ‘data scientist’,’machine learning engineer’, ‘data engineer’]
client = Client(host=’12.34.56.789′, user=’default’, password=», port=’9000′, database=’instagram’)
url = ‘https://www.instagram.com/web/search/topsearch/?context=user&count=0’
Проходим по всем ключевым словам и собираем все аккаунты. Так как в списке могли образоваться дубликаты, переведём список в множество и обратно в список.
response_list = []
for query in queries_list:
response = requests.get(url, params={
‘query’: query
}).json()
response_list.extend(response[‘users’])
instagram_pages_list = []
for item in response_list:
instagram_pages_list.append(item[‘user’][‘username’])
instagram_pages_list = list(set(instagram_pages_list))
Теперь проходим по списку аккаунтов, и если аккаунта с таким наименованием ещё не было в базе, то получаем расширенную информацию о нём. Для этого пробуем создать экземпляр класса Account, передав username параметром. После при помощи объекта agent обновляем информацию об аккаунте. Будем собирать только первые 100 постов, чтобы сбор не задерживался. Создадим список media_list — он при помощи метода get_media будет хранить код каждого поста, который затем можно будет получить при помощи класса Media.
<?php
all_posts_list = []
username_count = 0
for username in instagram_pages_list:
if client.execute(f"SELECT count(1) FROM users WHERE user_name='{username}'")[0][0] == 0:
print('username:', username_count, '/', len(instagram_pages_list))
username_count += 1
account_total_likes = 0
account_total_comments = 0
try:
account = Account(username)
except Exception as E:
print(E)
continue
try:
agent.update(account)
except Exception as E:
print(E)
continue
if account.media_count < 100:
post_count = account.media_count
else:
post_count = 100
print(account, post_count)
media_list, _ = agent.get_media(account, count=post_count, delay=1)
count = 0
?>
Мы начинаем с постов и комментариев, потому что для занесения в базу нового пользователя нам нужно подсчитать сперва суммарное количество комментариев и лайков в его аккаунте. Практически все интересующие поля являются атрибутами класса Media.
<?php
for media_code in media_list:
if client.execute(f"SELECT count(1) FROM posts WHERE code='{media_code}'")[0][0] == 0:
print('posts:', count, '/', len(media_list))
count += 1
post_insert_list = []
post = Media(media_code)
agent.update(post)
post_insert_list.append(datetime.now().strftime('%Y-%m-%d %H:%M:%S'))
post_insert_list.append(str(post.owner))
post_insert_list.append(post.id)
if post.caption is not None:
post_insert_list.append(post.caption.replace("'","").replace('"', ''))
else:
post_insert_list.append("")
post_insert_list.append(post.code)
post_insert_list.append(post.comments_count)
post_insert_list.append(int(post.comments_disabled))
post_insert_list.append(datetime.fromtimestamp(post.date).strftime('%Y-%m-%d %H:%M:%S'))
post_insert_list.append(post.display_url)
try:
post_insert_list.append(int(post.is_ad))
except TypeError:
post_insert_list.append('cast(Null as Nullable(UInt8))')
post_insert_list.append(int(post.is_album))
post_insert_list.append(int(post.is_video))
post_insert_list.append(post.likes_count)
if post.location is not None:
post_insert_list.append(post.location)
else:
post_insert_list.append('')
post_insert_list.append(post.resources)
if post.video_url is not None:
post_insert_list.append(post.video_url)
else:
post_insert_list.append('')
account_total_likes += post.likes_count
account_total_comments += post.comments_count
try:
client.execute(f'''
INSERT INTO posts VALUES {tuple(post_insert_list)}
''')
except Exception as E:
print('posts:')
print(E)
print(post_insert_list)
?>
Чтобы собрать комментарии необходимо вызвать метод get_comments и передать параметром экземпляр класса Media.
<?php
comments = agent.get_comments(media=post)
for comment_id in comments[0]:
comment_insert_list = []
comment = Comment(comment_id)
comment_insert_list.append(datetime.now().strftime('%Y-%m-%d %H:%M:%S'))
comment_insert_list.append(comment.id)
comment_insert_list.append(post.id)
comment_insert_list.append(str(comment.owner))
comment_insert_list.append(comment.text.replace("'","").replace('"', ''))
try:
client.execute(f'''
INSERT INTO comments VALUES {tuple(comment_insert_list)}
''')
except Exception as E:
print('comments:')
print(E)
print(comment_insert_list)
?>
Наконец, когда все посты и комментарии пройдены, можем занести информацию о пользователе.
<?php
user_insert_list = []
user_insert_list.append(datetime.now().strftime('%Y-%m-%d %H:%M:%S'))
user_insert_list.append(account.id)
user_insert_list.append(account.username)
user_insert_list.append(account.full_name)
user_insert_list.append(account.base_url)
user_insert_list.append(account.biography)
user_insert_list.append(account.followers_count)
user_insert_list.append(account.follows_count)
user_insert_list.append(account.media_count)
user_insert_list.append(account_total_comments)
user_insert_list.append(account_total_likes)
user_insert_list.append(int(account.is_verified))
user_insert_list.append(int(account.country_block))
user_insert_list.append(account.profile_pic_url)
user_insert_list.append(account.profile_pic_url_hd)
if account.fb_page is not None:
user_insert_list.append(account.fb_page)
else:
user_insert_list.append('')
try:
client.execute(f'''
INSERT INTO users VALUES {tuple(user_insert_list)}
''')
except Exception as E:
print('users:')
print(E)
print(user_insert_list)
?>
Результаты
Таким методом нам удалось собрать 500 пользователей, 20 тысяч постов и 40 тысяч комментариев. Теперь можем написать простой запрос к базе и получить топ-10 Instagram-аккаунтов по теме аналитики и машинного обучения за последнее время:
SELECT *
FROM users
ORDER BY followers_count DESC
LIMIT 10
А вот и приятный бонус, для тех, кто искал на какие аккаунты в Instagram подписаться по релевантной тематике:
1. @ai_machine_learning
2. @neuralnine
3. @datascienceinfo
4. @compscistuff
5. @computersciencelife
6. @welcome.ai
7. @papa_programmer
8. @data_science_learn
9. @neuralnet.ai
10. @techno_thinkers
Полный код проекта доступен на GitHub
[ Рекомендации ]
Читайте также
[ Связаться ]
Давайте раскроем потенциал вашего бизнеса вместе
Заполните форму на бесплатную консультацию
