4 минут чтения
21 января 2021 г.
Робот для автоматизированного просмотра Instagram на Python и Selenium
Недавно мы начали вести Instagram — подписывайтесь, чтобы не пропустить контент, которого нет в блоге и Telegram!
Многие из нас ежедневно заходят в Instagram, чтобы посмотреть истории друзей и полистать ленту постов и рекомендаций. Предлагаем действенный способ сохранить своё время — напишем на Python и Selenium робота, который возьмёт на себя рутинную задачу проверки свежих новостей друзей и подсчитает число новых историй и входящих сообщений.
Авторизация в аккаунт
При переходе в браузерную версию сайта, нас встречает такое окно:
Но просто вставить логин, пароль и нажать на кнопку «Войти» недостаточно: впереди будет ещё два окна. Во-первых, предложение сохранить данные — здесь мы тактично жмём «Не сейчас». Instagram тщательно следит за каждым нашим действием и малейшие аномалии в поведении приводят к блокировке, поэтому любые предложения по сохранению данных будем на всякий случай пропускать.
Следующим препятствием будет предложение включить уведомление, которое мы тоже пропустим:
Первым делом импортируем библиотеки:
from selenium import webdriver
from webdriver_manager.chrome import ChromeDriverManager
from bs4 import BeautifulSoup as bs
import time
import random
И описываем функцию authorize — она будет принимать driver в качестве аргумента, отправлять в нужные поля логин и пароль, нажимать на кнопку «Войти», затем ждать десять секунд на загрузку страницы, нажимать на кнопку «Не сейчас», снова ждать загрузки страницы и пропускать уведомления:
def authorize(driver):
username = ‘login’
password = ‘password’
driver.get(‘https://www.instagram.com’)
time.sleep(5)
driver.find_element_by_name(«username»).send_keys(username)
driver.find_element_by_name(«password»).send_keys(password)
driver.execute_script(«document.getElementsByClassName(‘sqdOP L3NKy y3zKF ‘)[0].click()»)
time.sleep(10)
driver.execute_script(«document.getElementsByClassName(‘sqdOP L3NKy y3zKF ‘)[0].click()»)
time.sleep(10)
driver.execute_script(«document.getElementsByClassName(‘aOOlW HoLwm ‘)[0].click()»)
Новые сообщения
В Instagram могут прийти сообщения двух видов. В случае, если вы не подписаны на отправителя – придёт запрос на диалог. Если подписаны – придёт входящее сообщения. Оба случая обрабатываются по-разному. Число входящих сообщений можно получить с главной страницы – это число над иконкой бумажного самолётика:
А число запросов можно забрать текстом заголовка h5 из раздела «Сообщения». Сперва перейдём в этот раздел и попробуем найти строку с запросами на сообщение. Затем вернёмся на главную страницу и возьмём то самое число новых сообщений.
def messages_count(driver):
driver.get(‘https://www.instagram.com/direct/inbox/’)
time.sleep(2)
inbox = bs(driver.page_source)
try:
queries_text = inbox.find_all(‘h5’)[0].text
except Exception:
queries_text = None
driver.get(‘https://www.instagram.com’)
time.sleep(2)
content = bs(driver.page_source)
try:
messages_count = int(content.find_all(‘div’, attrs={‘class’:’KdEwV’})[0].text)
except Exception:
messages_count = 0
return queries_text, messages_count
Подсчёт числа новых сторис
Все истории хранятся в одном блоке:
Это список с одинаковым классом, но в каждом элементе списка лежит ещё один div-блок. У новых историй это класс eebAO h_uhZ, у просмотренных – eebAO.
Ещё есть такая кнопка, которая показывает следующую пачку историй:
При этом Instagram динамически прогружает код страницы, и в нём не найти те элементы, которые вы не видите своими глазами. Поэтому мы возьмём первые 8 видимых новых историй, добавим в список, нажмём на кнопку «Показать следующие истории» и будем продолжать так, пока кнопка ещё отображается. А затем подсчитаем число уникальных элементов, чтобы избежать возможных дубликатов.
def get_stories_count(driver):
stories_divs = []
scroll = True
while scroll:
try:
content = bs(driver.page_source)
stories_divs.extend(content.find_all(‘div’, attrs={‘class’:’eebAO h_uhZ’}))
driver.execute_script(«document.getElementsByClassName(‘ _6CZji oevZr ‘)[0].click()»)
time.sleep(1)
except Exception as E:
scroll = False
return len(set(stories_divs))
Просмотр сторис
Следующее, чем может заняться реальный пользователь после авторизации – просмотр свежих историй. Для того, чтобы зайти в блок историй, нужно просто нажать на кнопку класса OE3OK:
Есть еще две кнопки, о которых мы должны знать. Это кнопка для переключения на следующую историю — она в классе FhutL и кнопка закрытия блока историй — класс wpO6b. Пускай одна история будет отнимать у нас от 10 до 15 секунд, и с вероятностью 1/5 мы переключим на следующую. При этом зададим переменные counter и limit — пусть сейчас мы хотим посмотреть случайное число историй от 5 до 45, и если мы уже посмотрели столько, то выходим из функции и историй.
def watch_stories(driver):
watching = True
counter = 0
limit = random.randint(5, 45)
driver.execute_script(«document.getElementsByClassName(‘OE3OK ‘)[0].click()»)
try:
while watching:
time.sleep(random.randint(10, 15))
if random.randint(1, 5) == 5:
driver.execute_script(«document.getElementsByClassName(‘FhutL’)[0].click()»)
counter += 1
if counter > limit:
driver.execute_script(«document.getElementsByClassName(‘wpO6b ‘)[1].click()»)
watching = False
except Exception as E:
print(E)
watching = False
Скроллинг ленты
После просмотра актуальных историй можно поскроллить ленту — это действие ничем не отличается от классического скроллинга страниц в Selenium. Запоминаем последнюю доступную длину страницы, скроллим до неё, ожидаем прогрузки, получаем новую. Прекратим просматривать ленту в двух случаях — если в random.randint() сгенерировалась единица или если лента кончилась.
def scroll_feed(driver):
scrolling = True
last_height = driver.execute_script(«return document.body.scrollHeight»)
while scrolling:
driver.execute_script(«window.scrollTo(0, document.body.scrollHeight);»)
time.sleep(random.randint(4,10))
new_height = driver.execute_script(«return document.body.scrollHeight»)
if new_height == last_height or random.randint(1, 10) == 1:
scrolling = False
last_height = new_height
Просмотр рекомендуемых аккаунтов
Instagram в заглавной странице сам рекомендует нам для подписки некоторые аккаунты. Выглядит она так:
И на ней тоже придётся скроллить, чтобы дойти до конца. Заходим на страницу и ожидаем 5 секунд прогрузки, затем снова получаем длину страницы и скроллим вниз. Выходим тоже с вероятностью 1/10 или если страница кончилась, но ещё с вероятностью 1/2 подписываемся на некоторые из первых 100 аккаунтов рекомендаций:
def scroll_recomendations(driver):
driver.get(‘https://www.instagram.com/explore/people/suggested/’)
time.sleep(5)
scrolling = True
last_height = driver.execute_script(«return document.body.scrollHeight»)
while scrolling:
driver.execute_script(«window.scrollTo(0, document.body.scrollHeight);»)
time.sleep(random.randint(4,10))
new_height = driver.execute_script(«return document.body.scrollHeight»)
if new_height == last_height or random.randint(1, 10) == 1:
scrolling = False
last_height = new_height
if random.randint(0, 1):
try:
driver.execute_script(f»document.getElementsByClassName(‘sqdOP L3NKy y3zKF ‘)[{random.randint(1,100)}].click()»)
except Exception as E:
print(E)
Просмотр рекомендуемых постов
Помимо ленты, которая сформирована из наших подписок, Instagram собирает ленту рекомендаций. Туда входят все посты, которые потенциально могут вам понравиться — мы просто пройдём вниз по этой ленте. Выйдем с вероятностью 1/5 или когда кончится, чтобы долго не засиживаться.
def scroll_explore(driver):
driver.get(‘https://www.instagram.com/explore’)
time.sleep(3)
scrolling = True
last_height = driver.execute_script(«return document.body.scrollHeight»)
while scrolling:
driver.execute_script(«window.scrollTo(0, document.body.scrollHeight);»)
time.sleep(random.randint(4,10))
new_height = driver.execute_script(«return document.body.scrollHeight»)
if new_height == last_height or random.randint(1, 5) == 1:
scrolling = False
last_height = new_height
Итог
Теперь можно собрать все функции вместе — создаём новый driver, проводим авторизацию, считаем число новых сторис и сообщений, просматриваем сторис, переходим в рекомендуемые подписки и листаем ленту. В конце печатаем полученные данные – число новых сообщений, запросов и историй друзей.
driver = webdriver.Chrome(ChromeDriverManager().install())
authorize(driver)
queries_text, messages_count = messages_count(driver)
stories_count = get_stories_count(driver)
watch_stories(driver)
scroll_recomendations(driver)
scroll_feed(driver)
scroll_explore(driver)
if queries_text is not None:
print(queries_text)
else:
print(‘Нет новых запросов на диалог’)
print(‘Новых сообщений:’, messages_count)
print(‘Новых историй:’, stories_count)
[ Рекомендации ]
Читайте также
4 минут чтения
16 сентября 2024
Сквозной идентификатор: решение проблемы мэтчинга персональных данных студентов Refocus
[ Связаться ]
Давайте раскроем потенциал вашего бизнеса вместе
Заполните форму на бесплатную консультацию
