Скрипт поиска конкурентов в Google поиске на Python

Скрипт на Python осуществляет поиск самых продвинутых сайтов конкурентов в поисковой системе Google по списку поисковых запросов в ТОП-10 выдачи.

Необходимо указать в файле keys.txt ключевые слова, по которым требуется парсить выдачу. Файл положить в туже директорию, в которой находится скрипт. После работы скрипта в той же директории появится файл result_keys.txt с результатами: домен конкурента и количество раз, которое он встречался в выдаче. Например, ozon.ru 20 — интернет-магазин ozon.ru по загруженным ключам встречался в выдаче Google ТОП-10 — 20 раз.

Работа скрипта продемонстрирована на Jupyter Notebook.

Подключаем модули, которые потребуются для работы скрипта:

from requests_html import HTMLSession
import time
import random
from operator import itemgetter

from requests_html import HTMLSession

import time

import random

from operator import itemgetter

Далее загружаем список ключевых фраз, по которым будет осуществляться парсинг

keys = []
with open ('keys.txt', 'r', encoding="utf-8") as k:
    for line in k:
        line = line.strip()
        keys.append(line)

keys = []

with open ('keys.txt', 'r', encoding="utf-8") as k:

for line in k:

line = line.strip()

keys.append(line)

Собственно эти строчки кода осуществляют парсинг с задержкой между запросами от 4 до 10 секунд. Задержка предназначена для уменьшения вероятности блокировки со стороны Гугла.

spisok = []
session = HTMLSession()

for k in keys:
    res = session.get(f'https://www.google.ru/search?q={k}&num=10&hl=ru')
    links = res.html.xpath('//div[@class="g"]/div[@class="rc"]/div[@class="yuRUbf"]/a/@href')
    domains = [x.split('/')[2] for x in links if 'http' in x]
    spisok.append(domains)
    random_timeout = random.randint(4, 10)
    time.sleep(random_timeout)

spisok = []

session = HTMLSession()

for k in keys:

res = session.get(f'https://www.google.ru/search?q={k}&num=10&hl=ru')

links = res.html.xpath('//div[@class="g"]/div[@class="rc"]/div[@class="yuRUbf"]/a/@href')

domains = [x.split('/')[2] for x in links if 'http' in x]

spisok.append(domains)

random_timeout = random.randint(4, 10)

time.sleep(random_timeout)

Производим сортировку полученных результатов в порядке уменьшения.

common_list = []
for x in spisok:
    common_list.extend(x)

result = {i: common_list.count(i) for i in common_list}
sortirovka = list(result.items())

result = sorted(sortirovka, key=itemgetter(1), reverse = True)
result

common_list = []

for x in spisok:

common_list.extend(x)

result = {i: common_list.count(i) for i in common_list}

sortirovka = list(result.items())

result = sorted(sortirovka, key=itemgetter(1), reverse = True)

result

Готовый результат выгружаем в файл result_keys.txt

result = dict(result)
with open ('result_keys.txt', 'w') as b:
    for dom, chast in result.items():
        b.write(f'{dom}\t{chast}' + '\n')
        
        print(f'{dom}\t{chast}')

result = dict(result)

with open ('result_keys.txt', 'w') as b:

for dom, chast in result.items():

b.write(f'{dom}\t{chast}' + '\n')

print(f'{dom}\t{chast}')

Весь код будет выглядеть так:

from requests_html import HTMLSession
import time
import random
from operator import itemgetter

keys = []
with open ('keys.txt', 'r', encoding="utf-8") as k:
    for line in k:
        line = line.strip()
        keys.append(line)

spisok = []
session = HTMLSession()

for k in keys:
    res = session.get(f'https://www.google.ru/search?q={k}&num=10&hl=ru')
    links = res.html.xpath('//div[@class="g"]/div[@class="rc"]/div[@class="yuRUbf"]/a/@href')
    domains = [x.split('/')[2] for x in links if 'http' in x]
    spisok.append(domains)
    random_timeout = random.randint(4, 10)
    time.sleep(random_timeout)

common_list = []
for x in spisok:
    common_list.extend(x)

result = {i: common_list.count(i) for i in common_list}
sortirovka = list(result.items())

result = sorted(sortirovka, key=itemgetter(1), reverse = True)

result = dict(result)
with open ('result_keys.txt', 'w') as b:
    for dom, chast in result.items():
        b.write(f'{dom}\t{chast}' + '\n')
        
        print(f'{dom}\t{chast}')