Компукторщики сюда

Маловероятно но все же, может тут на форуме есть люди (не анимешники ) которые занимаются промышленным сбором данных\парсингом сайтов . Кароч суть проблемы, написал в связке питон+хром+селениум парсер LinkedIn. Хочу собирать инфу с профилей и вакансий, чтобы накормить свою языковую модель, но столкнулся с проблемой ограничения выдачи. Знаю что есть условно 80к открытых вакансий на сайте (https://www.linkedin.com/jobs/search?location=Russia), но сайт выдает только первых 40 страниц (25 вакансий на каждой) и дальше скролить уже нельзя . Подобную проблему испытывала с другими сайтами , но точно знаю что это как-то обходят, потому что спарсенные базы продают . Гайз нид хелпа

"парсер LinkedIn"

так... у них же ведь апи есть

Смотря из-за чего он дальше не выдает тебе данные, возможно ты бомбишь запросами с одного IP. Попробуй ротацию через прокси лист.

------------------------

import requests

from itertools import cycle # List of proxies

proxy_list = ['ip1:port1', 'ip2:port2', ...]

proxy_pool = cycle(proxy_list) # create a cycle of proxies

url = 'https://www.targetwebsite.com'

for i in range(1,3):

# Get a proxy from the pool

proxy = next(proxy_pool)

print(f"Request #{i}:")

try:

response = requests.get(url, proxies={"http": proxy, "https": proxy})

print(response.content)

except:

# Most free proxies will often get connection errors, so we catch them here

print("Connection error with proxy:", proxy)

-------------------------------

Но это лишь предположение.

КириллСтадник сказал(а):↑

"парсер LinkedIn"

так... у них же ведь апи есть

Нажмите, чтобы раскрыть...

инфы по вакансиям нету, можно публиковать, но нельзя запрашивать контент вакансии

QlyouQwa сказал(а):↑

Смотря из-за чего он дальше не выдает тебе данные, возможно ты бомбишь запросами с одного IP. Попробуй ротацию через прокси лист.

------------------------

import requests

from itertools import cycle # List of proxies

proxy_list = ['ip1:port1', 'ip2:port2', ...]

proxy_pool = cycle(proxy_list) # create a cycle of proxies

url = 'https://www.targetwebsite.com'

for i in range(1,3):

# Get a proxy from the pool

proxy = next(proxy_pool)

print(f"Request #{i}:")

try:

response = requests.get(url, proxies={"http": proxy, "https": proxy})

print(response.content)

except:

# Most free proxies will often get connection errors, so we catch them here

print("Connection error with proxy:", proxy)

-------------------------------

Но это лишь предположение.

Нажмите, чтобы раскрыть...

это не поможет, я делаю большие промежутки между перелистыванием (1-2 минуты рандомно), к тому же при смене ип мне нужно будет залогиниться снова и не факт что вакансии на первых 40 страницах будут такими же, так что с 41 страницы я начать не смогу, к тому же ип дата центров такие сайты давно уже знаю, а домашние дорогие и чисто юридически покупать в их ЕС нельзя