Посоветуйте гайд по парсингу

Хочу запарсить данные с сайтов разных. 

Тексты постов и комментов (с разбиением по авторам) с форумов и блогов, твиты и всё такое. 

 

(нужно для тестов моей проги по определению авторства текста)

 

Вот. Но я вебом никогда не интересовался и даже не представляю с какой стороны копать. Так что да, посоветуйте гайд по парсингу для тупых чайников. 

Смотря парсинг куда, могу посоветовать если в андроид 

Ретрофит

TIRPITZ сказал(а):↑

Ретрофит

Нажмите, чтобы раскрыть...

Что это есть?

Смотря в чем заключается парсинг. Условный твиттер, вроде, предоставляет апи для получения твитов, а вот какой-нибудь д2ру придется парсить как html и вытаскивать оттуда текст, что сильно отличается от твиттера. Но на самом деле должно быть полно корпусов текстов с разными метаданными, которые можно скачать (например, на каком-нибудь kaggle), так что проще взять оттуда чем самому париться.

HealSlut сказал(а):↑

Смотря в чем заключается парсинг. Условный твиттер, вроде, предоставляет апи для получения твитов, а вот какой-нибудь д2ру придется парсить как html и вытаскивать оттуда текст, что сильно отличается от твиттера. Но на самом деле должно быть полно корпусов текстов с разными метаданными, которые можно скачать (например, на каком-нибудь kaggle), так что проще взять оттуда чем самому париться.

Нажмите, чтобы раскрыть...

Хмм. Интересно, а если сайт динамический, то что делать? Условно говоря не сразу загружает блоки, а через секунд 20 в зависимости от интернета

HealSlut сказал(а):↑

Смотря в чем заключается парсинг. Условный твиттер, вроде, предоставляет апи для получения твитов, а вот какой-нибудь д2ру придется парсить как html и вытаскивать оттуда текст, что сильно отличается от твиттера. Но на самом деле должно быть полно корпусов текстов с разными метаданными, которые можно скачать (например, на каком-нибудь kaggle), так что проще взять оттуда чем самому париться.

Нажмите, чтобы раскрыть...

И то и другое. С апи сайтов тоже хочу научиться пользоваться (но уже по другим причинам). 

 

Да, есть разные корпуса, но я хочу свой так сказать, так интереснее .

+я смогу генерить комменты типичного юзера дота2ру)))0) 

ForeverYang сказал(а):↑

Хмм. Интересно, а если сайт динамический, то что делать? Условно говоря не сразу загружает блоки, а через секунд 20 в зависимости от интернета

Нажмите, чтобы раскрыть...

Есть либы, которые эмулируют js и могут получить итоговую страничку. Либо можно изучить как работает сайт и самому вызывать их внутреннее апи для получения данных. Но тут во всем этом, естественно, могут быть тонкости, и где-то может быть легко, а где-то очень сложно.

Kujivunia сказал(а):↑

И то и другое. С апи сайтов тоже хочу научиться пользоваться (но уже по другим причинам). 

Нажмите, чтобы раскрыть...

Ну тут тогда тебе придется изучать различные форматы и протоколы. В зависимости от сайта и способа его реализации набор может быть разным. Основное что тебя интересует - это html, rest api, ajax, json, xml и типо того.

Kujivunia сказал(а):↑

Вот. Но я вебом никогда не интересовался и даже не представляю с какой стороны копать.

Нажмите, чтобы раскрыть...

В случае какого-нибудь форума или другого статичного контента - все сводится к тому что ты загружаешь страничку в коде и потом просто разбираешь её HTML код, вытаскивая нужные куски и записывая всё что нашел.

 

В случае динамических сайтов - работаешь с API и JSONом, точно так же вытаскивая его, разбивая и записывая в файл или сразу выводя на свою страницу.

HealSlut сказал(а):↑

Есть либы, которые эмулируют js и могут получить итоговую страничку. Либо можно изучить как работает сайт и самому вызывать их внутреннее апи для получения данных. Но тут во всем этом, естественно, могут быть тонкости, и где-то может быть легко, а где-то очень сложно.

 

Ну тут тогда тебе придется изучать различные форматы и протоколы. В зависимости от сайта и способа его реализации набор может быть разным. Основное что тебя интересует - это html, rest api, ajax, json, xml и типо того.

Нажмите, чтобы раскрыть...

Это не сильно сужает круг моих поисков. Я на всякий случай повторю - я вообще не имею представления о парсинге, совсем

 

Ну а начнём давай с обычных html сайтиков типа старых форумов или этого сайта, без апишек и автоподгружаемой бесконечной ленты 

Вот про такое есть статья гайд для меня? 

мне кажется или я даже не увидел на каком языке ты собираешься это реализовывать?

Kujivunia сказал(а):↑

Вот про такое есть статья гайд для меня? 

Нажмите, чтобы раскрыть...

Сходу не нашел. Но, наверное, там сложно дать какой-то однозначный гайд, т.к. страницы на разных сайтах могут быть сильно разными и зависят только от фантазии разработчика. Если вкратце, то тебе нужно найти на странице в каких тегах содержится интересующий тебя текст и затем извлекать его по css или xpath (либы для этого есть для большинства языков). Т.е. можешь погуглить либу (что-то типо html parse <язык-нейм>) для своего языка и почитать доки, но тебе нужно будет задать этой библиотеке из каких тегов брать текст, а это только смотреть самому по коду страницы, особого гайда или способа тут нет.

ForeverYang сказал(а):↑

Что это есть?

Нажмите, чтобы раскрыть...

библиотека, которая помогает с парсингом

а язык какой? питон?

парсил как то новости с дота 2 ру)

 

HealSlut сказал(а):↑

Смотря в чем заключается парсинг. Условный твиттер, вроде, предоставляет апи для получения твитов, а вот какой-нибудь д2ру придется парсить как html и вытаскивать оттуда текст, что сильно отличается от твиттера. Но на самом деле должно быть полно корпусов текстов с разными метаданными, которые можно скачать (например, на каком-нибудь kaggle), так что проще взять оттуда чем самому париться.

Нажмите, чтобы раскрыть...

К апи твиттера очень сложно получить доступ, слышал человека, который сильно плевался.

+1 к теме, вопрос в том, как парсить авито, циан, и тд, через селениум?

боби (3) сказал(а):↑

+1 к теме, вопрос в том, как парсить авито, циан, и тд, через селениум?

Нажмите, чтобы раскрыть...

Заказать на фрилансе и не морочить сё голову. 

Kivooeo сказал(а):↑

а язык какой? питон?

парсил как то новости с дота 2 ру)

 

Нажмите, чтобы раскрыть...

Ну не знаю, но питон вроде норм тема, так что да 

Kujivunia сказал(а):↑

Ну не знаю, но питон вроде норм тема, так что да 

Нажмите, чтобы раскрыть...

чекни гайды по парсингу на питоне на ютубе тогда, но у тебя вроде шаблон посложнее, поэтому придется повозиться

Ananasiiik сказал(а):↑

Заказать на фрилансе и не морочить сё голову. 

Нажмите, чтобы раскрыть...

Мне хочется научиться это делать

https://www.programmer-books.com/wp-content/uploads/2018/12/Web-Scraping-with-Python-2nd-Edition.pdf

(не читал, но должно сойти )

 

Могу спарсить любой сайт. Копай в сторону python + selenium (библиотека для python).

Поробуй в гугле вбить, парсинг сайтов.