Хмм. Интересно, а если сайт динамический, то что делать? Условно говоря не сразу загружает блоки, а через секунд 20 в зависимости от интернета
Нажмите, чтобы раскрыть...
Есть либы, которые эмулируют js и могут получить итоговую страничку. Либо можно изучить как работает сайт и самому вызывать их внутреннее апи для получения данных. Но тут во всем этом, естественно, могут быть тонкости, и где-то может быть легко, а где-то очень сложно.
И то и другое. С апи сайтов тоже хочу научиться пользоваться (но уже по другим причинам).
Нажмите, чтобы раскрыть...
Ну тут тогда тебе придется изучать различные форматы и протоколы. В зависимости от сайта и способа его реализации набор может быть разным. Основное что тебя интересует - это html, rest api, ajax, json, xml и типо того.