Получить несколько страниц из поиска Google

Я пишу сценарий bash, чтобы получить некоторые данные из поиска Google. я использовал lynx для запроса и перенаправить результаты в файл для последующего анализа. Проблема в том, что я получаю только одну страницу, как я могу получить lynx получить следующую страницу / количество страниц?


Я использовал grep и cut, чтобы изолировать URL-адрес типа "www.google.com/search?q=.....", но затем, когда я пытаюсь отправить его на lynx, он не открывает следующую страницу, просто показывает ссылку без открытия какого-либо предложения? TNX

1 ответ

Я предполагаю, что вам нужно будет пройти по всем ссылкам внизу страницы, результаты поиска не будут сведены к одной странице.

Вам нужно будет разобрать и загрузить каждый из результатов самостоятельно.

Другие вопросы по тегам