Получить несколько страниц из поиска Google
Я пишу сценарий bash, чтобы получить некоторые данные из поиска Google. я использовал lynx
для запроса и перенаправить результаты в файл для последующего анализа. Проблема в том, что я получаю только одну страницу, как я могу получить lynx
получить следующую страницу / количество страниц?
Я использовал grep и cut, чтобы изолировать URL-адрес типа "www.google.com/search?q=.....", но затем, когда я пытаюсь отправить его на lynx, он не открывает следующую страницу, просто показывает ссылку без открытия какого-либо предложения? TNX
1 ответ
Я предполагаю, что вам нужно будет пройти по всем ссылкам внизу страницы, результаты поиска не будут сведены к одной странице.
Вам нужно будет разобрать и загрузить каждый из результатов самостоятельно.