Могу ли я рассчитать общий размер веб-сайта, доступного для общественности?

Скажем, я хочу скачать все публичные страницы или создать автономную базу данных на сайте www.psychocats.net. Теперь, как я могу сначала рассчитать общий размер сайта перед началом загрузки?

Источник

1 ответ

Исходя из аналогичных вопросов и ответов - получить размер файла для wget, прежде чем wget-это? - Я сделал скрипт оболочки оболочки bash, который будет делать именно то, что вам нужно.:)

Последний репозиторий кода можно найти на Github здесь:

#!/bin/bash
# Info: https://github.com/mariomaric/website-size#readme

# Prepare wget logfile
log=/tmp/wget-website-size-log

# Do the spider magic
echo "### Crawling ${!#} website... ###"
sleep 2s
echo "### This will take some time to finish, please wait. ###"

wget \
  --recursive --level=inf \
  --spider --server-response \
  --no-directories \
  --output-file="$log" "$@"

echo "Finished with crawling!"
sleep 1s

# Check if prepared logfile is used
if [ -f "$log" ]; then
    # Calculate and print estimated website size
    echo "Estimated size: $(\
        grep -e "Content-Length" "$log" | \
        awk '{sum+=$2} END {printf("%.0f", sum / 1024 / 1024)}'\
    ) Mb"

    # Delete wget log file
    rm "$log"
else
    echo "Unable to calculate estimated size."
fi  

exit

Кроме того, этот ответ очень помог: команда Shell для суммирования целых чисел, по одному на строку?

Источник
Другие вопросы по тегам