Сколько времени займет сортировка uniq файла 62 ГБ?
В течение 5 часов я управлял командой sort file1 | uniq > file2 на 62GB файл, и мне просто интересно, сколько времени это займет.
У меня процессор Intel® Core™ i7-4510U @ 2,00 ГГц × 4 с 8 ГБ оперативной памяти.
Будет быстрее если я побегу sort --parallel=4 -uo file2 file1?
1 ответ
Это займет много времени. Точное время зависит от многих вещей, например, от того, много ли в файле повторяющихся строк, от того, отсортирован ли он или нет. Там нет никакого способа узнать из ваших системных спецификаций.
Да, последняя команда будет намного быстрее, особенно потому, что она может отбрасывать дубликаты во время работы, а не зависать от них. Тем не менее, вам нужно file2 file1 в конце концов, так как аргумент -o Вариант приходит сразу после -o,
Смотрите также другой ответ, который добавляет в nice а также ionice ускорить процесс за счет замедления всего остального (возможно, вплоть до замораживания других задач).