Описание тега uniq

Описание тега Вопросы с тегом
Команда uniq удаляет повторяющиеся строки в файле. Команда uniq читает либо стандартный ввод, либо файл, указанный параметром InFile
2 ответа

Сортировка двух столбцов с помощью sort и uniq

У меня есть файл, который требует особой сортировки, но я не могу понять, как это сделать. Я попробовал следующую команду, но она не дает мне то, что я хочу: sort -t" " -k1,1 Original_File | uniq -d > Desired_Output Исходный файл: User1 US User1 …
27 авг '14 в 16:14
1 ответ

Как я могу найти дубликаты в первом столбце, а затем удалить относительно целых строк?

У меня есть один файл xlsx (матрица 110725x9), и я сохранил его в виде текста (вкладка удалена), потому что я не знаю, помогает ли Unix для файлов xlsx или нет. Дубликаты строк всегда последовательны построчно. Например, предположим, текстовый файл …
22 авг '18 в 04:19
3 ответа

Почему эта команда поставила пробел в начале?

У меня есть этот код в сценарии оболочки: sort input | uniq -c | sort -nr > output Во входном файле не было предшествующих пробелов, а в выходных. Как это исправить? Это в баш
27 окт '18 в 23:46
3 ответа

Как получить ключевые слова с уникальным значением?

Я просто хочу, чтобы данные имели уникальное значение, скажем, мы пишем файл журнала для мобильных пользователей. <mobile_number1>|20141006 06:15:26||AKQY6LYACZAA4O|12|3|BIHAR| <mobile_number2>|20141006 06:16:05||AKQY6MAYAEQALE|12|22|UP …
06 окт '14 в 10:48
1 ответ

Команда uniq --count дает неверный результат?

Из документа сказано, что опция --count собирается префикс строки по количеству вхождений но после того, как я сделаю тест, кажется, не работает $ echo -e "a\na\b\nc" |uniq --count 1 a 1 a 1 c Должна ли строка "а" встречаться 2 раза?
22 июл '13 в 20:16
4 ответа

Команда uniq не работает должным образом?

Итак, я проверяю md5 хеш моих файлов с этим как мой вывод: 657cf4512a77bf47c39a0482be8e41e0 ./dupes2.txt 657cf4512a77bf47c39a0482be8e41e0 ./dupes.txt 8d60a927ce0f411ec94ac26a4785f749 ./derpina.txt 15f63928b8a1d5337137c38b5d66eed3 ./foo.txt 8d60a927c…
14 окт '14 в 00:44
1 ответ

Как получить только один элемент перестановки из списка строк

Я хочу сохранить только одну перестановку среди набора строк и посчитать возникновение каждой перестановки. Чтобы сделать вещи более понятными, я хочу преобразовать (например) ab acf ba cfa acf в 2 ab 3 acf где 2 и 3 - число перестановок {a,b} и {a,…
06 дек '16 в 12:50
1 ответ

Найти дубликаты строк

У меня есть файл, который содержит следующее содержание. Hi abcd Hi abc hello hello xyz hello Я хочу найти повторяющиеся строки, а также сколько раз это повторяется. Мой ожидаемый результат, как показано ниже. 2 Hi 3 hello Я использовал следующую ко…
10 май '16 в 05:37
1 ответ

Как работает Uniq?

Не путайте этот вопрос с тем, чтобы он был дубликатом "в чем разница между ч / б, сортировать -u и сортировать | uniq" По сути это программа подсчета слов Путаница, вызванная следующей командой, является причиной для того, чтобы задать этот вопрос: …
31 окт '16 в 19:17
2 ответа

Использование uniq -f 1 дает неожиданные результаты

Задав вопрос на ubuntuforums.org и не получив удовлетворительного ответа, я решил снова задать вопрос здесь, на Ask Ubuntu. Мне нужен ответ, чтобы быть очень подробным. В частности, мне нужно знать, какие строки сравниваются при каждой печати строки…
09 июн '17 в 01:01
1 ответ

Uniq обрабатывает строки, как если бы они были разными, но якобы они одинаковы

Я создал и отредактировал файл с именем vi с именем sort.txt, который выглядит следующим образом: sentence one sentence two sentence one sentence three sentence two sentence two sentence three sentence one sentence two sentence one sentence one sent…
05 июл '18 в 20:39
0 ответов

Как узнать количество уникальных заголовков в файле fasta?

Я просматриваю пару файлов fasta и хочу выяснить, как найти уникальные заголовки каждого файла. Я попытался использовать следующую команду, но она не сработала. uniq -u reference.fasta >> reference_uniq.fasta Я хочу перенаправить уникальные за…
09 окт '18 в 20:52
1 ответ

Сколько времени займет сортировка uniq файла 62 ГБ?

В течение 5 часов я управлял командой sort file1 | uniq > file2 на 62GB файл, и мне просто интересно, сколько времени это займет. У меня процессор Intel® Core™ i7-4510U @ 2,00 ГГц × 4 с 8 ГБ оперативной памяти. Будет быстрее если я побегу sort --…
24 мар '16 в 22:04
8 ответов

Как посчитать вхождения текста в файл?

У меня есть файл журнала, отсортированный по IP-адресам, я хочу узнать количество вхождений каждого уникального IP-адреса. Как я могу сделать это с Bash? Возможно перечисление количества вхождений рядом с ip, например: 5.135.134.16 count: 5 13.57.22…
28 мар '19 в 21:51
2 ответа

Можно ли использовать uniq, чтобы удалить одну дублирующую строку, сохранив при этом другую?

У меня есть файл номеров на разных строках. Есть много дубликатов. Я хотел бы удалить одну строку дубликатов, сохраняя при этом другую строку. uniq -d удаляет обе строки. Есть ли способ удалить только одну строку, оставив вторую идентичную строку?
07 июл '18 в 21:42
1 ответ

Как найти повторяющиеся строки в очень больших (65 ГБ) текстовых файлах?

У меня есть 10 текстовых файлов, каждая строка которых содержит 65 символов шестнадцатеричного значения. Каждый текстовый файл имеет размер 6,5 ГБ (99999999 строк). то есть file1-6.5GB, file2-6.5GB, file3-6.5GB, file4-6.5GB, ... file10-6.5GB Мне нуж…
18 апр '22 в 08:29
1 ответ

Uniq --count работает неправильно

Я пытаюсь решить проблему с подсчетом IP-адресов с помощью uniq -c. Мой файл после использования файла выглядит так: 69.246.75.77 7.44.104.171 195.82.180.9 195.82.180.9 61.115.160.23 56.240.142.58 195.82.180.9 87.22.27.189 56.240.142.58 211.114.204.…
20 окт '22 в 21:17
1 ответ

Как использовать last, чтобы узнать, сколько раз пользователи вошли в систему?

Мне нужно увидеть, сколько раз пользователи вошли в систему. я использовално это дало мне плохие данные Мне нужно отсортировать их по количеству входов в систему и показать только имя пользователя и количество раз. например: username number of login…
04 фев '23 в 19:39