Что заставляет мою систему останавливать / зависать / повреждать данные при использовании полного шифрования диска LVM + LUKS под Ubuntu Server?

Краткое изложение проблемы

После включения опции полного шифрования диска LUKS / dm-crypt, доступной через установщик Ubuntu, производительность дискового ввода-вывода абсолютно ужасна. Запись на диск зависает/зависает в системе. Данные, считанные с диска, кажутся поврежденными.

Если я не использую LUKS/dm-crypt, то у меня вообще нет никаких проблем. Все работает стабильно и производительно. Я понимаю, что шифрование влияет на производительность. Я ожидаю более низкой производительности, а не многоминутных зависаний системы и повреждения данных.

У меня никогда раньше не было столько проблем с полностью чистой установкой Ubuntu. Я не против ошибиться в чем-то. Я просто хочу, чтобы мои вещи работали!

Обе системы, перечисленные ниже, затронуты этой проблемой. Все эксперименты проводились на системе Ryzen. i5 практически ничего не делал в течение 2 лет, поэтому я просто никогда не замечал проблемы до сих пор.

Система №1 (работает в основном без дела около 2 лет)

• Сервер Ubuntu 20.04.3 ЛТС
• Intel i5-3570
• 8 ГБ ОЗУ, без ECC
• Твердотельный накопитель Kingston A400 SATA 120 ГБ
• Memtest86+ или Prime95 не сообщили об ошибках

Система №2 (новая система, в которой впервые была обнаружена проблема)

• Сервер Ubuntu 22.04 LTS
• AMD Райзен 5 5600
• 32 ГБ ОЗУ, ECC
• Твердотельный накопитель Kingston A400 SATA 120 ГБ
• Memtest86+ или Prime95 не сообщили об ошибках

Действия по воспроизведению

• Установите Ubuntu 20.04 LTS или 22.04 LTS
• Во время установки при настройке диска выберите следующие параметры
• Использовать весь диск
• Настройте этот диск как группу LVM
• Зашифровать группу LVM с помощью LUKS
• Разверните раздел, содержащий /поэтому он занимает все доступное свободное место в группе LVM
• После установки и загрузки используйте SSH/samba/USB/что угодно, чтобы передать большой файл на диск ОС

Ожидание

• Записывайте большие файлы (более ~ 6 ГБ) на диск без зависания системы.
• Прочитать файлы с диска и не допустить их повреждения

реальность

Все эти проблемы были обнаружены в системе Ryzen. Однажды я протестировал большую нагрузку ввода-вывода в системе i5 и смог воспроизвести проблему. Я недостаточно смел, чтобы продвигать его дальше, чтобы не повредить диск ОС и не пришлось его перестраивать.

• Запись больших файлов замораживает систему до такой степени, что работает только консольное эхо. команды не выполняются. даже lsничего не вернет. Передачи SSH останавливаются, истекают по времени и завершаются ошибкой.
• iotop говорит, что по крайней мере один рабочий поток kcryptd достигает 99% нагрузки ввода-вывода, а затем зависает на несколько минут (похоже на 2-3 минуты)
• Большие файлы, считываемые с диска, кажутся поврежденными. Я переместил образ виртуальной машины, и он не мог работать более нескольких секунд без сбоя из-за повреждения внутренней файловой системы. После нескольких перезагрузок aptначал жаловаться на сломанные пакеты. Сетевое соединение перестало появляться. В конце концов система вызвала панику ядра, и я сдался.
• Довольно странно, rebootфактически не перезагружается. Система будет зависать с черным экраном после выключения ОС. Свет и вентиляторы остаются включенными. Кнопка сброса шасси в этом состоянии не работает. Я должен вытащить кабель питания из стены, чтобы все снова заработало.

Обратите внимание, что ни одна из этих проблем не возникает, если ОС установлена ​​без LUKS/dm-crypt. Это включает в себя странную проблему с зависшими перезагрузками.

Также обратите внимание, что я пытался запустить Windows 10 + BitLocker в системе Ryzen, и проблем не было.

Дополнительная информация

Я сделал все это на новой системе Ryzen с Ubuntu 22.04 LTS.

• Я попытался установить cryptsetup --allow-discards --perf-no_read_workqueue --perf-no_write_workqueue --persistent refreshдумая, что это было вызвано какой-то странностью с дешевым SSD. Это помогло повысить производительность записи, но чтение по-прежнему выглядит поврежденным.
• Пробовал полную чистую переустановку без лишних приложений. Только базовая ОС и iotop. Нет обновлений. Проблема сохраняется.
• Я заменил Kingston SSD на заведомо исправный вращающийся жесткий диск на 7200 об/мин. SATA 2.5" 320 ГБ без SMR. Полная чистая переустановка. Проблема не устранена.
• Я заменил твердотельный накопитель Kingston на заведомо исправный накопитель NVMe, Samsung SSD 970 EVO Plus. Полная чистая переустановка. Проблема сохраняется.
• Заменил кабели SATA, хотя без шифрования все работает нормально. Проблема сохраняется.
• Все накопители, участвовавшие в этом бардаке, прошли бэдблоки и тесты SMART.

На данный момент я серьезно рассматриваю возможность вернуться к Windows 10 + BitLocker, потому что я не знаю, что еще делать.

Ссылки

• Как устранить проблему производительности дискового ввода-вывода, которая может быть связана с dm-crypt/LUKS?где я получил cryptsetupсовет указан выше.
• https://ubuntuforums.org/showthread.php?t=2474486 — мой массивный текстовый пост на форумах Ubuntu. Обратите внимание, что я делаю много ссылок на VirtualBox в этой теме, но VirtualBox не является причиной, о чем свидетельствует тот факт, что проблема все еще сохраняется при чистой установке Ubuntu 22.04 без установленного VirtualBox. Я просто работал с VirtualBox, когда возникла проблема.