Почему open-iscsi работает в 2 раза медленнее, чем Samba, через 10G Ethernet?
На моем локальном файловом сервере у меня есть raid-6 на жестких дисках 7x.
dd if=/dev/zero of=tempfile bs=1M count=2048 conv=fdatasync
Локальный тест скорости дает мне 349 МБ / с.
Удаленная запись в Samba с SSD (скорость чтения>2 Гбит / с) дает мне 259 МБ / с записей. Но удаленная запись на диск iSCSI (на инициаторе iSCSI в Win10) дает мне всего 151 Мбит / с.
raid6 config - размер куска 128K, stripe_cache_size = 8191
Массив смонтирован с параметрами: rw,noatime,nobarrier,commit=999,stripe=128,data=writeback
Настройка open-iscsi: диск основан на файле 4Tb.
Любые намеки, почему iSCSI медленнее, чем Samba при записи? Любые советы, как улучшить скорость записи iSCSI?
Я предполагаю, что это как-то связано с желанием open-iscsi сбрасывать записи на диск после каждой операции, что увеличивает усиление записи на raid6 из-за чрезмерной проверки четности. Но я не уверен, как это исправить. Ускорить его важнее, чем безопасность записанных на данный момент данных на случай отключения электроэнергии.
1 ответ
Безрассудно монтировать массив хранения с возможностью обратной записи без резервной батареи. Вы получаете то, что заслуживаете во время отключения (прыгающая сила хуже всего), включая неполные записи.
Режим записи - это то, что нужно делать без резервного аккумулятора.
Ускорить его важнее, чем безопасность записанных на данный момент данных на случай отключения электроэнергии.
Если ваш банк сделал это с вашей зарплатой, обменяйте, какую часть своего депозита вы сможете вернуть, и как быстро вы ее получите. Есть ли в мире оправдание тому, что некоторые или все ваши с трудом заработанные деньги ушли навсегда?
Вот как вы должны смотреть на хранилище данных, как ответственное лицо.
Вы не можете иметь это в обоих направлениях.
Кэширование файловых систем, а затем обратная запись или вызов sync()). Жесткое хранилище не может выполнить операцию ввода-вывода до тех пор, пока данные не будут физически зафиксированы на диске. Установка диска в режим обратной записи ослабляет это ограничение безопасности торговли для скорости.
В любом случае вы платите за усилитель записи на RAID 6, просто платите ли вы за него сейчас или через несколько мс. RAID 6 - это то место, где умирают твердотельные накопители. Играя на несколько дополнительных часов работы, не стоит компромисса с потерей данных.
Единственный способ смягчить это - с помощью программы обслуживания и мониторинга, которая проверяет интеллектуальные данные (проверяются один раз в день или неделю в нерабочее время, поскольку блокирует ввод-вывод) на дисках и отправляет уведомление о замене, когда они достигли 80%. их жизни записи.
Так что, если производительность - это то, что вас действительно волнует, тогда вам нужно полосатое зеркало, то есть RAID 10. Что также значительно уменьшит усилитель записи, связанный с RAID 5/6.
https://searchstorage.techtarget.com/definition/RAID-10-redundant-array-of-independent-disks
Если вы хотите иметь надежный и быстрый массив хранения промышленного уровня, вам следует изучить возможность добавления NVDIMM или Crosspoint в сборку массива хранения через PMEM.
http://www.admin-magazine.com/HPC/Articles/NVDIMM-Persistent-Memory
Листинг 3: Сравнительный анализ
$ dd if=/dev/zero of=/mnt/test.dat oflag=direct bs=4k count=$((1024*1024)) 1048576+0 записей в 1048576 + 0 записей из 4294967296 байтов (4,3 ГБ, 4,0 ГБ)) скопировано, 4.55899 с, 942 МБ / с
он медленно проникает в жесткую часть ядра.
https://pmem.io/2018/05/15/using_persistent_memory_devices_with_the_linux_device_mapper.html
Надеюсь это поможет.
РЕДАКТИРОВАТЬ: ни один RAID-массив не заменяет программу резервного копирования, которая регулярно проверяется.