Параллельность вместо последовательности

В 2011 году Intel представила первую спецификацию NVMe. До этого стандартом был SATA с протоколом AHCI — всё строилось вокруг одной очереди I/O. Контроллер диска ждал команды от хоста, выполнял их одну за другой и отправлял результат обратно. Это надёжно, но медленно.

NVMe изменила правила игры. Вместо одной общей очереди контроллер получил возможность обрабатывать множество параллельных потоков ввода-вывода. Но для этого потребовалась совершенно другая архитектура — не просто «больше каналов», а новая механика управления командной работой. В основе лежат две структуры в памяти хоста: очередь подачи команд и очередь завершений.

Механика работы очередей

Каждая команда I/O в NVMe попадает в память хоста, а именно в Submission Queue — SQ. Это не просто список задач, а структурированный массив дескрипторов. Каждый дескриптор содержит адрес буфера с данными и метки начала и конца команды. Контроллер SSD считывает эти записи по мере готовности и выполняет их.

После выполнения контроллер возвращает результат в Completion Queue — CQ. Это отдельная структура, где накопитель записывает статус завершённой операции: код статуса, адрес результата, флаги ошибок. Хост постоянно проверяет эту очередь на наличие новых событий.

Но как хост узнаёт, что в очереди появились новые записи? Здесь работает механизм прерывания через doorbell interrupt. Когда приложение или драйвер пишет данные в SQ, он отправляет сигнал контроллеру — «doorbell». Тот проверяет очередь и начинает выполнять команды. Без этого сигнала контролер может не знать о новых задачах, даже если они уже лежат в памяти.

Разделение на Admin и I/O очереди тоже важно. Admin SQ/CQ предназначены для управления устройством: форматирование, сброс ошибок, изменение конфигурации. I/O SQ/CQ — для реальных операций чтения и записи. Это позволяет изолировать административные задачи от пользовательских, чтобы они не мешали друг другу.

Глубина очереди: почему один поток не работает

Когда говорят о производительности NVMe, часто упоминают queue depth — глубину очереди. По сути, это максимальное количество команд, которые контроллер может обрабатывать одновременно. Если задать глубину 1, то хост отправляет команду и ждёт её завершения перед отправкой следующей. Контроллер простаивает большую часть времени в ожидании новых задач.

При глубокой очереди контроллер почти никогда не простаивает — он держит внутри себя очередь работы и постоянно выполняет задачи по мере готовности. В тестах разница между QD1 и высокой глубиной может быть в разы. Например, при записи 4K-блоков один поток показывает скромные цифры, а несколько параллельных потоков раскрывают настоящий потенциал NVMe SSD.

Латентность и пропускная способность — разные метрики. Низкая латентность достигается за счёт параллелизма очередей, а не просто высокой скорости передачи данных. Если тестировать диск только через один поток, можно получить заведомо заниженные результаты, которые не отражают реальной нагрузки.

Проблемы масштабирования и throttling

Многие думают, что чем больше очередей, тем лучше. Но это не всегда так. Слишком высокая глубина очереди может привести к переполнению CQ, когда контроллер не успевает записывать статусы завершённых команд. Хост продолжает отправлять новые задачи, но не получает ответов — возникает throttling.

В Linux проблема часто связана с настройками драйвера NVMe и лимитами ядра. Если очередь заполняется быстрее, чем хост может обработать завершения, система начинает сбрасывать команды или вешается. Диагностика таких ситуаций включает проверку задержек через iostat await, анализ логов nvme-cli/smartctl.

Windows 11 также имеет свои особенности. В старых версиях использовался SCSI-драйвер поверх NVMe, который не поддерживал параллелизм очередей. Переход на нативный драйвер снизил нагрузку на CPU и повысил IOPS. Но даже сейчас есть случаи, когда операционная система не использует весь потенциал накопителя из-за неправильной конфигурации очередей.

Баланс между сложностью и эффективностью

Управление очередями NVMe — это не просто «больше лучше». Это поиск баланса между загрузкой контроллера, способностью хоста обрабатывать прерывания и реальными потребностями приложения. Для большинства задач достаточно нескольких очередей с глубиной 32 или 64. Слишком большое количество может привести к усложнению логики без ощутимой выгоды.

NVMe не работает в вакууме — она зависит от того, как хост управляет очередями. Драйверы ОС, настройки ядра, даже способ тестирования нагрузки влияют на конечную производительность. Понимание механики SQ/CQ помогает избежать типичных ошибок и раскрыть потенциал NVMe-устройств без лишних затрат ресурсов.