PCIe bifurcation: как подключить несколько NVMe SSD через один слот
Четыре разъёма M.2 на адаптере ещё не означают, что сервер увидит четыре SSD. У пассивной платы расширения нет контроллера, который самостоятельно превращает одно соединение в несколько. Для неё процессор и BIOS должны разделить линии выбранного слота на независимые подключения. Эта функция называется PCIe bifurcation — бифуркация PCIe.
Перед покупкой адаптера проверьте процессор, разводку слота, райзер и доступные настройки BIOS. Карта с PCIe switch и пассивная плата требуют разных конфигураций; одинаковое число гнёзд M.2 не делает их взаимозаменяемыми.

Что такое PCIe bifurcation простыми словами?
Режим x4/x4/x4/x4 даёт четыре группы по четыре линии для отдельных NVMe-контроллеров. После определения накопители можно использовать раздельно или объединить выбранным программным способом. Bifurcation и RAID настраиваются независимо.
Сам по себе протокол NVMe тоже не требует бифуркации. Один SSD на однодисковом адаптере обычно использует одно соединение PCIe. Функция нужна, когда несколько независимых SSD напрямую подключены к разным группам линий одного физического слота. Устройства с собственным PCIe switch организованы иначе.
Чем отличаются физический размер слота и число линий?
У длинного слота x16 электрическая ширина может быть x16, x8 или x4. Режим разделения выбирают по разведённым линиям, а не по длине пластмассового разъёма.
Отдельно проверяют, откуда приходят линии. У слота от CPU собственный процессорный путь. У слота от чипсета данные могут делить общий канал с сетевыми интерфейсами, SATA и другими устройствами. Номинальная ширина отдельного слота не гарантирует такую же суммарную скорость до процессора при одновременной нагрузке.
В двухпроцессорной плате часть разъёмов подключена ко второму CPU. При его отсутствии такие слоты могут не работать вообще. Установка адаптера, замена SSD и настройка операционной системы этого ограничения не устранят. Сначала нужна блок-схема платформы и перечень слотов, доступных при фактическом количестве процессоров.

Как составить карту линий PCIe перед закупкой адаптера?
Ведомость включает слот, CPU/PCH, электрическую ширину, режим bifurcation, райзер, адаптер, позиции SSD и ожидаемые link width/link speed. По ней сопоставляют заказ, настройку BIOS и обнаруженные устройства.
Пример проекта: GPU требует x16, NVMe-карта для четырёх SSD — ещё x16 с разделением x4/x4/x4/x4, сеть — x8. Получается 40 линий в нужном расположении. Даже процессор с достаточным суммарным числом линий не гарантирует, что выбранная плата разведёт их в эти три доступных слота с правильным режимом и охлаждением.
Какие режимы нужны для двух, трёх и четырёх NVMe?
| Задача | Типовая электрическая схема | Что проверить |
|---|---|---|
| Один SSD на простом адаптере | Одно соединение x4, установленное в совместимый слот | Поколение PCIe, доступность слота и питание |
| Два SSD на пассивном адаптере x8 | x4/x4 | Наличие этого режима у нужного корневого порта |
| Четыре SSD на пассивном адаптере x16 | x4/x4/x4/x4 | Все 16 линий, соответствующий BIOS и разводка адаптера |
| Три SSD на четырёхдисковом адаптере | Обычно тот же x4/x4/x4/x4 | Какие гнёзда допустимо оставить пустыми |
| Адаптер с PCIe switch | Один upstream-порт и несколько downstream-портов | Совместимость коммутатора, прошивки, ресурсов PCIe и загрузки |
Режим x8/x8 рассчитан на два устройства с подключением x8. Он не равен четырём подключениям x4. Если BIOS предлагает только x16 и x8/x8, это ещё не подтверждение работы обычного четырёхдискового пассивного адаптера. Возможность работы двух SSD в таком режиме зависит от схемы самого адаптера; её нельзя переносить на любую плату расширения.
В разборе четырёхпортового адаптера Sabrent отдельно показана зависимость результата от платформы и размещения накопителей. Для теста использован программный stripe, поэтому полученный поток относится ко всей такой комбинации. Это не доказательство отказоустойчивости карты и не обещание той же скорости в одиночном случайном чтении.
Пассивный адаптер или карта с PCIe switch: что выбрать?
Пассивный адаптер разводит группы линий слота к разъёмам накопителей. Он может содержать стабилизаторы питания, тактирование, индикацию и вентилятор, но не коммутирует трафик между SSD. Его достоинства — простая архитектура и отсутствие отдельного дорогостоящего PCIe switch. Основное ограничение — необходимая конфигурация корневого порта сервера.
Карта с PCIe switch представляет процессору коммутатор, за которым находятся несколько устройств. Она может подключать несколько SSD без бифуркации на стороне платы, если это предусмотрено её конструкцией. Однако суммарный поток всех накопителей ограничен шириной и поколением upstream-соединения. Четыре быстрых SSD за x8 не получают четыре независимых x4 до CPU одновременно.
Есть и третий класс: специализированные RAID-контроллеры NVMe. Они могут показывать ОС логические тома вместо отдельных дисков и иметь собственные драйверы, ограничения загрузки и требования к охлаждению. Карта с PCIe switch сама по себе не обязана быть RAID-контроллером. При покупке стоит точно указать, какой способ доступа нужен приложению.

PCIe switch, retimer и redriver: почему это разные устройства?
PCIe switch коммутирует upstream- и downstream-порты. Retimer и redriver помогают передаче сигнала, но не создают дополнительных независимых портов вместо нужного разделения. Поэтому пометки «активная карта» для выбора недостаточно.
В дополнительном инженерном разборе Level1Techs длинный путь PCIe рассматривается как задача сигналов, соединителей и промежуточной электроники. Надпись Gen5 на одном кабеле не подтверждает работу всей цепочки CPU — плата — слот — карта — кабель — устройство на Gen5. Для сервера нужна квалифицированная комбинация с поддерживаемой топологией.
Допустимую длину кабеля берут из спецификации пути. В расчёт входят материал, разъёмы, трассы, поколение и промежуточные компоненты. Периодическое снижение поколения или ширины линка проверяют вместе с ошибками PCIe.
Матрица совместимости: что должно совпасть во всей конфигурации?
| Участок | Необходимое подтверждение | Чем оборачивается ошибка |
|---|---|---|
| CPU и корневой порт | Нужная схема разделения линий на этой платформе | Доступно меньше независимых подключений |
| Материнская плата | Электрическая ширина и разводка выбранного слота | Длинный разъём работает только как x4 или x8 |
| BIOS | Настройка конкретного порта для конкретной версии платы | Определяется часть накопителей или не тот порт меняет режим |
| Райзер | Распределение линий, поколение, механическая совместимость | Часть линий уходит в другой разъём либо линк нестабилен |
| Адаптер | Пассивная схема либо PCIe switch, допустимые SSD | Ожидания по числу дисков не совпадают с устройством карты |
| Накопители | NVMe/PCIe, ключ и длина M.2, питание, охлаждение | SATA M.2 не работает на чисто NVMe-адаптере |
| ОС и загрузка | Поддержка NVMe и нужного способа загрузки UEFI | Диски видны в ОС, но система с них не загружается |
Для подбора оборудования полезно сразу передать номера платы, ревизии, BIOS, райзера и адаптера. Формулировка «сервер Supermicro с PCIe x16» недостаточна. В каталоге серверных материнских плат сначала выбирают платформу с нужной топологией, затем проверяют расширение. Готовые райзеры и адаптеры рассматривают в разделе контроллеров, плат расширения и райзеров.
Практический разбор: как освободили слот на X10SRi-F?
В разборе Home SysAdmin на Supermicro X10SRi-F два NVMe сначала занимали два разных слота. Задача состояла в переносе их на один двухдисковый адаптер x8, чтобы оставить место для другого оборудования. Для этого автор сопоставил физическую маркировку слотов с процессорными портами на блок-схеме, выбрал CPU SLOT3 и настроил соответствующий порт в x4/x4. После перезагрузки оба накопителя определились, а проверка существующего зеркала подтвердила присутствие двух его участников.
«Я хочу объединить их на одной плате, чтобы освободить один из слотов для других нужд».
Home SysAdmin, перевод фрагмента о переносе двух NVMe на один адаптер.
Как рассчитать скорость PCIe x4, x8 и x16?
Для PCIe 3.0–5.0 можно оценить поток одного направления формулой: скорость передачи в GT/s × 128/130 × число линий ÷ 8. Результат выражен в десятичных GB/s после учёта кодирования, но до накладных расходов пакетов и работы накопителя. Это потолок канала, а не обещанная скорость копирования файла.
| Поколение | Скорость линии | x4, GB/s | x8, GB/s | x16, GB/s |
|---|---|---|---|---|
| PCIe 3.0 | 8 GT/s | 3,94 | 7,88 | 15,75 |
| PCIe 4.0 | 16 GT/s | 7,88 | 15,75 | 31,51 |
| PCIe 5.0 | 32 GT/s | 15,75 | 31,51 | 63,02 |
Эти значения относятся к одному направлению. Складывать чтение и запись двунаправленного канала, а потом сравнивать итог со скоростью последовательного чтения одного SSD некорректно. Для PCIe 6.0 формулу механически не продолжают: там меняются сигнализация и организация передачи.
Пример: четыре SSD, каждый из которых способен читать по 6 GB/s, теоретически требуют 24 GB/s. Пассивное подключение четырьмя независимыми x4 PCIe 4.0 располагает суммарным бюджетом до 31,51 GB/s на стороне x16 до прочих ограничений. У карты со switch и upstream PCIe 4.0 x8 общий потолок — 15,75 GB/s. Одновременные 24 GB/s через него не пройдут независимо от числа разъёмов на карте.
Как связаны поколение, ширина и полезный поток?
Например, 800 000 операций/с по 16 KiB соответствуют 13,1072 GB/s полезных данных. Такой поток в одном направлении не помещается в PCIe 3.0 x8 даже теоретически. При этом 800 000 операций по 4 KiB дают 3,2768 GB/s: здесь ограничение может оказаться в другом месте. Поэтому IOPS без размера блока и профиля чтения/записи не описывают требования к шине.
Сумма рекламных скоростей четырёх SSD также не является скоростью массива. Влияют upstream, CPU, программная схема, очередь, тип доступа и состояние SSD. Для сравнения фиксируют одновременно измеренный поток, задержку, поколение и ширину всех значимых соединений.
Почему SSD PCIe 4.0 работает со скоростью PCIe 3.0?
Соединение согласует поддерживаемые поколение и ширину между участниками. Накопитель PCIe 4.0 x4 в совместимом тракте PCIe 3.0 x4 ограничен последним. Это нормальный результат совместимости, а не обязательно неисправность SSD. Влияют также райзер, кабель, ретаймер, адаптер и настройки скорости порта.
При уменьшении ширины с x4 до x2 доступная полоса снижается. Фактический линк проверяют в системе, а низкую скорость приложения затем сопоставляют с CPU, температурой SSD, очередью и профилем доступа.

У пассивной карты с корректным x4/x4/x4/x4 каждый накопитель получает собственную группу линий. При этом сохраняются ограничения платформы выше по пути: размещение слота за CPU или чипсетом, связь между узлами, доступ к памяти и конкуренция с другими устройствами. Слово «bifurcation» не означает, что вся машина лишена общих узких мест.
Что делать, если свободных слотов уже нет?
Сначала проверяют внутренние разъёмы PCIe для накопителей: OCuLink, SlimSAS и другие предусмотренные платформой подключения. Форма разъёма сама по себе не определяет протокол: похожие кабельные решения могут обслуживать PCIe либо SAS/SATA в разных системах. Нужны совместимые интерфейс, распиновка, направление подключения и питание. Пассивный кабель не превращает SAS-контроллер в NVMe-контроллер.
В сборке Techno Tim свободный разъём расширения закончился, но оставались два OCuLink-порта с линиями PCIe 3.0 x4. Через подходящие кабели с отдельным питанием и адаптер M.2–U.2 удалось добавить ещё два NVMe. После загрузки автор проверил согласованные 8 GT/s и ширину x4, а затем отдельно измерил последовательную скорость и задержки. Практический результат этого опыта: прежде чем менять плату, стоит проверить уже выведенные, но не используемые линии.
Где искать настройку bifurcation в BIOS Supermicro?
Названия зависят от поколения. Встречаются разделы Advanced, Chipset Configuration, IIO Configuration, настройки CPU IOU и непосредственно PCIe Slot Configuration. На части платформ параметр указывается для процессорного порта, на других — для конкретного слота. Подсказку берут из руководства нужной модели и версии BIOS, а соответствие порта и разъёма — из блок-схемы.
- Сохраните действующие настройки и запишите положение установленных карт.
- Определите электрическую ширину нужного слота и его принадлежность CPU.
- Проверьте совместимый режим именно для этого подключения.
- На остановленном и обесточенном сервере установите адаптер и SSD.
- Измените только нужный параметр, сохраните настройку и выполните предусмотренный платформой перезапуск.
- Проверьте обнаружение всех устройств и состояние существующих томов.
Меняйте по одному параметру и записывайте результат. Одновременное изменение PCIe speed, Above 4G Decoding, CSM и загрузки затруднит поиск причины, если устройства исчезнут.
Как проверить число SSD, ширину линка и ошибки в Linux?
Сначала сопоставляют устройства по модели и серийному номеру. Имена вида nvme0n1 могут изменяться после перестановки оборудования и перезагрузки, поэтому постоянную идентификацию строят на UUID, WWN или штатных устойчивых путях. Одного списка файлов в /dev мало: он не показывает качество соединения и состояние массива.
lspci -tv
lspci -Dnn
nvme list
lsblk -o NAME,MODEL,SERIAL,SIZE,TYPE,MOUNTPOINTS
sudo lspci -s 0000:03:00.0 -vv
sudo nvme smart-log /dev/nvme0
journalctl -k -b
PCI-адрес 0000:03:00.0 и имя nvme0 здесь служат примерами: подставляют обнаруженное устройство. В выводе PCIe сравнивают LnkCap и LnkSta: первое описывает возможности, второе — согласованный режим. Проверяют не только SSD, но и upstream-участки, если установлен switch. В журнале ищут повторные AER-события, сбросы контроллера, тайм-ауты и исчезновения устройств.
SMART оценивают до нагрузки и после неё: температуру, предупреждения, ошибки носителя, объём записей и признаки теплового ограничения. Конкретные температурные пороги зависят от SSD. Произвольное правило «все NVMe начинают снижать скорость при 70 °C» использовать нельзя.

Какая нагрузочная проверка действительно полезна?
Проверяют каждый SSD отдельно, затем все одновременно. Последовательный тест обнаруживает общий предел upstream-соединения. Случайная нагрузка на малой глубине очереди показывает задержку. Смешанная нагрузка приближается к рабочему использованию. Для записи оценивают длительный установившийся режим после кэширования, если такой сценарий нужен приложению.
Тесты записи запускают только на выделенном тестовом файле или накопителе, данные на котором разрешено уничтожать. Сырые команды fio с именем рабочего блочного устройства без проверки опасны. В протоколе фиксируют версию программы, размер блока, read/write mix, queue depth, число потоков, direct I/O, длительность, заполнение дисков и настройки энергосбережения. Сравнивать цифры без этих условий бессмысленно.
Для базы данных или журнала важны p95/p99 задержки и поведение синхронной записи, а не только максимальные GB/s. Для файлового сервера дополнительно проверяют путь по сети: локальные 10 GB/s не превращаются в такую же скорость через единственный 10GbE-порт с теоретическим пределом 1,25 GB/s до накладных расходов.
Почему определяется только один накопитель?
- Не включён нужный режим. Пассивная карта получает один общий линк вместо независимых групп.
- Изменён другой порт. Номер IOU в BIOS не совпал с выбранным разъёмом.
- Не хватает линий. Физический x16 разведен как x4 или часть линий занята другим подключением.
- Неподходящий райзер. Его разводка распределяет линии иначе, чем предполагает адаптер.
- Смешаны SATA и NVMe M.2. Одинаковый форм-фактор не означает одинаковый протокол.
- Нет второго CPU либо нужной поддержки BIOS. Слот недоступен в фактической конфигурации.
- Ошибка питания или монтажа. Накопитель установлен неплотно, мешает радиатор, не подключён предусмотренный ввод питания.
Если диски не определяются и после проверки топологии, дальнейшую диагностику удобнее выполнять по отдельному руководству почему Supermicro не видит SATA, SAS и NVMe. Здесь задача другая: заранее спроектировать многодисковое подключение через один слот.
Можно ли загрузить ОС и создать RAID на таком адаптере?
Возможность видеть SSD в работающей ОС и возможность загрузки с него — разные проверки. Для старой платформы отдельно подтверждают UEFI NVMe boot и выбранный режим установки. Для RAID-массива дополнительно нужны поддерживаемая загрузочная схема и драйверы соответствующего программного или аппаратного решения. Пассивный адаптер обычно не предоставляет собственного RAID BIOS.
Программное зеркало объединяет устройства средствами ОС. Intel VROC, специализированный NVMe RAID-контроллер и программный RAID Linux — разные архитектуры с разными требованиями. Наличие пункта VMD или RAID в BIOS не даёт автоматически ни нужной лицензии, ни совместимости любых SSD. Конфигурацию проверяют для конкретного поколения платформы и программного стека.
Разбор уровней массива вынесен в руководство по настройке RAID Supermicro. При расширении важно сохранить отдельную резервную копию: зеркалирование накопителей не защищает от удаления данных, ошибки конфигурации и сбоя приложения.
При передаче NVMe в виртуальную машину важны IOMMU, группы устройств и ограничения гипервизора. Bifurcation сама по себе не гарантирует удобную изоляцию каждого SSD. До закупки проверьте фактическое разделение устройств на выбранной платформе. Не следует ослаблять изоляцию обходными настройками лишь ради того, чтобы карта формально заработала.
Питание, радиаторы и монтаж: что часто забывают?
Четыре SSD выделяют тепло рядом друг с другом. Крупный радиатор одного устройства может перекрыть соседнее гнездо или мешать установке карты в сервер. Пассивное охлаждение адаптера рассчитывают на реальный поток воздуха внутри шасси. Открытый стенд и закрытый 1U-сервер дают разные условия.
В расчёт питания включают все SSD, коммутатор при его наличии и вентилятор. Проверяют допустимое потребление слота и требование дополнительного питания адаптера. Для кабельного U.2-подключения отдельно подтверждают линии питания и подходящий жгут. Наличие сигнального OCuLink-кабеля ещё не означает, что накопитель получает необходимое питание.
Карту фиксируют штатным креплением, SSD — винтами или предусмотренными защёлками. Кабели укладывают без натяжения и резких перегибов, не перекрывая вентиляторы. Работу с платой начинают после штатного завершения ОС и отключения питания по процедуре платформы: дежурное питание BMC может оставаться при внешне выключенном сервере.

Подбирая оборудование Supermicro, зафиксируйте карту линий вместе с адаптером, райзером и SSD. Тогда заказ можно проверить как конфигурацию целиком.
Что написать в заказе на NVMe-адаптер, чтобы не получить несовместимую сборку?
Отдельной строкой задают результат: операционная система видит четыре независимых накопителя; загрузка с выбранного устройства проверена, если она нужна; RAID или программный пул создаётся поддерживаемым способом; целевая ОС получает устройства с ожидаемой шириной и поколением линка. Эти требования различаются, поэтому их нельзя заменять общей фразой «SSD определяется в BIOS».
До нагрузки сохраните карту устройств и серийные номера, затем проверьте совместную работу, температуру и ошибки PCIe. После обновления BIOS повторно проверьте bifurcation: нужный режим может сброситься.
Если требуется замена SSD без остановки, подтверждают поддержку hot-plug всей цепочкой: платой, адаптером, креплением, питанием, прошивкой и ОС. Обычная M.2-карта внутри корпуса не превращается в безопасную корзину горячей замены только потому, что накопитель использует NVMe. При отсутствии согласованного hot-plug обслуживание планируют с остановкой и последующей проверкой устройств.
Программа приёмки: когда конфигурацию можно передавать в работу?
| Проверка | Что записать | Критерий |
|---|---|---|
| Инвентаризация | Модели, серийные номера, BIOS, адаптер, райзер, слот | Все предусмотренные SSD обнаружены |
| Топология | Дерево PCIe и фактические LnkSta | Ширина и поколение соответствуют проекту |
| Нагрузка каждого SSD | Скорость, задержки, температура, ошибки | Нет необъяснимой деградации относительно выбранного режима |
| Общая нагрузка | Суммарный поток и p99, состояние всех устройств | Нет сбросов, перегрева и превышения бюджета upstream |
| Перезагрузка и холодный старт | Состав устройств, порядок загрузки, состояние массива | Конфигурация воспроизводится без ручного вмешательства |
| Восстановление | Проверка резервной копии на тестовом ресурсе | Есть подтверждённый способ вернуть рабочие данные |
Частые вопросы перед покупкой адаптера
Можно ли включить bifurcation программой в Windows или Linux?
Если платформа не предоставляет нужную аппаратную топологию и конфигурацию корневых портов, обычный драйвер ОС её не создаст. Сначала проверяют поддержку платы и BIOS. Покупать пассивный адаптер в надежде, что её добавит утилита, не стоит.
Можно ли поставить NVMe вместо SAS через переходник?
Только если весь тракт предусматривает PCIe/NVMe: порт, кабель, backplane и питание. Пассивный переходник не преобразует протокол SAS в NVMe. Универсальные корзины требуют конкретной совместимой конфигурации контроллеров и кабелей.
Почему после установки GPU стало меньше видимых SSD?
Возможны общие линии, изменение ширины слотов или другой допустимый режим платы. Сверьте блок-схему и конфигурацию BIOS. Это не обязательно неисправность SSD.
