;
- сохранять минимальный и максимальный размеры кадров стандарта IEEE 802.3;
обеспечивать совместимость с оптическими транспортными сетями OTN.
Логический МАС-уровснь управления доступом к среде передачи данных (подуровень канального, второго уровня модели OSI), согласно требованиям; стандарта 100GЬЕ, является подуровнем протокола и реализует адресацию и механизмы управления доступом к каналам передачи данных. Это позволяет нескольким терминалам или точкам: доступа общаться между собой в многоточечной сети. МАС обеспечивает гибкость при взаимодействии разнотипных устройств (PHY и DTE) при передаче потока данных со скоростью 100 Гбит/с. Логический уровень реализует преобразование пакетов верхних уровней в кадры Ethernet: сегментирует, добавляет к заголовку преамбулу, МАС-адрес и контрольную последовательность PCS.
Физический уровень стандарта 100GЬЕ состоит из трёх основных (PCS - Physical Coding Sublayer, PMA - Physical Medium Attachment, PMD - Physical Medium Dependent Sublayer) и двух необязательных подуровней [5, 6]. С уровня MAC данные попадают на подуровень согласования (RS - Reconciliation Sublayer), где последовательный поток данных преобразуется в параллельный 64-битный (64В) и через интерфейс CGMП (100 Gigabit Media Independent Interface - независимый от среды передачи 100 Гбит логический интерфейс) попадает на подуровень кодирования PCS.
Физический подуровень PCS осуществляет кодирование потока данных, поступающих в канал передачи, таким образом, чтобы они могли быть различимы приёмником и восстановлены в исходной форме. На физическом подуровне PCS часто применяет схему кодирования (скремблирования) 64В/66В, в которой 66-битное слово переадресуется карусельным образом в индивидуальные параллельные потоки, т.е. 64-битный поток данных (64В) преобразуется в 66-битный поток (66В) и разделяется на несколько потоков с меньшей скоростью.
При кодировании к заголовку получения 64-битных данных добавляются дополнительные два бита синхронизации с целью формирования 66-битного блока - «01» синхронизации заголовков пакетов данных и «10» для управления пакетами данных. При распространении 66-битных блоков полос PCS, начиная с нулевой полосы, используется циклический механизм.
Согласно стандарту 100GbE, на физическом подуровне PCS определяются до двадцати полос передачи данных по двум направлениям (прямом - ТX и обратном - RX). Так, поток со скоростью 100 Гбит/с расширяется до скорости 103,125 Гбит/с и распределяется на двадцать полос PCS по 5,15625 Гбит/с с поддержкой их интерфейсов. Для 100 Гбит Ethernet выходных битовых потоков может быть 10 или 4, с возможным их перемешиванием по определённому закону и распределением по выходным потокам.
Поскольку последовательный поток битов распределяется по индивидуальным параллельным потокам, для восстановления исходного потока в приёмнике, между параллельными потоками должна сохраняться временная синхронизация. Учитывая скорости и расстояния передачи данных, предусмотренные стандартом 100GbE, физические рассогласования потоков неизбежны. Для компенсации временных сдвигов (перекосов) используются специальные маркеры.
Маркер выравнивания имеет заголовок, контроль синхронизации («10») и представляет собой DC-сбалансированный поток, состоящий из восьми байтов {М0, Ml, М2, BIP3, М4, М5, Мб, BIP7}, причём М4, М5, М6 являются побайтно обратными байтам М0, Ml и М2. Каждая полоса для подуровня PCS передачи данных (0, 1…19) имеет единственное байтное кодирование М0, Ml, М2, позволяющее получить и расшифровать номер соответствующей полосы подуровня PCS.
10DGBASE-R, 100GBASE-LR4, 100GBASE-SR10
Маркер выравнивания указателей вставляет 66-битный блок после кодирования 64В/66В одновременно в каждый поток данных через 16384 кодовых 66-битных блока и удаляется в приёмнике данных при декодировании 64В/66В. Измеряя временной сдвиг поступления кодовых блоков, приёмник способен восстановить синхронность индивидуальных параллельных потоков. Передатчик, чтобы вставить маркер выравнивания, удаляет пробелы между пакетами IPC (lnter-packet gaps). С прекращением получения данных подуровнем PCS удаляются маркеры выравнивания.
Наличие периодического маркера выравнивания позволяет приёмнику нормально функционировать при значительных временных рассогласованиях сигналов между параллельными каналами передачи данных. Максимально допустимое значение перекоса в PCS составляет 180 нс для стандарта l00GbE.
К особой группе протоколов, используемых для реализации интерфейсов физического уровня, основанной на методе блочного кодирования данных кодом 64В/66В и использующей спецификацию РМА, относится протокол 100GBASE-R физического подуровня PCS.
Протокол 100GBASE-R осуществляет кодирование / декодирование данных, полученных от интерфейса (или переданных на интерфейс) CGMII в виде кода в последовательной форме, а также распределение данных на РМА по нескольким параллельным потокам. Протокол 100GBASE-R подуровня PCS, функционально обеспечивая отображение пакетов кодом 64В/66В, распределяет пакеты на двадцать последовательных потоков PCS. Логический интерфейс CGMII обеспечивает соединение подуровня MAC с физическим уровнем PHY. В сетевых устройствах могут применяться различные варианты физического уровня РНY в виде модулей, стандартизированных в 802.3Ьа в различных MSA (Multi-source agreements) и использующих оптическое волокно (см. таблицу 1).
Таблица 1. Основные параметры ПЛИС Virtex-7 Н580Т
Количество секций Slices90 700Число логических ячеек Logic Cells580 480Общее число блоков CLB725 600Объём блочной памяти Block RAM, Кбит33 840Объём распределённой памяти, Кбит8850Block RAM/FIFO w/ECC940Количество модулей CMTs (1MMCM+1PPL)12Максимум несимметричных I/O600Максимум дифф. пар I/O288Число аппаратных секций DSP48E11680Число аппаратных модулей PCI Express Interface2Число приёмопередатчиков GTH 13,1 Гбит/с48Число приёмопередатчиков GTZ 28,05 Гбит/с8Объём конфигурационной памяти, Мбит183,6
В качестве примера на рисунке 3 приведены три варианта архитектуры 100GbE для протоколов 100GBASE-R, 100GBASE-LR4 и 100GBASE-SR10 систем передачи сигналов. Схемы содержат: CPPI - параллелънъгй физический интерфейс, сервисный интерфейс CAUI (gigabit per second Attachment Unit Interface) - модуль 100 Гбит/с интерфейса подключения, а также логический интерфейс CGMII.
2. Реализация каналов связи 100 Гбит/с
В настоящее время для одновременной передачи данных со скоростью 100 Гбит/с и более по нескольким каналам используется последовательный высокоскоростной интерфейс на основе меди. Для компенсации ухудшения качества сигнала применяют его выравнивание на сторонах передачи и приёма. Однако эффективность подобных решений ограничена расстоянием передачи: чем выше скорость, тем меньше расстояние, на которое данные могут быть переданы без ущерба для целостности сигнала. В целом подобные решения эффективны при небольших длинах медных кабелей, что в принципе не подходит для каналов связи Интернет.
Реализацию стандарта IEEE Std 802.3ba 100GbE можно обеспечить высокопроизводительными сетевыми решениями для пакетной обработки трафика управления, коммутации и агрегации на основе применения оптических интерфейсов.
Известные оптические стандарты включают оптические модули форматов SFP+, СЕР (С form-factor pluggable) и CFP2. Перечисленные оптические модули выгодно отличаются пропускной способностью, низкой стоимостью передачи одного бита, энергетической эффективностью, а также форм-фактором [7]. Так, оптический модуль SFP+ поддерживает скорость оптической линии связи 10 Гбит/с, а СЕР - 100 Гбит/с. Хотя CFP потребляют больше энергии в расчете на бит, чем SFP+, используемая интеграция одного волокна уменьшает сложность построения и затраты на обслуживание. Оптический модуль формата CFP2 обладает пропускной способностью 100 Гбит/с, как и модуль СЕР, но имеет в два раза меньшие размеры и энергопотребление, а также меньшую стоимость. Одним из стандартизованных оптических модулей, поддерживающих 100 Гбит Ethernet, является СЕР MSA, который осуществляет первоочередные подключения оптических трансиверов с использованием протокола 100GBASE-LR4, в том числе, высокоскоростного 100 Гбит/с.
3. Стандарт 100GbE и ПЛИС
Реализация стандарта IEEE Std 802.3ba 100GbE для технологий «облачных вычислений», помимо решения проблемы, связанной с расстоянием передачи данных, требует применения широкополосных быстродействующих сетевых инфраструктур, способных обеспечить функционирование логического MAC и физического уровней для 100 Гбит Ethernet.
Следует также отметить, что при реализации технологии «облачных вычислений» возникает ряд аппаратных проблем, связанных с ограничением функций подсистемы хранения данных, коммутаторов, маршрутизаторов и систем ввода / вывода. Также ограничена внешняя скорость передачи данных по кабелям и другим соединениям, связывающим коммутаторы, маршрутизаторы и системы хранения данных.
Гибкость и реконфигурируемость технологии ПЛИС позволяет использовать их в системах, требующих широкого набора средств для обработки потоков ввода / вывода данных со скоростью 100 Гбит/с. Сетевые операционные преимущества подобных схемных структур вытекают из присущей им эффективной маршрутизации при обработке потоков данных 100 Гбит/с. В этом контексте технология «облачных вычислений» оказывает влияние на широкое внедрение устройств на ПЛИС для обработки высокоскоростных потоков данных.
Для обработки высокоскоростных потоков данных 100 Гбит/с фирма Xi-linx предлагает использовать гетерогенные 3D-матрицы FPGA Virtex-7 Н580Т, состоящие из соответствующих матриц кремния SSI (Stacked Silicon Interconnect) [8]. FPGA Virtex-7 Н580Т с трёхмерной интеграцией, установленная в широкополосных быстродействующих сетевых инфраструктурах, может реализовать до 16 трансиверов с пропускной способностью 28 Гбит/с или до 72 трансиверов со скоростью 13,1 Гбит/с, а также использоваться в виде кристалла на платах Nx100 Гбит/с и 400 Гбит/с.
Таблица 2. Стандартизованные варианты PHY
PHY100Гбит EthernetМинимум 10 км no SMF1006BASE-LR4Минимум 40 км по SMF100GBASE-ER4
Благодаря разделению трансиверов и ядра достигается шумовая изоляция, способствующая сохранению целостности обрабатываемых сигналов и увеличению ресурса системы. В устройстве FPGA Virtex-7 Н580Т предусмотрены дополнительные возможности отладки функций оптических транспортных сетей OTN, логического МАС-уровня, Intcrlaken IP и исключена необходимость использования отдельных кодируемых элементов и устройств ASSP (Application Specific Standard Product).
Гетерогенная архитектура Virtex-7 Н580Т, реализующая до 16 трансиверов, обеспечивает скорость 28 Гбит/с для оптического модуля формата CFP2. На скорости 100 Гбит/с предусмотрены дальний (LR - до 10 км) и сверхдальний (ER - до 40 км) режимы работы оптического модуля CFP2.
Физический уровень PHY при соединении ПЛИС с оптическим модулем поддерживает высокую мощность режима работы интерфейса CAIJI-4 или низкую мощность режима работы СРР1-4. Оптический модуль CFP2 использует 10-кратный 10/11-Гбит или четырёхкратный 25/28-Гбит интерфейс. Переход на оптические модули с четырёхкратным 2 5/28-Гбит интерфейсом позволяет использовать совместно с І1ЛИС до восьми оптических модулей 100 Гбит/с.
Структура физического подуровня PCS, подключаемого к физическому подуровню РМА, как было отмечено ранее, выполняет функцию кодирования. Программируемые FPGA-устройства с 28-Гбит поддержкой масштабируемого интерфейса SerDes (Serializer/Deserializer) могут быть использованы для реализации двухпортового блока кодирования с расширенными функциями тестирования и отладки. Совместное подключение двухпортового блока кодирования (с расширением двух портов 100 Гбит/с) на основе Virtex-7 H580T и оптического модуля CFP2.
протокол SFI-S с 11 полосами по 11,2 Гбит/с (одна полоса - на устранение перекоса) и до 72 SerDes по 13,1 Гбит/с;
протокол SFI-S с 5 полосами по 28 Гбит/с (одна полоса - на устранение перекоса) и до 16 SerDes по 28 Гбит/с.
Блок кодирования принимает входящие 10-кратные потоки 10/11 Гбит/с и после кодирования передаёт их четырёхкратным последовательным интерфейсом 25/28 Гбит/с с помощью подуровня РМА (20; 4).
Применение ПЛИС Virtex-7 Н580Т позволяет реализовать 100-Гбит функции МАС-уровня, NPU, Traffic Мапаgement/QoS, а также Framer и др.
Блок кодирования обеспечивает поддержку:
10x10 Гбит САUI-интерфейса для последовательного интерфейса связи 4x25 Гбит/с;
физического перевода интерфейса c OTL4.10 нa OTL4.4;
перевода 11,2 Гбит/с 10-полосного интерфейса SF1-S в 28 Гбит/с четырёхполосный интерфейс SF1-S с устранением перекоса полосы.
С целью повышения плотности портов 100-Гбит блока кодирования осуществляется подключение ASIC/ FPGA/ASSP Ethernet 100 Гбит/с с использованием функций стандартов MAC или OTN. На одной ПЛИС Virtex-7 H580T можно создавать 100-Гбит транспондеры OTN, содержащие несколько оптических модулей CFP2. Применяя двух- и / или четырёхядерный блок кодирования в ПЛИС, можно подключить к Virtex-7 Н580Т до восьми 4x25/28 Гбит/с оптических модулей CFP2. В качестве примера на рисунке 12 приведён 2х 100 Гбит/с транспондер стандарта OTN на одной ПЛИС Virtex-7 Н580Т и двух оптических модулях CFP2.
ПЛИС Virtex-7 Н580Т, помимо физического подуровня РМА, обладает связанными синхронизацией ресурсами для поддержки интерфейсов CAUI-10x10 Гбит/с, OTL4.10, CPPI интерфейса 4x25 Гбит/с, а также интерфейса OIL 4-4. Оптическая транспортная сеть иерархии G.709 определяет 100 Гбит Ethernet в канале оптического блока данных типа ODU4 (optical data unit), используя общие процедуры отображения GMP (generic mapping procedure). В свою очередь, ODU4 отображается на канал оптического транспортного блока OTU4 (optical transport unit). В оптическом блоке OTU4 используется в качестве интерфейса OTL.4.10 или OTL 44. В ODU4 клиентская скорость составляет 104,79 Гбит/с, а скорость передачи данных - 111,809 Гбит/с. В блоке OTU4 интерфейс OTL4.10 связывает более десяти полос SerDes, каждая из которых работает на скорости (255/227) х 9 953 280 Кбит/с =11,18 Гбит/с. Интерфейс OTL 44 может быть использован для блока OTU4 для связывания четырёх полос SerDes на скорости (255/227) х 24883200 = 27,952 Гбит/с.
Для поддержки связи 100 Гбит/с, обнаружения и исправления ошибок при совместном функционировании ПЛИС Virtex-7 Н580Т и оптических модулей CFP в соответствии с протоколом OIF SFI-S 1.0 используется процессор FEC на 4-20 полос масштабируемого интерфейса. Блок кодирования в ІІЛИС обеспечивает взаимодействие между устройствами, использующими различные полосы и линии фрейма SFI-S. Следует отметить, что протокол SFI-S не зависит от формата данных и может выполнять любые форматы протоколов трактов передачи и приёма данных. Протокол SF1-S используется для устранения перекоса в отдельных каналах передачи данных и позволяет упростить процедуру устранения перекоса и уменьшить сложность SerDes. Применение протокола SF1-S не даёт побочных эффектов, поскольку протокол использует дополнительную полосу SerDes.
Преимущества использования блока кодирования в Virtex-7 Н580Т заключаются ещё в том, что он позволяет осуществлять большие объёмы тестирования, отладки и контроля ПЛИС. Для этого в Virtex-7 Н580Т встроена модель генератора PRB на 13,1 Гбит/с или 28 Гбит/с для SerDes, что позволяет осуществить проверку физического подслоя PCS в различных режимах работы системы передачи данных. Кроме того, Virtex-7 Н580Т, имея значительное число блоков оперативной памяти (см. таблицу 2), может за несколько миллисекунд обеспечить проверку потоков получаемых данных различной длины.
Блок кодирования в ПЛИС также обеспечивает имитацию перекосов распространения сигнала. Для минимизации дрожания сигналов трансиверов в Virtex-7 Н580Т используется синхронизация с фазовой автоподстройкой частоты (PLL). Для компенсации потерь и поддержания целостности передаваемого сигнала в трансиверах реализована передача предискажений и автоматическая адаптация в линейном эквалайзере приёмника.
Проведённые исследования 28-Гбит/с трансивера на Virtex-7 Н580Т показали, что полученная для него глазковая диаграмма отражает низкий джиттер и высокое качество передаваемого сигнала.
облачный вычисление сетевой канал
Заключение
Для реализации стандарта 100 Гбит Ethernet в сетевых устройствах могут эффективно использоваться разработанные фирмой Xilinx на основе FPGA Virtex-7 Н580Т трансиверы 28 Гбит/с с низким фазовым шумом, сетевые карты NxlOO Гбит/с и 400 Гбит/с и оптические модули CFP2. Такой комплект устройств обеспечивает быстрый доступ к информации, хранящейся в «облаках», обладает широкой полосой передачи данных на скорости не менее 100 Гбит/с, высокой плотностью портов, низким энергопотреблением и сочетает требуемую масштабируемость с невысокой стоимостью конечного оборудования.
Источники
1. Zhou S. Understanding the Evolution Dynamics of Internet Topology. Physical Review E. 2006. Vol. 74.
. Hewitt C. ORGs for Scalable, Robust, Privacy-Friendly Client Cloud Computing. Massachusetts Institute of Technology. 2008. Vol. 12. №5.
. IEEE 802.3ba-2010. IEEE Standard for Information Technology. Amendment 4: Media Access Control Parameters, Physical Layers and MaNagement Parameters for 40 Gb/s and 100 Gb/s Operation. IEEE, 22 June 2010.
. D'Amhrosia J. 100 Gigabit Ethernet and Beyond. IEEE Communications Magazine. 2010.
. ToyodaH., OnoG., Ni^mnumSb. 1 OOGbE PHY and MAC Layrer Implementations. IEEE Com-mun. Mag. 2010. Vol. 50. No. 37. CFP MSA Hardware Specification Revision.2010. No. 14.