Новые возможности Fibre Channel 16Gbps

В конце прошлого года я попытался выдать военную тайну о новых функциях 16Gbps коммутаторов Brocade. Прошло пол года и в мае эти коммутаторы были наконец-то официально отрелизены. Пришло время более подробно разобраться, что из обещанного было реализовано и о каких новых функциях не говорили совсем. Пару месяцев назад я написал об этом статью и вот наконец-то ее хоть и в раздербаненном виде, но опубликовали здесь и здесь.
Мне все-таки больше нравится первоначальный вариант. Поэтому я решил поделиться с вами сокровенными знаниями в изначальном виде.



Иногда мне кажется, что чем точнее наука, тем более суеверными являются ученые. Вот взять Computer science и ИТ, как область ее прикладного применения.
Здесь гадания уже давно превратились в отдельный бизнес, дающий хлеб различным аналитикам, экспертам и, конечно, нашему брату журналисту. Существует масса глобальных и микро-предсказаний, куда будут двигаться технологии, когда потребитель увидит той или иной новый продукт или даже сбудутся ли гадания других гадалок (сколько копий поломано вокруг Закона Мура). Более того, иногда прогнозы становятся законами, уже не предсказывающими, а самостоятельно влияющими на всю индустрию.

Инфраструктура сетей хранения является одним из важнейших компонентов любого центра обработки данных. Поэтому потребитель особенно пристально следит за глобальными предсказаниями в этой области. Итак: “скорость передачи данных в SAN будет удваиваться каждые 3-4 года”.

Время пришло и наши ожидания сбылись. Компания Brocade объявила о выходе своих новых продуктов 16Gbps Fibre Channel. В чем же преимущество предложенных новых технологий и насколько они в данный момент востребованы потребителем? В этой статье я хочу порассуждать именно на эти темы. Причем наибольший акцент хотелось бы сделать не на количественных характеристиках: “быстрее, выше, сильнее”, это разумеется само собой, но не всегда является главным аргументом для приобретения новых продуктов, а на качественно новых их возможностях.

Коммутаторы 16Gbps построены на новых чипах ASIC шестого поколения, которые в продолжение старой традиции были названы Condor 3.

Характеристики	Поколение ASIC
	1	2	3	4	5	6	7
Название ASIC	Stitch	Loom	Bloom, Bloom-II	Condor / Goldeneye	Condor 2 / Goldeneye 2	Condor 3	?
Количество портов ASIC	2	4	8	32 / 24	40 / 24	48
Год выхода	1997	1999	2001	2004	2008	2011	2014
Кол-во портов	2	4	8	32 / 24	40 / 24
Скорость передачи	1,063Gbps	1,063Gbps	2,126Gbps	4,252Gbps	8,5Gbps	14,025Gbps	28,05Gbps
Кодирование	8B/10B	8B/10B	8B/10B	8B/10B	8B/10B	64B/66B	64B/66B
Теоретическая максимальная пропускная способность	103 MB/s	103 MB/s	206 MB/s	412 MB/s	825 MB/s	1642 MB/s	3284 MB/s
Реальная максимальная пропускная способность	90 MB/s	95 MB/s	190 MB/s	380 MB/s	760 MB/s	1552 MB/s	3104 MB/s

Важной особенностью нового ASIC является использование не классического кодировании 8b/10b, применяемого во всех предыдущих реализациях протокола Fibre Channel, а более экономичного 64b/66b. Международный Комитет Технологических Стандартов T11 постановил, что теперь именно такой способ кодирования сигналов будет стандартом для всех новых протоколов передачи, включая 10G Ethernet и 16G Fibre Channel. Ведь это позволяет снизить накладные расходы на кодирование с 25% до 3%.

Означает ли смена схемы кодирования протокола, что существующие у Заказчиков устройства, работающие на 2,4 или 8Gbps, будет нельзя подключать к новым коммутаторам? Конечно можно, защита инвестиций потребителей является одним из важнейших приоритетов. Condor 3 полнофункционально работает с оконечными устройствами и коммутаторами предыдущих поколений. В этом случае будет использоваться старая схема кодирования 8b/10b .

ASIC Condor 3 может осуществлять коммутацию 420 млн. фреймов в секунду. HBA 16Gbps обеспечивают пропускную способность до 500 тыс. операций ввода вывода в сек. (IOPS) Только вдумайтесь в эти огромные числа! Задержки при коммутации внутри чипа ASIC составляют максимум 0,8мкс, а между различными ASIC – всего 2,4мкс. Напомню, что время ожидания считывания данных с жесткого диска минимум на три порядка больше.
Так что можно однозначно говорить, что инфраструктура сети передачи данных, построенная на современном оборудовании Brocade никогда не станет бутылочным горлышком, ограничивающим количество IOPS или увеличивающим время отклика транзакционных приложений.

Для обеспечения высокого уровня производительности передачи данных между значительно удаленными друг от друга площадками, входящими в катастрофоустойчивый комплекс хранения, чипы Condor 3 имеют более 8 тыс. входных буферов, поддерживающих работу групп из 16 или 24 портов (в 32 и 48-портовых платах соответственно). Для поддержки мультиплексирования трафика 16Gbps внутри каналов DWDM предусмотрен режим работы на скорости 10Gbps.
Специальный режим исправления ошибок FEC (Forward Error Correction) при передаче данных между портами коммутаторов, работающими на скорости 16 или 10Gbps, вносит минимальную задержку 0,4мкс.

Для обеспечения большей гибкости обеспечения качества уровней сервиса (Quality Of Services, QoS), количество Virtual Channels (VC) было увеличено до 40. Также появилась возможность обнаружения и восстановления потерянных буферных кредитов на уровне Virtual Channels. В ASIC Condor 2 такая функциональность работала только на уровне физических портов.

Чипы Condor 3 совместно с новой версией операционной среды FOS 7.0 предлагают несколько совершенно новых функциональных возможностей. Это компрессия данных при передаче между портами коммутаторов (между 16Gbps E-портами). Алгоритм McLZO, разработанный для достижения максимальной скорости упаковки и распаковки данных, позволяет добиться уровня компрессии 2:1. Данная функциональность особенно актуальна в SAN с узким каналом между удаленными площадками.

Для увеличения уровня безопасности при передаче данных на дальние расстояния совместно с компрессией можно использовать шифрование данных. Шифрование осуществляется аппаратным способом прямо “на лету”. Применяется крипто-стойкий алгоритм AES-GCM с 256bit ключами. Использование возможностей компрессии и шифрования данных вносит совсем незначительные задержку 6мкс. и потому совершенно не влияет на производительность передачи данных.

Как вы помните, в продуктах Brocade 8Gbps появилась новая возможность объединения до трех директоров DCX или DCX-4S в единую высокопроизводительную фабрику при помощи линков ICL (Inter-Chassis Links). Второе поколение ICL в коммутаторах 16Gbps развивает эту идею. И здесь изменения значительны. Во первых, появилась возможность выбора топологии подключения директоров друг к другу. В относительно простых конфигурациях лучшим решением является объединение до трех директоров в топологию “каждый с каждым” (mesh). В SAN, требующих большого количества портов для подключения оконечных устройств, возможна организация топологии “центр-периферия” (core-edge), объединяющая при помощи линков ICL до шести директоров.

Вместо коротких 2м. медных кабелей в новом решении будут использоваться оптические линки длиной до 50м. Модули QSFP (Quad SFP) работают с четырьмя линками 16Gbps, идущими к различным ASIC на платах CR (Core Routing blades). Для обеспечения производительности и отказоустойчивости между директорами возможно подключение по меньшей мере четырьмя ICL, что гарантирует минимальную скорость межкоммутаторных соединений 256Gbps. Транкинг позволяет объединить до 4 ICL в единый агрегированный канал, увеличивая не только общую производительность, но и отказоустойчивость соединения.
Применение в качестве соединений коммутаторов не классических каналов ISL (Inter-Switch Link), а линков ICL позволяет использовать порты директоров только для подключения оконечных устройств. В максимальной конфигурации, отказ от iSL позволяет подключить в SAN на треть (33%) больше портов серверов и дисковых массивов.

Для передачи на скорости 16Gbps, в новых коммутаторах, естественно, будут использоваться новые оптические модули SFP. И в них Brocade тоже реализовала несколько новых инновационных улучшений.
Скорость передачи возрастает за счет увеличения частоты очень коротких лазерных импульсов, Однако, в оптических каналах передачи существует модовая дисперсия, искажающая форму этих импульсов, растягивая их во времени. Идущие друг за другом импульсы начинают накладываться друг на друга и их уже не возможно однозначно детектировать. Именно по этой причине длина оптических кабелей ограничена. При удвоении скорости передачи с 4Gbps до 8Gbps в кабелях OM2, максимальная длина кабеля уменьшилась аж в 3 раза с 150м. до 50м.

Скорость передачи	Максимальная длина кабеля OM1	Максимальная длина кабеля OM2	Максимальная длина кабеля OM3	Максимальная длина кабеля OM4
1Gbps	300	500	860	-
2Gbps	150	300	500	-
4Gbps	50	150	380	400
8Gbps	21	50	150	190
16Gbps	15	35	100	125

В новых SFP 16Gbps используется специальная синхронизирующая схема CDR (Clock and Data Recovery). За счет нее при увеличении скорости передачи с 8Gbps до 16Gbps в кабелях OM3, ограничение максимальной длины кабеля уменьшилась всего лишь в 1,5 раза с 150м. до 100м. Brocade разработала технологию при которой размер и стоимость дополнительной схемы CDR стали достаточно малы и их реализация в SFP практически не влияет на цену модулей.

Переход на новые 16Gbps SFP позволяет на 25% уменьшить энергопотребление в расчете на переданный бит информации. Один порт 16Gbps потребляет всего 0,75Вт, в то время как для работы двух портов 8Gbps необходим 1Вт. Казалось бы различие совершенно незначительно, однако, в масштабах большого ЦОД такое снижение энергопотребления и соответствующее уменьшение тепловыделения позволит несколько снизить операционные затраты на поддержание работы комплекса. Соглашусь, этот параметр не является сколько-нибудь значимым в контексте принятия решения в пользу перехода на новую инфраструктуру 16Gbps, однако все-таки приятен в качестве дополнительного “бонуса”.

С увеличение скорости передачи данных даже небольшие дефекты кабелей или коннекторов становятся критичными. Новый диагностический режим работы портов (D_Ports) позволяет значительно ускорить процесс тестирования кабельной системы, а также поиска и устранения неисправностей в фабрике. Тесты работоспособности модулей SFP, измерения длины кабелей, а также замеры задержек передач и различных метрик производительности выполняются на индивидуальных портах и никак не влияют на работоспособность остальной фабрики. Новая версия FOS 7.0 позволяет запускать тесты как из командной строки, так и применяя графический интерфейс. Расширенные возможности аудита различных событий в логах RASlogs и Audit Logs позволят получать подробную информацию о происходящих в SAN событиях.

Теперь немного о новшествах в администрировании и управлении. И здесь наиболее ярко выделяется новость о появлении давно ожидаемой функциональности динамического выделения ресурсов в фабрике (Dynamic Fabric Provisioning, DFP). Она позволяет значительно ускорить и упростить процесс зонирования и LUN-маскирования новых серверов с 16Gbps HBA, а также избежать перенастройки SAN в случае замены оборудования.
Как это работает? Не обошлось, конечно, без виртуализации. Коммутаторы в фабрике генерируют список возможных виртуальных адресов FA-WWN (Fabric-Assigned Port World Wide Names). Один или несколько FA-WWN назначаются конкретным физически портам. Далее адреса FA-WWN можно использовать для зонирования в фабрике или настройки LUN-маскирования на дисковых массивах.

При подключении сервера к физическому порту коммутатора, его HBA в процессе соединения с фабрикой (FLOGI) получают и назначают себе в качестве WNN виртуальный FA-WWN. Так как все необходимые настройки были сделаны заранее, ресурсы хранения сразу становятся доступны серверу. При замене HBA, новая карта получит и будет работать со старым FA-WWN. Соответственно, никакой перенастройки SAN не понадобится.
Преимущества функциональности DFP в администрировании SAN особенно заметны при использовании в сетях с большим количеством блейд-серверов, коммутаторы которых работают в режиме AG (Acess Gateway).

Мы поговорили о различных замечательных технических новшествах. Однако, сами по себе они вряд ли кому-нибудь нужны.  В чем же заключаются реальные преимущества использования продуктов 16Gbps в комплексах хранения?
Во первых, это, конечно, большая пропускная способность каналов передачи. Однако, здесь сразу следует оговориться. Производительность инфраструктуры SAN является важным фактором не для всех типов задач. Так, большинство OLTP баз данных или Web-приложений очень чувствительны к ограничениям количества операций ввода-вывода и задержкам передачи. В тоже время суммарные объемы генерируемых ими данных не велики и обычно не могут загрузить даже 4Gbps  каналы. Очевидно, что переключение таких серверов на инфраструктуру 16Gbps с точки зрения производительности не даст ни каких преимуществ.

В тоже время существует ряд задач, которым уже тесно в рамках производительности каналов 8Gbps, используемых в настоящее время. Это, конечно, резервное копирование и восстановление данных, класс приложений, которые называют интеллектуальный анализ данных (data mining), а также задачи потоковой обработки данных, например, видео-потоков. Преимущества “широких” каналов 16Gbps очевидны также при миграции данных. Так для переноса 1TB информации теперь понадобится всего лишь 10 минут. Согласитесь, звучит впечатляюще!

Преимущества централизованного администрирования, управления и гибкой доставки приложений в последнее время сделали очень популярной идею использования инфраструктуры виртуальных рабочих мест (Virtual Desktop Infrastructure, VDI). Однако, одновременная загрузка огромного количества пользовательских сессий, например, в начале рабочего дня, создает колоссальную нагрузку на SAN. И здесь использование инфраструктуры 16Gbps может существенно снизить время ожидания и общую удовлетворенность пользователей.

Надо отметить, что количество задач, требовательных к полосе пропускания каналов передачи, неуклонно растет. Усиливающаяся популярность технологий виртуализации, увеличение многопоточности приложений, использование больших объемов памяти RAM, производительных шин PCIe 3.0 и накопителей flash позволяют обрабатывать и передавать огромные потоки данных, что в свою очередь, требует от сети хранения данных все большей и большей производительности.

Увеличение пропускной способности каналов позволяет объединять коммутаторы в сети с требуемым уровнем переподписки, но меньшим количеством ISL. Особенно это актуально для блейд-серверов в которых используются внутренние коммутаторы-лезвия. В центрах обработки данных с большим количеством коммутаторов и блейд-серверов переход части инфраструктуры на 16Gbps коммутаторы значительно упростит работу с кабельной системой в целом (то, что в английской терминологии называется cable management), а также процедуры поиска и устранения неисправностей в SAN. Меньшее количество требуемых портов снижает общую стоимость владения.

Новая продуктовая линейка Brocade включает в себя два директора DCX 8510-8 и 8510-4, коммутатор 6510 и адаптеры 1860, которые могут работать как 16Gbps HBA и как карты 10Gbps Ethernet CNA. Крупные производители оборудования уже поддержали инициативу постепенного перехода на новые 16Gbps технологии. Так, мировой лидер в производстве систем хранения компания EMC самой первой объявила о своей поддержке этих продуктов Brocade в рамках семейства Connectrix.

В начале статьи мы начали говорить о предсказаниях. На самом деле я лукавил, прогнозы в области ИТ в большинстве своем делаются не по расположению звезд и форме кофейной гущи, а на основе “дорожных карт” производителей оборудования и ПО, а также понимания реальных потребностей потребителей.
Воспользуюсь случаем и сделаю и свой собственный прогноз. В течении ближайшего года технологии FC 16Gbps органично займут свою нишу в эволюционном развитии сетей хранения данных. Однако старые технологии 4Gbps и 8Gbps свои позиции сдадут не сразу, а будут вытесняться постепенно с появлением новых задач и ростом нагрузки на каналы передачи данных.
Наступают интересные времена, активное продвижение конвергентных сетей начинает заметно теснить старый добрый Fibre Channel SAN. Актуальная на сегодня задача построения облачных инфраструктур в ближайшие несколько лет подтолкнет потребителей к построению гибридных сетей передачи и хранения данных, включающих в себя как классические FC, так и новые CEE технологии.