Почему ценность сети растет во все более цифровом мире

Когда-то сеть была ИТ-ресурсом, на который мало кто обращал внимание. Многие считали сеть «трубами» или «водопроводом» компании и считали ее товаром. Это мнение меняется, поскольку важность сети быстро растет по мере …

Cambium запускает новую систему управления беспроводной сетью

Данные передаются через многочисленные проводные и беспроводные сети, и все эти разрозненные информационные каналы используются каждый час и каждый день и требуют управления. Таким образом, бизнес, который в значительной степени полагается …

Пять способов, которыми Cisco Systems открывает открытое будущее

С момента своего основания в 1984 году миссия Cisco Systems заключалась в том, чтобы с помощью технологий изменить то, как мы работаем, живем, учимся и играем. Сеть, центр обработки данных, продукты …

0 Comments


Это было 2 июня 1897 года, когда автор Марк Твен отправил телеграмму из Лондона в американскую прессу после того, как увидел, что его некролог был опубликован в New York Journal. Он состоял из теперь известной строки: «Сообщения о моей смерти сильно преувеличены».

Есть сетевая параллель. Если бы сетевой протокол InfiniBand был человеком, то это был бы Марк Твен, потому что люди годами предсказывали его смерть. Я вспоминаю, что около 15 лет назад стартап Force10 (приобретенный Dell в 2015 году) объявил, что его новый коммутатор Ethernet с низкой задержкой станет похоронным звоном для InfiniBand. Едва.

Спустя годы этот нишевый рынок все еще жив. По данным IDC, в 2019 году рынок InfiniBand составлял немногим более 200 миллионов долларов. Хотя это лишь небольшая часть всего рынка коммутаторов Ethernet, он определенно не мертв. Учитывая многие современные тенденции в центрах обработки данных, я предсказываю, что InfiniBand будет расти в подростковом возрасте до 2025 года.

Чтобы лучше понять, что поддерживало актуальность InfiniBand и почему оно будет продолжаться, я недавно взял интервью у Гилада Шайнера, старшего вице-президента InfiniBand Networking для NVIDIA. (на фото), которая недавно приобрела поставщика InfiniBand Mellanox.

Зевс: Похоже, что пока существует сеть, были некоторые предположения, что Ethernet убьет InfiniBand. Вы наблюдаете снижение интереса к InfiniBand?

Гилад: Сердце центра обработки данных – это сеть, которая соединяет все вычислительные элементы и элементы хранения. Чтобы эти элементы работали вместе и образовывали то, что мы называем суперкомпьютером – для исследований, облачных рабочих нагрузок или глубокого обучения, – сеть должна быть очень эффективной и чрезвычайно быстрой. InfiniBand – это стандартная отраслевая технология, которая была (и продолжает развиваться) с целью создания высокомасштабируемой чисто программно-определяемой сети (SDN).

Еще в 2003 году он соединил один из трех лучших суперкомпьютеров в мире. Согласно списку суперкомпьютеров TOP500 за июнь 2020 года, InfiniBand теперь соединяет семь из 10 лучших суперкомпьютеров в мире. InfiniBand стал де-факто стандартом для высокопроизводительных вычислительных систем, широко применяется для инфраструктур глубокого обучения и все чаще используется для гипермасштабируемых облачных центров обработки данных, таких как Microsoft Azure. Преимущества производительности, масштабируемости и эффективности InfiniBand продолжают способствовать его растущему и активному внедрению, поскольку это лучшая технология для приложений, интенсивно использующих вычисления и данные.

Мы не наблюдаем замедления роста InfiniBand; на самом деле мы видим прямо противоположное. Мы видим, что клиенты, которые ранее использовали Ethernet или другие сетевые технологии, теперь переходят на InfiniBand для соединения своих новых центров обработки данных и используют сильные стороны InfiniBand для более быстрого анализа данных, что приводит к ускорению вывода на рынок и более эффективному использованию их ИТ-расходов.

Zeus: В чем преимущества InfiniBand?

Гилад: InfiniBand предоставляет ряд ключевых преимуществ. Это сеть с полной транспортной разгрузкой, что означает, что все сетевые операции управляются сетью, а не ЦП. Это наиболее эффективный сетевой протокол, что означает возможность передавать больше данных с меньшими накладными расходами. InfiniBand также имеет гораздо меньшую задержку, чем Ethernet, и, что наиболее важно, он включает механизмы обработки внутри сети, которые ускоряют обработку данных для глубокого обучения и высокопроизводительных вычислений. Это ключевые технологические преимущества для любого приложения, требующего больших объемов вычислений и данных. Вот почему InfiniBand стал общепринятым стандартом для высокопроизводительного научного моделирования и моделирования продуктов.

Zeus: Можете ли вы привести несколько примеров отраслей, принявших InfiniBand?

Гилад: Большинство, если не все производители автомобилей и самолетов, используют InfiniBand как часть своих проектов. Многие биологические компании используют InfiniBand для своих исследовательских сетей, и мы наблюдаем значительный рост их активности в рамках глобальной борьбы с COVID-19. Нефтегазовые компании, такие как ENI, Total и BP, используют InfiniBand для анализа разведки и сейсмического моделирования.

InfiniBand также ускоряет работу многих ведущих мировых правительственных и исследовательских центров, таких как Национальная лаборатория Ок-Ридж, Ливерморская национальная лаборатория, Юлихский суперкомпьютерный центр, НАСА, Национальные институты здравоохранения и многие другие.

InfiniBand также становится предпочтительной технологией подключения для систем глубокого обучения. Он является неотъемлемой частью платформ NVIDIA DGX 100 и SuperPOD, которые используются Continental и AIST (облачная инфраструктура искусственного интеллекта Японии). Microsoft Azure внедрила InfiniBand для ускорения высокопроизводительных облачных экземпляров Azure, и мы наблюдаем более широкое внедрение на других облачных гипермасштабируемых платформах. Более того, компании-производители встраиваемых платформ приняли InfiniBand из-за его преимуществ в эффективности и рентабельности. Примером является Cadence, где InfiniBand используется для их кремниевых эмуляционных систем Palladium.

Мы живем в мире данных, и чем быстрее вы их проанализируете, тем большего вы сможете достичь. InfiniBand – ключевая технология для выполнения этой задачи, и компании практически во всех отраслях полагаются на нее.

Zeus: Ethernet и InfiniBand, похоже, имеют одинаковую скорость. Почему, учитывая популярность Ethernet, он не взял верх?

Гилад: InfiniBand и Ethernet используют схожие физические сетевые технологии, что на самом деле означает схожие элементы сериализатора / десериализатора (SerDes), которые преобразуют данные между последовательными интерфейсами и параллельными интерфейсами в обоих направлениях. Сегодня и InfiniBand, и Ethernet используют одну и ту же технологию SerDes 50 Гбит / с и, следовательно, имеют одинаковую скорость сети. InfiniBand обычно упаковывает четыре SerD в порт сетевого адаптера или порт коммутатора, обеспечивая скорость HDR 200 Гбит / с (спецификация InfiniBand позволяет упаковать до 12 SerD вместе). В Ethernet мы видим те же четыре конфигурации порта адаптера SerDes 50 Гбит / с (порты 200 Гбит / с), а спецификация Ethernet позволяет упаковать 8 из этих SerDes для порта коммутатора уровня агрегации (то есть только для связи между коммутаторами) , что дает 400 Гбит / с. Но это та же скорость передачи данных для SerDes или для каждой линии связи. Это не ново; InfiniBand и Ethernet уже много лет используют одну и ту же скорость передачи данных.

Благодаря своим чисто программно-определяемым сетевым преимуществам InfiniBand неоднократно был первым на рынке, предлагающим сквозное развертывание новой скорости сети, которая действительно является важной частью. InfiniBand был первым на 100G, сначала на 200G и, вероятно, первым на 400G. Кроме того, вы можете соединить несколько портов коммутатора вместе в InfiniBand для достижения гораздо более высокой пропускной способности между коммутаторами, а это невозможно сделать с помощью Ethernet. Также важно отметить, что более высокая эффективность сети, увеличение задержки в 3 раза и эффективная обработка данных на основе сети – преимущества InfiniBand по сравнению с любой другой сетью – не менее важны для подключения центра обработки данных. Оба они полезны, но главное – Ethernet не взял верх.

Zeus: InfiniBand также имеет ряд других функций, которые делают его превосходным в сложных условиях. Вы можете пройти по некоторым из них?

Гилад: Технология InfiniBand основана на четырех основных принципах:

Первый фундамент – это дизайн очень умной конечной точки. Конечная точка, которая может выполнять и управлять всеми сетевыми функциями (в отличие от Ethernet) и, следовательно, увеличивать время ЦП или ГП, которое может быть выделено для реальных приложений. Поскольку конечная точка расположена рядом с памятью CPU / GPU, она также может очень эффективно и рационально управлять операциями с памятью; например, через RDMA или GPUDirect RDMA.

Вторая основа – это сеть коммутаторов, рассчитанная на масштабирование. Это чисто программно-определяемая сеть (SDN). Коммутаторам InfiniBand не требуется встроенный сервер в каждое устройство коммутатора для управления коммутатором и запуска его операционной системы (как это необходимо в случае коммутаторов Ethernet). Это делает InfiniBand лидирующей сетевой структурой по экономичности по сравнению с Ethernet или любой другой частной сетью. Это также позволяет использовать уникальные технологические инновации, такие как внутрисетевые вычисления, для выполнения вычислений данных по данным, которые передаются в сети. Важным примером является технология Scalable Hierarchical Aggregation and Reduction Protocol (SHARP) ™, которая продемонстрировала значительное улучшение производительности для научных фреймворков и структур приложений глубокого обучения.

Централизованное управление – третий фундаментальный фактор. Можно управлять, контролировать и управлять сетью InfiniBand из одного места. Можно спроектировать и построить любую топологию сети, а также настроить и оптимизировать сеть центра обработки данных для целевых приложений. Нет необходимости создавать несколько разных коммутаторов для разных частей сети, и нет необходимости иметь дело с таким количеством сложных сетевых алгоритмов. InfiniBand был создан для повышения производительности с одной стороны и снижения операционных затрат с другой.

И последнее, но не менее важное: InfiniBand – это стандартная технология, обеспечивающая обратную и прямую совместимость, с открытым исходным кодом и открытыми API.

Объединение всех этих принципов вместе дает вам сеть с высочайшей производительностью, которая очень экономична и проста в управлении.

Зевс: Что еще нужно знать нашим читателям?

Гилад: Наше будущее зависит от того, насколько быстро мы сможем анализировать собираемые данные и как быстро мы сможем решать сложные проблемы. Это могут быть такие вещи, как поиск лекарств от болезней, моделирование и прогнозирование штормов, создание более безопасных автомобилей, поиск лучших источников энергии и повышение безопасности нашей страны. Для искусственного интеллекта и высокопроизводительного моделирования требуется самая быстрая сеть с наименьшей задержкой и возможность предварительной обработки данных до того, как они попадут на графический процессор или процессор. Это требует, чтобы сеть была чрезвычайно надежной и устойчивой. Это характеристики InfiniBand. InfiniBand – это матрица без потерь, что означает, что она не отбрасывает пакеты, как это делают другие сети. InfiniBand – это сеть, которая обеспечивает следующее поколение инфраструктуры и приложений центров обработки данных.

Важно отметить, что InfiniBand и Ethernet нельзя использовать вместе. Центры обработки данных, подключенные к InfiniBand, могут быть легко подключены к внешним сетям Ethernet через шлюзы InfiniBand-to-Ethernet с малой задержкой. InfiniBand также предлагает возможность подключения на большие расстояния от нескольких десятков миль до тысяч миль, что позволяет соединять удаленные центры обработки данных вместе.

Наряду со всеми вышеперечисленными преимуществами InfiniBand также обеспечивает преимущества в плане затрат и производительности, его проще развертывать и проще масштабировать. InfiniBand сегодня опережает всех и дает конкурентное преимущество людям, которые его используют.

Зевс Керравала регулярно участвует в eWEEK, а также является основателем и главным аналитиком ZK Research. Он проработал 10 лет в Yankee Group, а до этого занимал ряд корпоративных ИТ-должностей.

Author

bodronik@meta.ua

Leave a Reply

Your email address will not be published. Required fields are marked *