что такое точка обмена трафиком

Что такое точка обмена интернет-трафиком (IXP)?

Точка обмена интернет-трафиком (IXP) — это физическое здание, через которое компании инфраструктуры интернета, такие как поставщики интернет-услуг (ISP) и CDN, соединяются друг с другом. Эти места существуют на «краю» различных сетей, и позволяет провайдерам обмениваться трафиком за пределами своей сети. Благодаря присутствию внутри точки обмена интернет-трафиком, компании могут сократить путь транзита из других участвующих сетей, тем самым сокращая задержки, улучшая время в пути туда и обратно и потенциально снижая затраты.

Как работает точка обмена данными в интернете

По своей сути IXP — это одно или несколько физических расположений, содержащих сетевые коммутаторы, которые маршрутизируют трафик между различными сетями-членами. С помощью различных методов эти сети совместно покрывают расходы на поддержание физической инфраструктуры и связанных с ней услуг. Аналогично тому, как начисляются расходы при перевозке грузов через сторонние пункты, когда трафик передается через различные сети, иногда эти сети взимают деньги за доставку. Чтобы избежать этих затрат и других недостатков, связанных с отправкой трафика через стороннюю сеть, компании-члены связываются друг с другом через IXP, чтобы сократить расходы и уменьшить задержки.

IXP являются большими LAN уровня 2 (модели сети OSI), которые построены с одним или многими коммутаторами Ethernet, соединенными вместе через одно или несколько физических зданий. IXP ничем не отличается в базовой концепции от домашней сети, с единственной реальной разницей в масштабе. Точки обмена трафиком могут варьироваться от 100мб/с до многих тб/с. Независимо от размера, их основная цель состоит в том, чтобы убедиться, что маршрутизаторы многих сетей соединены вместе чисто и эффективно. Для сравнения, дома у кого-то обычно есть только один маршрутизатор и много компьютеров или мобильных устройств.
За последние двадцать лет произошло значительное расширение сетевых соединений, параллельно с огромным расширением глобального интернета. Это расширение включает в себя новые объекты центра обработки данных, разрабатываемые для размещения сетевого оборудования. Некоторые из этих центров обработки данных привлекли огромное количество сетей, в немалой степени благодаря процветающим точкам обмена данными интернет-трафиком, которые работают в них.

Почему важны точки обмена интернет?

Без IXP трафик, идущий от одной сети к другой, полагался бы на промежуточную сеть для переноса трафика от источника до назначения. Они называются транзитными поставщиками. В некоторых ситуациях нет никаких проблем с этим: это то, как большая часть международного интернет-трафика течет, поскольку поддержание прямых соединений с каждым провайдером в мире стоит непомерно дорого. Однако использование магистрального интернет-провайдера, для передачи локального трафика, может отрицательно сказаться на производительности, иногда из-за магистрального оператора, отправляющего данные в другую сеть в совершенно другом городе. Эта ситуация может привести к тому, что известно, как тромбонинг, где в худшем случае трафик из одного города, предназначенного для другого провайдера в том же городе, может проделывать огромные расстояния для обмена, а затем вернуться. CDN с присутствием IXP имеет преимущество оптимизации пути, через который проходят потоки данных в его сети, сокращая неэффективные пути.

BGP, магистральный протокол интернета

Сети общаются друг с другом с помощью протокола BGP (Border Gateway Protocol). Этот протокол позволяет сетям четко разграничивать внутренние требования и конфигурации сети. Все пиринги на IXP используют BGP.

Как поставщики делят трафик между различными сетями?

Транзит

Соглашение между клиентом и его вышестоящим поставщиком. Транзитный провайдер предоставляет своим клиентам полное подключение к остальной части интернета. Транзит — платная услуга. Протокол BGP используется, чтобы позволить IP-адресам клиента быть объявленными к транзитному провайдеру и затем к остальной части глобального сети.

Пиринг

Соглашение между провайдерами на совместное использование IP-адреса, без посредника между ними. В пунктах обмена интернет-трафиком затраты, на передачу данных между участвующими сетями, отсутствуют. Когда трафик передается бесплатно из одной сети в другую, связь называется пирингом.

Пиринг против оплачиваемого транзита

К сожалению, для некоторых сетей, передача данных не всегда без затрат. Например, крупные сети с относительно равной долей рынка с большей вероятностью будут взаимодействовать с другими крупными сетями, но могут взимать плату за услуги пиринга с меньших сетей. В одном IXP компания-член может иметь различные договоренности с несколькими различными членами. В подобных случаях компания может настроить протоколы маршрутизации таким образом, чтобы обеспечить оптимизацию для снижения затрат или задержки с помощью протокола BGP.

Deepering

Со временем отношения могут меняться, и иногда сети больше не хотят делиться бесплатным соединением. Когда сеть решает закончить их пиринговое расположение, они проходят через процесс, называемый deepering. Депиринг может произойти по целому ряду причин, таких как, когда одна сторона выигрывает больше, чем другая из-за плохих коэффициентов трафика, или когда сеть просто решает начать взимать деньги с другой стороны. Этот процесс может быть очень эмоциональным, и отвергнутая сеть может намеренно нарушить трафик другой стороны после прекращения пиринговых отношений.

На видео: Можно ли поломать интернет?

Как IXP использует BGP

Через локальную сеть IXP, различные провайдеры в состоянии создать индивидуальные соединения с помощью протокола BGP. Этот протокол был создан, чтобы позволить разрозненным сетям объявлять свои IP-адреса друг другу, плюс IP-адреса, которые они предоставили подключение к нисходящим (т. е. их клиентам). Как только две сети настроили сеанс BGP, их маршруты меняются и трафик может протекать непосредственно между ними.

Соединение IXP или PNI

Две сети могут считать свой трафик достаточно важным, чтобы перейти от общей инфраструктуры точки обмена интернет-трафиком к выделенному соединению между двумя сетями. PNI (соединение частной сети) — это просто темное оптоволоконное соединение (обычно в пределах одного центра обработки данных или здания), которое напрямую соединяет порт в сети A с портом в сети B. BGP почти идентичен общей настройке пиринга IXP.

Источник

Точка обмена трафиком: от истоков к созданию собственной IX

«We set up a telephone connection between us and the guys at SRI. », Kleinrock… said in an interview:
«We typed the L and we asked on the phone, „Do you see the L?“»
«Yes, we see the L,» came the response.
«We typed the O, and we asked, „Do you see the O.“»
«Yes, we see the O.»
«Then we typed the G, and the system crashed»…

Yet a revolution had begun.

The beginning of the internet.

Меня зовут Александр, я сетевой инженер в компании Linxdatacenter. В сегодняшней статье речь пойдет про точки обмена трафиком (Internet Exchange Point, IXP): о том, что предшествовало их появлению, какие задачи они решают и как строятся. Также в данной статье я продемонстрирую принцип работы IXP с помощью платформы EVE-NG и программного маршрутизатора BIRD, чтобы было понимание, как это работает «под капотом».

Немного истории

Если посмотреть сюда, то можно заметить, что бурный рост количества точек обмена трафиком начался в 1993 году. Это связано с тем, что большинство трафика существовавших на тот момент операторов связи проходило через backbone-сеть США. Так, например, когда трафик шел от оператора во Франции до оператора в Германии, он из Франции сначала попадал в США, и только потом из США в Германию. Backbone-сеть в данном случае выступала транзитом между Францией и Германией. Даже трафик внутри одной страны часто проходил не напрямую, а через опорные сети американских операторов.

Такое положение вещей сказывалось не только на стоимости доставки транзитного трафика, но и на качестве каналов и задержке. Количество пользователей сети Интернет увеличивалось, появлялись новые операторы, объем трафика возрастал, интернет взрослел. Операторы по всему миру начали понимать, что нужен более рациональный подход к организации межоператорского взаимодействия. «Зачем мне, оператору А, платить за транзит через другую страну, чтобы доставить трафик оператору Б, который располагается на соседней улице?». Примерно такой вопрос задавали себе операторы связи в то время. Так, в разных частях мира в точках концентрации операторов начали появляться точки обмена трафиком:

Интернет и наши дни

Концептуально архитектура современного интернета представляет из себя множество автономных систем (autonomous system, AS) и множество связей между ними, как физических, так и логических, которые определяют путь прохождения трафика от одной AS к другой.

В качестве AS обычно выступают операторы связи, интернет-провайдеры, CDN, дата-центры, компании энтерпрайз сегмента. AS организуют логические связи (peering) между собой, как правило, средствами протокола BGP.

То, как автономные системы организуют эти связи, определяется рядом факторов:

Схематически это можно представить так:

На данной картинке видно, что трафик агрегируется снизу вверх, т.е. от конечных пользователей к tier-1 операторам. Также имеет место горизонтальный обмен трафиком между примерно равнозначными между собой AS.

Неотъемлемой частью и одновременно недостатком данной схемы является некая беспорядочность связей между автономными системами, располагающимися ближе к конечному пользователю, в пределах географической зоны. Рассмотрим картинку ниже:

Предположим, что в крупном городе присутствует 5 операторов связи, пиринг между которыми, по тем или иным причинам, организован, как показано выше.

Если пользователь Петя, подключенный к интернет-провайдеру Go, захочет получить доступ к серверу, подключенному к провайдеру ASM, то трафик между ними будет вынужден проходить через 5 автономных систем. Таким образом увеличивается задержка, т.к. увеличивается количество сетевых устройств, через которые пойдет трафик, а также объем транзитного трафика на автономных системах между Go и ASM.

Как сократить количество транзитных AS, которые вынужден проходить трафик? Правильно – точка обмена трафиком.

В наши дни появление новых IXP обусловлено все теми же потребностями, что и в начале 90-х-2000-х, только в более мелком масштабе, в ответ на увеличивающееся количество операторов связи, пользователей и трафика, растущее количество контента, генерируемого CDN-сетями и дата-центрами.

Что такое точка обмена трафиком?

Точка обмена трафиком – это место со специальной сетевой инфраструктурой, где заинтересованные во взаимном обмене трафиком участники, организуют взаимный пиринг. Основные участники точек обмена трафиком: операторы связи, интернет-провайдеры, провайдеры контента и дата-центры. В точках обмена трафиком участники соединяются между собой напрямую. Это позволяет решить следующие задачи:

Если вышеописанную ситуацию с Петей решать с помощью IXP, то получится примерно так:

Как устроена точка обмена трафиком?

Как правило, IXP – это отдельная AS со своим блоком публичных IPv4/IPv6 адресов.

Сеть IXP чаще всего представляет из себя сплошной L2 домен. Иногда это просто VLAN, в котором размещаются все клиенты IXP. Когда же речь идет о более крупных, географически распределенных IXP, то для организации L2 домена могут использоваться такие технологии, как MPLS, VXLAN и т.д.

Элементы IXP

Например, хорошей практикой является пропуск трафика только с определенного mac-адреса участника IXP, который обговаривается заранее. Запрет трафика с полями ethertype, отличающимися от 0x0800(IPv4), 0x08dd(IPv6), 0x0806(ARP); это делается для того, чтобы отфильтровать трафик, которому нет места при BGP-пиринге. Также могут применяться такие механизмы как GTSM, RPKI и т.д.

Пожалуй, вышеперечисленное – это основные составляющие любой IXP вне зависимости от масштаба. Конечно, у крупных IXP могут применяться дополнительные технологии и решения.
Бывает, что IXP также предоставляет своим участникам дополнительные сервисы:

Принцип работы

Разберем принцип работы точки обмена трафиком на примере простейшей IXP, смоделированной средствами EVE-NG, а после рассмотрим базовую настройку программного маршрутизатора BIRD. Для упрощения схемы мы опустим такие важные вещи, как резервирование и отказоустойчивость.

Топология сети представлена на рисунке ниже.

Предположим, что мы администрируем небольшую точку обмена трафиком и предоставляем следующие варианты пиринга:

50.50.50.254 – IP-адрес, настроенный на интерфейс route server’а, с данным IP клиенты будут устанавливать BGP-сессию в случае пиринга через RS.

Также для пиринга через RS мы разработали простейшую политику маршрутизации на основе BGP community, которая дает возможность участникам IXP регулировать кому и какие маршруты отправлять:

К нашей IXP желают подключиться и обменяться трафиком 3 клиента; допустим, это интернет-провайдеры. Все они желают организовать пиринг через route server. Ниже представлены схема с параметрами подключения клиентов:

Базовая настройка BGP на маршрутизаторе клиента:

Здесь стоит отметить настройку no bgp enforce-first-as. По умолчанию, BGP требует, чтобы в as-path принимаемого BGP апдейта, присутствовал номер as bgp пира, от которого данный апдейт был получен. Но поскольку route server не вносит изменения в as-path, его номер будет отсутствовать в as-path и апдейт будет отброшен. Данная настройка применяется, чтобы маршрутизатор начал игнорировать данное правило.

Также мы видим, что клиент установил bgp community 555:555 на данный префикс, что согласно нашей политике означает, что клиент хочет анонсировать данный префикс всем остальным участникам.

Для маршрутизаторов остальных клиентов настройка будет аналогичная, за исключением их уникальных параметров.

Пример конфигурации BIRD:

Далее описывается фильтр, который не принимает martians префиксы, а также префиксы самой IXP:

Данная функция реализует политику маршрутизации, которую мы описали ранее.

Настраиваем пиринг, применяем соответствующие фильтры и политики.

Стоит отметить, что на route server’e является хорошим тоном складывать маршруты от разных пиров в разные RIB. BIRD позволяет это делать. В нашем же примере для простоты все апдейты, принятые от всех клиентов, складываются в одну общую RIB.

Итак, проверим, что у нас получилось.

На route server’e видим, что со всеми тремя клиентами установлена BGP-сессия:

Видим, что мы получаем префиксы от всех клиентов:

На маршрутизаторе as 100 видим, что при наличии всего одной BGP-сессии с сервером маршрутов, мы получаем префиксы и от as 200 и от as 300, при этом BGP-атрибуты не поменялись, как если бы пиринг между клиентами осуществлялся напрямую:

Таким образом мы видим, что наличие сервера маршрутов значительно упрощает организацию пиринга на IXP.

Надеюсь, что данная демонстрация помогла вам лучше понять, как устроены точки обмена трафиком и как реализуется работа сервера маршрутов на IXP.

Linxdatacenter IX

В Linxdatacenter мы построили собственную IXP на базе отказоустойчивой инфраструктуры из 2-х коммутаторов и 2-х route-серверов. Сейчас наша IXP запущена в тестовом режиме, и мы приглашаем всех желающих подключиться к Linxdatacenter IX и принять участие в тестировании. При подключении вам будет предоставлен порт с пропускной способностью 1 Gbit/s, возможность пиринга через наши route-сервера, а также доступ в личный кабинет IX-портала, доступного по адресу ix.linxdatacenter.com.

Пишите в комментарии или личные сообщения для получения доступа к тестированию.

Вывод

Точки обмена трафиком возникли на заре интернета как инструмент решения вопроса неоптимального прохождения трафика между операторами связи. Сейчас с появлением новых глобальных сервисов и увеличением количества CDN трафика точки обмена все также продолжают оптимизировать работу глобальной сети. Увеличение количества IXP в мире несет пользу как для конечного пользователя сервиса, так и для операторов связи, операторов контента и т.д. Для участников IXP выгода выражается в сокращении расходов на организацию внешних пирингов, сокращении количества трафика, за который приходится платить вышестоящим операторам, оптимизации маршрутизации, возможности иметь прямой стык с операторами контента.

Источник

Своя точка обмена трафиком в дата-центре. Часть 1. Как это устроено

В 90-е, когда российский интернет только зарождался, провайдерам из одного города приходилось обмениваться трафиком через Европу и платить за него транзитным и вышестоящим операторам (аплинкам). Конечный пользователь в итоге получал высокие цены на доступ в Интернет, ограничения по объему доступного трафика, большим временем отклика веб-ресурсов. Чтобы не гонять национальный трафик по заграничным городам и весям, местные провайдеры стали объединяться и создавать точки обмена трафиком в крупных городах.

Сегодня речь пойдет о них: расскажем, зачем нам понадобилась собственная точка обмена трафиком DataLine-IX, как она устроена, и поделимся первыми результатами.

Провайдеры ISP-A и ISP-B обмениваются трафиком своих сетей через точку обмена трафиком. Без нее обмен происходил бы через “большой” Интернет.

Точка обмена Интернет-трафиком (Internet Exchange Point, IX) – это инфраструктура, позволяющая автономным системам обмениваться трафиком (пиринг) напрямую, в обход вышестоящих операторов связи (аплинков). Пиринг помогает участникам IX сократить маршруты передачи пакетов между сетями и снизить затраты на трафик. Если нужно соединиться сразу c нескольким участниками, то через точку обмена трафиком это сделать проще: вместо отдельного коннекта к каждому участнику – один к IX, где эти участники присутствуют. Это организационная сторона. Финансово участник IX тоже выигрывает за счет экономии на каналах и закупке трафика у аплинков.

Для конечного пользователя плюсы тоже есть: уменьшаются сетевые задержки, сокращается время отклика ресурсов в Интернете.

Точки обмена трафиком – вещь позитивная. Чем их больше, тем лучше связность Интернета и тем он доступнее для конечного пользователя.

Первые точки обмена трафиком начали появляться с 1994 г. в крупных европейских городах: Лондоне (LINX), Франкфурте (DE-CIX), Амстердаме (AMS-IX), Москве (MSK-IX). Сейчас во всем мире работает около 580 IX.

Крупнейшие точки обмена трафиком в России. Источник:internetexchangemap.com

Когда в 2015 году мы задумались над собственной точкой обмена трафиком, в наших дата-центрах уже присутствовало более 40 операторов (сейчас их 53). Работала Meet-Me-Room, упрощающая подключение к любому оператору на наших площадках. Своя точка обменом трафиком дала бы еще больше возможностей для наших клиентов, особенно для интернет-провайдеров и контент-генераторов (игровые сервисы, CDN, видео-хостинги, медиа, соцсети):

Как это работает

Инфраструктура точки обмена трафиком DataLine-IX распределена по двум площадкам – OST и NORD.

На двух площадках работают 6 коммутаторов Extreme BlackDiamond X8. Два из них связывают дата-центры в единую сеть и формируют ядро сетевой инфраструктуры DataLine-IX (Core). К ядру подключаются по два узла доступа (Access) с каждой площадки. Новые участники присоединяются к точке обмена трафиком через эти узлы доступа.

Между узлами ядра организовано 8 линков по 10G, которые объединены в логический канал с суммарной пропускной способностью 80 Gbps. Пропускная способность каналов, соединяющих ядро и узлы доступа, – 40 G.

Топология точки обмена трафиком DataLine-IX.

Один из Extreme BlackDiamond X8 на площадке OST.

На одном шасси коммутатора BlackDiamond X8 может работать 768 портов 10 GbE (7.68 Tbps) или 192 порта 40 GbE (7.68 Tbps). По умолчанию для подключения новых участников мы используем 10 GbE порты, но по запросу можем предоставить 40 и 100 GbE порты. Вот все доступные стандарты подключения:

Серверы маршрутизации развернуты на двух серверах Huawei RH1288 V2-8S с UNIX-based средой.

Cервер маршрутизации.

Инфраструктура точки обмена трафиком объединяет участников в единый широковещательный домен (L2-домен), поэтому велик риск широковещательных штормов из-за мусорного BUM-трафика (broadcast, unknown destination address, multicast). Как минимум, шторм может привести к снижению пропускной способности каналов участников. В худшем сценарии будет потеряна связь с сервером маршрутизации, оборвутся BGP-сессии и вся инфраструктура IX накроется. Чтобы DataLine-IX не заштормило, мы используем многоуровневую защиту от BUM-трафика, ограничивая трафик следующим образом:

Для новых участников IX действуют стандартные правила по настройке:

Способы подключения к DataLine-IX

Новые участники могут выбрать следующие варианты подключения к DataLine-IX:

Схема общего пиринга.

Схема прямого пиринга.

Схема подключения через выделенный VLAN.

Схема подключения p2p.

Что дальше?

DataLine-IX пока еще на самом раннем этапе развития. На текущий момент у нас 38 участников, суммарное число маршрутов – 6889. Помимо наращивания числа участников, в ближайших планах – организация узлов доступа на внешних площадках.

Статистика DataLine-IX на ru.map-ix.net

Статистика участников DataLine-IX по по роду деятельности.

Задавайте вопросы в комментариях, если что-то интересное осталось за кадром. Во второй части расскажем про полезные инструменты DataLine-IX для управлениями исходящими и входящими анонсами, защиты от DDoS-атак.

Источник