Сети - L2. Switch
1. Задержки в сетях Ethernet и не только
2. Сети 10G\40G\100G
3. Максимальная фактическая скорость передачи данных и прочий overhead. Jumbo-frame и польза от них.
4. Устойчивость сети на L2. STP/RSTP, LACP (IEEE 802.3ad). Стекирование - STACK, fabric, VSS, IRF
5. Сегментирование сети - VLAN и DMZ. Рекомендации ведущих сисьководов.
6. RDMA и прочий iWARP с ROCE поверх InfiniBand. Проблема RDMA с Jumbo и кажется Mellanox
7. IEEE P802.1p - QoS
8. 802.1x - секурность, в том числе выпиленный MS NAP. Cisco Identity Services Engine (ISE)
NPE (no payload encryption) и PWE (payload without encryption).
1.Задержки в сетях Ethernet
Storage protocols comparison – Fibre Channel, FCoE, Infiniband, iSCSI? https://edgeoptic.com/storage-protocols-comparison-fibre-channel-fcoe-infiniband-iscsi/
2. 10/40/56/100G сети – обзорно
Проще всего взять из Вики: 40 Gigabit Ethernet (40GbE) and 100 Gigabit Ethernet (100GbE) are groups of computer networking technologies for transmitting Ethernet frames at rates of 40 and 100 gigabits per second (40 and 100 Gbit/s), respectively. The technology was first defined by the IEEE 802.3ba-2010 standard[1] and later by the 802.3bg-2011, 802.3bj-2014,[2] and 802.3bm-2015 standards.[3]
The standards define numerous port types with different optical and electrical interfaces and different numbers of optical fiber strands per port. Short distances over twinaxial cable are supported. 40GBASE-T uses twisted pair cabling for 40 Gbit/s over up to 30 m. https://en.wikipedia.org/wiki/100_Gigabit_Ethernet
Внезапно может быть даже на меди – для 10G кабель 6-й категории, для 40G - кабель 8й категории: 40GBASE-T is a port type for 4-pair balanced twisted-pair Cat.8 copper cabling up to 30 m defined in IEEE 802.3bq
56G Ethernet Mellanox Announces 56G Ethernet Interconnect Solution Family for Data Center Compute and Storage Mellanox Technologies announced its end-to-end, 56-Gigabit Ethernet product line, the world’s highest performing Ethernet-based server and storage interconnect solution.
2.1 InfiniBand – обзорно Для самостоятельного изучения. https://ru.wikipedia.org/wiki/InfiniBand https://en.wikipedia.org/wiki/InfiniBand
Infiniband + intel omnipath https://geektimes.ru/company/intel/blog/288921/
3. Максимальная фактическая скорость передачи данных и прочий overhead. Jumbo-frame и польза от них.
Не написано.
4. Устойчивость сети на L2. STP/RSTP, LACP (IEEE 802.3ad). Стекирование - STACK, fabric, VSS, IRF
4.1 STP/RSTP Для начала читать тут:
и прослушать ICND1/2
Эта группа протоколов – одни из тех, что отлично работают .. если не ломаются. В частности, все будет нормально работать, если у вас везде только один вендор, и все везде настроено, задокументировано и проверено пять раз. В противном случае, скажем двух вендоров, проблемы могут быть там, откуда не ждали. Проблемы могут быть и со скоростью перестроения маршрутов – пока они перестроятся, сеть уже ляжет под бродкастом. Проблемы могут быть и с отдельными коммутаторами – например, управляемый 8-портовый Zyxel при выключенном на нем STP – не пропускает эти пакеты, при этом пропуская бродкасты. Итог – можно легко устроить кольцо и шторм. Поэтому слепо доверять только STP -
spanning-tree portfast / spanning-tree portfast trunk
невозможно, необходимы дополнительные меры защиты – как на портах пользователей / конечного оборудования (в том числе принтеров): - spanning-tree bpduguard / BPDU filter
storm-control broadcast level
storm-control multicast level
storm-control action
так и в глобальной конфигурации -
errdisable recovery cause storm-control
errdisable recovery interval 30
Можно (а временами и нужно) ограничивать порты и более жестко: switchport port-security
switchport port-security violation protect
switchport port-security aging time 30
switchport port-security aging type inactivity
switchport port-security maximum 1
switchport protected
Вот так (ниже) поступать можно .. только если у вас два, максимум три коммутатора. Или же развернут очень активный SNMP мониторинг и вы и без этого текста знаете что делать. Хотя в экзамене этот вопрос именно так и рекомендуют решать:
switchport port-security mac-address sticky
switchport port-security maximum 1
4.2 LACP (IEEE 802.3ad) Link Aggregation Control Protocol (LACP) — протокол, предназначенный для объединения нескольких физических каналов в один логический в сетях Ethernet. Агрегированные каналы LACP используются как для повышения пропускной способности, так и повышения отказоустойчивости. Использование LACP в некоторых случаях позволяет обнаружить повреждённый канал, который бы при использовании обычной статической агрегации обнаружен бы не был. Описывается стандартом IEEE 802.3ad.
Проще говоря - возможность собрать 2,3,4 (можно больше, но не рекомендуется) портов в один логический. Есть маленькое НО: По умолчанию каждый физический канал из логической группы используется под один поток данных. Когда у вас всего один поток, вы все равно получите те же 100/1G.
Поддерживается (в вариациях) много кем – как всеми производителями сетевого оборудования, см. http://www.cisco.com/c/en/us/td/docs/ios/12_2sb/feature/guide/gigeth.html http://xgu.ru/wiki/LACP https://www.juniper.net/documentation/en_US/junos/topics/concept/layer-2-lacp-security-understanding.html
Так и почти всеми серверами. В частности у HP их родные драйвера серверных сетевых карт плюс утилита – позволяют собирать LACP в системе.
Начиная с MS Server 2012 у MS это называется NIC teaming – https://habrahabr.ru/company/microsoft/blog/162509/
VMware отличается некоторой жадностью – VMware supports Link Aggregation Control Protocol (LACP) on vSphere Distributed Switch (VDS) only. https://kb.vmware.com/selfservice/microsites/search.do?language=en_US&cmd=displayKC&externalId=2034277
VDS входит только в Enterprise Plus лицензию http://www.vmware.com/content/dam/digitalmarketing/vmware/en/pdf/whitepaper/vmware-vsphere_pricing-white-paper.pdf
или надо покупать прочие полезности (NSX, vSan).
Вообще сети в Vmware и их свичи – отдельная тема разговора и отдельно рассматривается в базовом курсе по vmware, но сейчас не о том.
БОЛЕЕ ТОГО! LACP в целом в VMWARE нужен совсем не всегда! Смотрите "типовые ошибки при работе с Vmware"
4.3 Стекирование - STACK, fabric, VSS, IRF
Современные коммутаторы надежны. В некоторых из них уже ставят два блока питания (на Cisco была резервная колодка под, кажется, 48 вольт постоянного тока), но все равно – возможен обрыв кабеля, выход из строя блока питания, всего коммутатора и так далее. Все современное сетевое оборудование имеет те или иные варианты обеспечения отказоустойчивости, но ниже будет про коммутаторы. Необходимо как-то обеспечивать надежность связи на уровне самого коммутатора. Выходом является объединение физических коммутаторов одно логическое устройство – стек. У Cisco (и у любителей копипасты и страшных слов в вакансии) это Cisco® StackWise™ and Cisco StackWise Plus http://www.cisco.com/c/en/us/products/collateral/switches/catalyst-3750-series-switches/prod_white_paper09186a00801b096a.html
У моделей поновей - StackWise-480 http://www.cisco.com/c/en/us/products/collateral/switches/catalyst-3850-series-switches/white-paper-c11-734429.html
У ряда производителей это называется fabric. У некоторых – (HPE/HP/H3C/3Com) – IRF (Intelligent Resilient Framework). На старших Cisco (6500) это VSS - Virtual Switching System. У новых Cisco Nexus это vPC, У Dell – не называется никак. http://www.dell.com/downloads/global/products/pwcnt/en/pwcnt_stacking_switches.pdf
В том же ряду находится MLAG, Multichassis Trunking, Multichassis Etherechannel и так далее.
Об отличиях VSS vs VPC (difference between VSS and vPC) можно почитать тут http://mycciedatacenter.blogspot.ru/2013/06/vss-vs-vpc-difference-between-vss-and.html
Примечание: У Cisco ASA и не только используется совсем другая технология – failover http://xgu.ru/wiki/Cisco_ASA_failover
Для роутеров резервирование идет совсем по другому:
HSRP (Hot Standby Router Protocol)
VRRP (Virtual Router Redundancy Protocol):
http://xgu.ru/wiki/HSRP http://xgu.ru/wiki/HSRP_в_Cisco
Отличия для разных производителей свичей будут в настройке и запуске. У Cisco это приоритет. У HP – приоритет и перемаркировка портов. У Nortel / Avaya – вообще переключатель «кто тут главный в стеке». У кого-то можно добавлять устройства «на горячую», у кого то нет. У кого-то стек из 2 не собирается. В каждом случае надо перед покупкой стекируемого оборудования читать документацию.
5. Сегментирование сети - VLAN и DMZ. Рекомендации ведущих сисьководов.
Для понимания «что такое VLAN» надо сначала понять, что такое «домен коллизий» и почему их при современных условиях с одной стороны очень много (по 48 штук на каждый 48-портовый коммутатор), и почему это не имеет значения. Затем перейти к пониманию термина «широковещательный домен». И затем к определению – Каждый VLAN — это отдельный широковещательный домен. Например, коммутатор — это устройство 2 уровня модели OSI. Все порты на коммутаторе с лишь одним VLAN находятся в одном широковещательном домене. Создание дополнительных VLAN на коммутаторе означает разбиение коммутатора на несколько широковещательных доменов. Если один и тот же VLAN настроен на разных коммутаторах, то порты разных коммутаторов будут образовывать один широковещательный домен. http://xgu.ru/wiki/VLAN
Термин DMZ к VLAN –ам вообще не применим. С другой стороны, если между VLAN (с разными ip адресами) есть L3 связь, и на L3 GW есть какие-то ограничения доступа, то можно говорить о построении DMZ.
Кроме VLAN надо помнить о возможности построения Private Vlan – очень полезная и удобная вещь, даже на портах доступа. С своими ограничениями, конечно.
802.1q VLAN и его развитие
Вначале вообще ничего не было, и лишь морзянка и телетайп пролетали через мировой эфир. Затем в 1963-м году возник The Institute of Electrical and Electronics Engineers (IEEE) И в 1983-м году появился IEEE 802.3 standard на Ethernet. Сети росли, росли домены всех видов, появлялся интернет. В 1998 году появился стандарт 802.3ac, в который был добавлен Q-tag для создания 802.1Q VLAN, и еще разное, и теперь в одном кабеле стало можно передавать много VLAN (кстати, еще недавно не все коммутаторы могли вытащить все 4094 VLAN). Через какое-то время плотность и скорость передачи данных выросла, и протокол опять расширили – появился IEEE 802.1ad QinQ – например, для передачи тегированного трафика клиента через сеть оператора/провайдера/Metro Ethernet network topologies (хотя там используется и много чего еще - VLAN Translation например, да и у старшей Avaya что-то было, надо бы дописать). https://www.juniper.net/documentation/en_US/junos/topics/concept/qinq-tunneling-qfx-series.html
Проблемы у Allied telesis / Dlink SPANTREE-7-RECV_1Q_NON_TRUNK: Received 802.1Q BPDU on non trunk FastEthernet0/24 http://hobbymods.ru/index.php?dn=article&to=art&id=82
6. RDMA и прочий iWARP с ROCE поверх InfiniBand
Про это надо писать отдельную статью.
7. IEEE P802.1p - QoS
Разбирается в курсах Cisco.
8. 802.1x - секурность, в том числе выпиленный MS NAP
Вынесено куда-то отдельно, потом ссылку проставлю.
Last updated