По результатам дебага на сети клиента.
Теорема:
Коммутаторы DGS-1510/ME не корректно обрабатывают пакеты DHCP Offer: при поступлении пакета на Uplink DGS-1510XS/ME рассылает этот пакет на все порты, не смотря на то, что пакет unicast; если к такому коммутатору подключен коммутатор той же серии, например, DGS-1510-10L/ME, он так же разошлет исходный DHCP Offer на все свои порты, в том числе и в порт источника. В результате шторма fdb всех коммутаторов сети получают некорректные данные, согласно которым MAC источника DHCP Offer находится не в ядре а за последней милей DGS-1510-10L/ME. Т.к. MAC источника по совместительству является адресом основного шлюза в данном влане, весь трафик влана направляется в последнюю милю, вызывая апокалипсис.
Заблуждения:
В патч-ноутах к последней прошивке 1.30.B016 от 2.04.2018 указано исправление этой баги:
- Исправлена проблема с высокой загрузкой CPU при опросе коммутатора по SNMP.
- Исправлена проблема с передачей DHCP Offer в порт, с которого он был получен.
Доказательство:
Видео 15 минут (cкрыто)
Логи используемые в видео 1510XS.log 3028-4.log 3200-10-3.log 1510-10L-8.log 1510-10L-11.txt 1510-10L-13.log
Схема дампа трафика Схема Космонавты.vsd
Порядок дампа:
- Сеть в рабочем состоянии, сохранили fdb DGS-1510-28XS/ME
DGS-1510-28XS/ME:admin#sh fdb vlan Management
Command: show fdb vlan Management
VID VLAN Name MAC Address Port Type Status
---- -------------------------------- ----------------- ----- ------- -------
10 Management 00-06-F4-32-CF-78 25 Dynamic Forward
10 Management 00-0E-26-FF-D5-BE 25 Dynamic Forward
10 Management 00-0E-26-FF-DF-90 25 Dynamic Forward
10 Management 00-0E-26-FF-E3-84 25 Dynamic Forward
10 Management 00-1B-11-97-74-9A 25 Dynamic Forward - DES-7210 default gw 172.16.100.100
10 Management 00-21-91-9C-14-00 25 Dynamic Forward
10 Management 00-21-91-C0-2A-00 25 Dynamic Forward
10 Management 00-21-91-C0-3A-00 25 Dynamic Forward
10 Management 00-21-91-C2-04-00 25 Dynamic Forward
10 Management 00-22-B0-04-53-33 25 Dynamic Forward
10 Management 00-22-B0-04-5E-6D 25 Dynamic Forward
10 Management 00-22-B0-1A-3A-00 25 Dynamic Forward
10 Management 00-22-B0-1D-B9-00 25 Dynamic Forward
10 Management 00-22-B0-50-F6-92 25 Dynamic Forward
10 Management 00-22-B0-53-3D-43 4 Dynamic Forward - DES-3028 172.16.8.4
10 Management 00-24-8C-B9-0F-8B 25 Dynamic Forward
10 Management 00-26-5A-39-1C-CC 25 Dynamic Forward
10 Management 1C-BD-B9-83-A5-8E 25 Dynamic Forward
10 Management 40-9B-CD-0D-BB-10 12 Dynamic Forward - DGS-1510-10L/ME 172.16.8.12
10 Management 40-9B-CD-D4-41-C0 CPU Self Forward - DGS-1510-28XS/ME
10 Management BC-5F-F4-75-6B-CD 25 Dynamic Forward
10 Management C0-A0-BB-45-55-B0 2 Dynamic Forward - DES-3200-10 172.16.8.2
10 Management C0-A0-BB-45-9F-10 3 Dynamic Forward - DES-3200-10 172.16.8.3
- Отправляем в reboot DES-3028 172.16.8.4 и отключаем его аплинк из порта 4 DGS-1510-28XS/ME.
- Включаем mirror tx/rx трафика с порта 12 DGS-1510-28XS/ME, за которым расположен DGS-1510-10L/ME без абонентов 1528XS-port12.pcapng .
Пакеты 1-19 - законный трафик в сторону DGS-1210L/ME. Юникастовый ICMP в сторону DES-3028 на этом порту обусловлен кэшем arp на пинговалке.
- Подключаем в порт 4 DGS-1510-28XS/ME аплинк DES-3028
Пакет 20 1528XS-port12.pcapng - arp от DES-3028 в сторону шлюза. Следом полетят зарелееные свичем DHCP discover от клиентов, в том числеTP-Linkов "TL-WR840N" dhcpdiscover.pcapng (1675 пакет в основном дампе), в ответ полетят DHCP offers, в том числе к TP-Linkам "TL-WR840N" dhcpoffer.pcapng .
Пакет 23 1528XS-port12.pcapng - dhcpoffer от 00-1B-11-97-74-9A 25 порт fdb к 00-22-B0-53-3D-43 4 порт fdb.
- Сильно удивляемся получению такого пакета на порту 12 DGS-1510-28XS/ME, за которым нет MAC адреса назначения
Наблюдая за начавшимся штормом (пакеты 23-11333 1528XS-port12.pcapng ), и просмотрев в этот момент fdb DGS-1510-28XS/ME теорему можно считать доказанной:
DGS-1510-28XS/ME:admin#sh fdb vlan ManagementCommand: show fdb vlan Management
VID VLAN Name MAC Address Port Type Status
---- -------------------------------- ----------------- ----- ------- -------
10 Management 00-06-F4-32-09-CF 25 Dynamic Forward
10 Management 00-06-F4-32-CF-6C 25 Dynamic Forward
10 Management 00-0E-26-FF-C3-EA 25 Dynamic Forward
10 Management 00-0E-26-FF-C4-0C 25 Dynamic Forward
10 Management 00-0E-26-FF-DE-1E 25 Dynamic Forward
10 Management 00-0E-26-FF-E0-F6 25 Dynamic Forward
10 Management 00-0E-26-FF-E1-C0 25 Dynamic Forward
10 Management 00-1B-11-97-74-9A 12 Dynamic Forward Кто-то просто переехал 00-1B-11-97-74-9A 25 Dynamic Forward - DES-7210 default gw 172.16.100.100
10 Management 00-1E-58-A3-78-9B 25 Dynamic Forward
10 Management 00-21-91-97-0E-CD 25 Dynamic Forward
10 Management 00-21-91-97-3D-77 25 Dynamic Forward
10 Management 00-21-91-97-3D-7E 25 Dynamic Forward
10 Management 00-21-91-9C-14-00 25 Dynamic Forward
10 Management 00-21-91-C0-2A-00 25 Dynamic Forward
10 Management 00-21-91-C0-3A-00 25 Dynamic Forward
10 Management 00-21-91-C2-04-00 25 Dynamic Forward
10 Management 00-22-B0-04-51-B1 25 Dynamic Forward
10 Management 00-22-B0-04-51-BB 25 Dynamic Forward
10 Management 00-22-B0-04-51-C2 25 Dynamic Forward
10 Management 00-22-B0-04-52-95 12 Dynamic Forward Кто-то переехал дважды
10 Management 00-22-B0-04-52-95 12 Dynamic Forward
10 Management 00-22-B0-04-60-EC 25 Dynamic Forward
10 Management 00-22-B0-04-74-20 25 Dynamic Forward
10 Management 00-22-B0-1A-3A-00 25 Dynamic Forward
10 Management 00-22-B0-1D-B9-00 25 Dynamic Forward
10 Management 00-22-B0-50-F6-98 12 Dynamic Forward
10 Management 00-22-B0-50-F6-99 25 Dynamic Forward
10 Management 00-22-B0-52-F9-BD 25 Dynamic Forward
10 Management 00-22-B0-52-F9-E4 25 Dynamic Forward
10 Management 00-22-B0-53-38-EE 25 Dynamic Forward
10 Management 00-22-B0-53-3D-43 12 Dynamic Forward
10 Management 00-22-B0-53-44-7B 25 Dynamic Forward
10 Management 00-22-B0-57-12-81 25 Dynamic Forward
10 Management 00-22-B0-57-16-AF 25 Dynamic Forward
10 Management 00-22-B0-57-16-B0 25 Dynamic Forward
10 Management 00-24-8C-B9-0F-8B 25 Dynamic Forward
10 Management 00-26-5A-39-1C-D8 25 Dynamic Forward
10 Management 00-26-5A-39-1D-C8 12 Dynamic Forward
10 Management 00-26-5A-39-24-1C 25 Dynamic Forward
10 Management 00-26-5A-39-24-94 25 Dynamic Forward
10 Management 10-62-EB-A8-EB-B0 12 Dynamic Forward
10 Management 10-BE-F5-C6-50-C0 12 Dynamic Forward Еще один двойник
10 Management 10-BE-F5-C6-50-C0 12 Dynamic Forward
10 Management 10-BE-F5-CA-7A-E0 12 Dynamic Forward
10 Management 1C-BD-B9-83-A5-8E 25 Dynamic Forward
10 Management 3C-1E-04-14-B2-98 12 Dynamic Forward
10 Management 40-9B-CD-D4-41-C0 CPU Self Forward
10 Management 9C-D6-43-1E-07-E0 25 Dynamic Forward
10 Management BC-5F-F4-75-6B-CD 25 Dynamic Forward
10 Management C0-A0-BB-45-55-B0 12 Dynamic Forward
10 Management C0-A0-BB-45-9F-10 12 Dynamic Forward
10 Management D4-C1-C8-14-80-EA 25 Dynamic Forward
10 Management E8-40-F2-D2-E0-DA 25 Dynamic Forward
А хозяин торжества просто не пришел40-9B-CD-0D-BB-10 12 Dynamic Forward - DGS-1510-10L/ME 172.16.8.12
И сама fdb распухла на радостях - не каждый же день MAC default gw из ядра в доступ переезжает.
- Отключим порт 12.
Пакеты 11334-11414 - все облегченно вздохнули и принялись за работу.
- Включим порт 12.
Пакет 11351 - все продолжает хорошо работать, fdb коммутаторов в нормальном состоянии. Мир закончится со следующей лизой от абонентского TL-WR840N.
Вероятно, подобная реакция возникает не только на указанную модель роутеров, но ребята из Элнета в Бресте экспериментально доказали, что замена 840N на доступах DGS-1510/ME на любую другую модель из имеющихся в наличии, исключает появление шторма в сети. Это, конечно, не повод отправлять пакеты в порт источника, но заслуживает внимания.
- Включаем mirror tx/rx трафика с порта 12 DGS-1510-28XS/ME, за которым расположен DGS-1510-10L/ME без абонентов 1528XS-port12.pcapng .
Пакеты 1-19 - законный трафик в сторону DGS-1210L/ME. Юникастовый ICMP в сторону DES-3028 на этом порту обусловлен кэшем arp на пинговалке.
- Подключаем в порт 4 DGS-1510-28XS/ME аплинк DES-3028
Пакет 20 1528XS-port12.pcapng - arp от DES-3028 в сторону шлюза. Следом полетят зарелееные свичем DHCP discover от клиентов, в том числе
Пакет 23 1528XS-port12.pcapng - dhcpoffer от 00-1B-11-97-74-9A 25 порт fdb к 00-22-B0-53-3D-43 4 порт fdb.
- Сильно удивляемся получению такого пакета на порту 12 DGS-1510-28XS/ME, за которым нет MAC адреса назначения
Наблюдая за начавшимся штормом (пакеты 23-11333 1528XS-port12.pcapng ), и просмотрев в этот момент fdb DGS-1510-28XS/ME теорему можно считать доказанной:
DGS-1510-28XS/ME:admin#sh fdb vlan ManagementCommand: show fdb vlan Management
VID VLAN Name MAC Address Port Type Status
---- -------------------------------- ----------------- ----- ------- -------
10 Management 00-06-F4-32-09-CF 25 Dynamic Forward
10 Management 00-06-F4-32-CF-6C 25 Dynamic Forward
10 Management 00-0E-26-FF-C3-EA 25 Dynamic Forward
10 Management 00-0E-26-FF-C4-0C 25 Dynamic Forward
10 Management 00-0E-26-FF-DE-1E 25 Dynamic Forward
10 Management 00-0E-26-FF-E0-F6 25 Dynamic Forward
10 Management 00-0E-26-FF-E1-C0 25 Dynamic Forward
10 Management 00-1B-11-97-74-9A 12 Dynamic Forward Кто-то просто переехал 00-1B-11-97-74-9A 25 Dynamic Forward - DES-7210 default gw 172.16.100.100
10 Management 00-1E-58-A3-78-9B 25 Dynamic Forward
10 Management 00-21-91-97-0E-CD 25 Dynamic Forward
10 Management 00-21-91-97-3D-77 25 Dynamic Forward
10 Management 00-21-91-97-3D-7E 25 Dynamic Forward
10 Management 00-21-91-9C-14-00 25 Dynamic Forward
10 Management 00-21-91-C0-2A-00 25 Dynamic Forward
10 Management 00-21-91-C0-3A-00 25 Dynamic Forward
10 Management 00-21-91-C2-04-00 25 Dynamic Forward
10 Management 00-22-B0-04-51-B1 25 Dynamic Forward
10 Management 00-22-B0-04-51-BB 25 Dynamic Forward
10 Management 00-22-B0-04-51-C2 25 Dynamic Forward
10 Management 00-22-B0-04-52-95 12 Dynamic Forward Кто-то переехал дважды
10 Management 00-22-B0-04-52-95 12 Dynamic Forward
10 Management 00-22-B0-04-60-EC 25 Dynamic Forward
10 Management 00-22-B0-04-74-20 25 Dynamic Forward
10 Management 00-22-B0-1A-3A-00 25 Dynamic Forward
10 Management 00-22-B0-1D-B9-00 25 Dynamic Forward
10 Management 00-22-B0-50-F6-98 12 Dynamic Forward
10 Management 00-22-B0-50-F6-99 25 Dynamic Forward
10 Management 00-22-B0-52-F9-BD 25 Dynamic Forward
10 Management 00-22-B0-52-F9-E4 25 Dynamic Forward
10 Management 00-22-B0-53-38-EE 25 Dynamic Forward
10 Management 00-22-B0-53-3D-43 12 Dynamic Forward
10 Management 00-22-B0-53-44-7B 25 Dynamic Forward
10 Management 00-22-B0-57-12-81 25 Dynamic Forward
10 Management 00-22-B0-57-16-AF 25 Dynamic Forward
10 Management 00-22-B0-57-16-B0 25 Dynamic Forward
10 Management 00-24-8C-B9-0F-8B 25 Dynamic Forward
10 Management 00-26-5A-39-1C-D8 25 Dynamic Forward
10 Management 00-26-5A-39-1D-C8 12 Dynamic Forward
10 Management 00-26-5A-39-24-1C 25 Dynamic Forward
10 Management 00-26-5A-39-24-94 25 Dynamic Forward
10 Management 10-62-EB-A8-EB-B0 12 Dynamic Forward
10 Management 10-BE-F5-C6-50-C0 12 Dynamic Forward Еще один двойник
10 Management 10-BE-F5-C6-50-C0 12 Dynamic Forward
10 Management 10-BE-F5-CA-7A-E0 12 Dynamic Forward
10 Management 1C-BD-B9-83-A5-8E 25 Dynamic Forward
10 Management 3C-1E-04-14-B2-98 12 Dynamic Forward
10 Management 40-9B-CD-D4-41-C0 CPU Self Forward
10 Management 9C-D6-43-1E-07-E0 25 Dynamic Forward
10 Management BC-5F-F4-75-6B-CD 25 Dynamic Forward
10 Management C0-A0-BB-45-55-B0 12 Dynamic Forward
10 Management C0-A0-BB-45-9F-10 12 Dynamic Forward
10 Management D4-C1-C8-14-80-EA 25 Dynamic Forward
10 Management E8-40-F2-D2-E0-DA 25 Dynamic Forward
А хозяин торжества просто не пришел
И сама fdb распухла на радостях - не каждый же день MAC default gw из ядра в доступ переезжает.
- Отключим порт 12.
Пакеты 11334-11414 - все облегченно вздохнули и принялись за работу.
- Включим порт 12.
Пакет 11351 - все продолжает хорошо работать, fdb коммутаторов в нормальном состоянии. Мир закончится со следующей лизой от абонентского TL-WR840N.
Вероятно, подобная реакция возникает не только на указанную модель роутеров, но ребята из Элнета в Бресте экспериментально доказали, что замена 840N на доступах DGS-1510/ME на любую другую модель из имеющихся в наличии, исключает появление шторма в сети. Это, конечно, не повод отправлять пакеты в порт источника, но заслуживает внимания.
А Днепр по-весеннему силен и спокоен