T1 network poster sfondo1

Slide1: 

Descrizione strutturale e funzionale della rete del TIER1 Workshop CCR (Otranto, Giugno 2006) Donato De Girolamo, Giuseppe Sansonetti, Riccardo Veraldi, Stefano Zani INFN CNAF Rete del TIER1 La rete del TIER1 e’ stata concepita con lo scopo di garantire la connettività necessaria all’accesso ed alla movimentazione dei dati sperimentali sia a livello geografico sia a livello locale. La flessibilità della struttura consente di aumentare nel tempo la banda passante verso un particolare switch o un singolo server, in base alle esigenze imposte dal modello di calcolo adottato. Particolare attenzione si riserva alla connettività dei server che svolgono funzionalità di front-end verso la Storage Area Network. Struttura fisica generale della LAN Core Switch e Router Black Diamond 10808: (Extreme Networks) 2 Control Module + Crossbar 128 x 1Gb/s in fibra SX 64 x 1Gb/s in rame TX 12 x 10 Gb/s in fibra (Xempak SX) 3 slot liberi ER16: (Enterasys) 2 Control Module 96 x 1Gb/s in fibra SX 2 x 10 Gb/s in fibra (Xempak SX) FULL! Cisco 7600: (Cisco Systems) 2 SUP 720 3b 4 x 1Gb/s in fibra TX (o SX) 4 x 10 Gb/s In fibra (Xempak SX) 3 slot liberi Switch di aggregazione: 28 Extreme Networks Summit 400 (160 Gb/s throughput aggregato) 48 x 1Gb/s (fino a 4 in fibra ottica) 2 x 10Gb/s 12 Enterasys Matrix E1 48 x Fast Ethernet+ 2 x 1Gb/s in fibra ottica 3 Cisco 3550 48 x Fast Ethernet + 2 x 1Gb/s in fibra ottica Collegamenti alla WAN: Il CNAF ha un collegamento di produzione al GARR attualmente di 1 Gb/s ed un collegamento dedicato al traffico LHC con il CERN di 10Gb/s (via GARR e GEANT). La banda del collegamento di produzione (general purpose) verrà presto modificata in vista dei trasferimenti T2-T1 e T1-T1. Gestione delle VLAN Il modello di sviluppo del Tier1 prevede l’installazione di server e worker node in rack 19”. Si è scelto di equipaggiare ogni rack con uno switch di aggregazione collegato al centro stella con multipli di 2 fibre ottiche (1Gb/s o 10Gb/s in base alle esigenze di banda). La rete e’ segmentata sia a L2 che a L3. Si realizza il sezionamento a L2 utilizzando le VLAN (802.1Q). Si e’ scelto di propagare tutte le VLAN fino al singolo switch di aggregazione in modo da poter spostare da una VLAN all’altra ogni singolo nodo. Sicurezza ACL sui link di accesso alla rete geografica (tutti gli switch e i router della struttura sono in grado di gestire ACL in ASIC). Monitoring: MRTG, NAGIOS, NTOP Logging: 3 log servers (Syslog-NG) IDS: Argus (in fase di sviluppo) Monitoring, allarmistica e logging MRTG: Raccoglie statistiche di utilizzo di banda per tutti gli apparati di rete NAGIOS: Controlla lo stato di tutti gli apparati di rete (connettività, stato dei trunk, carico di CPU,..) e dei servizi di base del TIER1, generando notifiche (via mail ed SMS) in seguito ad eventi critici o ritenuti anomali Syslog-NG: Tutti i messaggi di log generati dagli apparati di rete e dai principali server del TIER1 sono raccolti da più Syslog-NG server e vengono analizzati con tool quali Logwatch ed alcuni script perl realizzati in base alle esigenze contingenti. NTOP: Viene utilizzato per controllare la tipologia del traffico del TIER1 ed analizzare i flussi “Netflow” ed “S-Flow” generati dai core switch St.34(gi.3.1,gi.4.1) Enterasys ER16 SSR8600 sw-04-03 sw-04-01 sw-04-02 3(3-4) 5(5-6) 7(7-8) LHCBSW1 9(9-10) 49(49-50) 49(49-50) 49(49-50) 29(29-32) SW-04-06 SW-04-07 SW-04-08 SW-04-09 SW-04-10 SW-03-06 FarmSWF1 St.2(gi.1.1,gi.2.1) St.3(gi.1.2,gi.2.2) St.4(gi.1.3,gi.2.3) St.5(gi.1.4,gi.2.4) St.6(gi.1.5,gi.2.5) St.7(gi.1.6,gi.2.6) St.9(gi.1.8,gi.2.8) St.15(gi.15,16.1,2) Sezione di Bologna St.12(gi.5.4,gi.6.4) SW-03-07 SW-05-01 SW-05-02 SW-05-03 SW-05-04 SW-05-05 SW-03-08 SW-03-09 St.17(gi.15.4,gi.16.4) St.18(gi.15.5,gi.16.5) St.19(gi.15.6,gi.16.6) St.20(gi.15.7,gi.16.7) St.21(gi.15.8,gi.16.8) St.22(gi.12.6,gi.13.6) St.23(gi.12.7,gi.13.7) SW-06-01 St.16(gi.15.3,gi.16.3) St.25(gi.10.1,gi.11.1) SW-02-07 St.13(gi.5.5,gi.5.8,gi.6.5) SW-08-04 SW-03-10 SW-03-11 St.28(gi.10.5,gi.11.5) St.29(gi.10.6,gi.11.6) St.30(gi.5.2,gi.6.2) SW-04-04 SW-04-05 St.31(gi.10.7,gi.11.7) St.32(gi.5.6,gi.6.6) SW-06-08 SW-08-05 Cisco 7600 Extreme Networks BD10K (5/2,6/1) St.36(gi.3.3,gi.4.3) SW-08-03 gi.12.4 gi.12.3 St.35(gi.3.2,gi.4.2) St.37(gi.3.4,gi.4.4) gi.12.2 SW-08-02 (sc) 1:1 2:1 SW-03-05 SW-03-04 SW-03-03 SW-03-02 gi.6.8 FarmSWG1 SW-08-08 SW-08-07 cat6500 St.11(gi.5.3,gi.6.3) FarmSWF2 FarmSWG3 St.1(gi.3.1,gi.5.1) (1:4,2:4) (3/1,3/2) 1:2 (7:4,8:4) (7:3,8:3) (7:6,8:6) (7:5,8:5) 1:5 (7:59,8:59) GE 0/1/0 (7:10,8:10) SW-E-01 gi.5.2 SW-06-02 (7:58,8:58) CERN 10Gb/s 1Gb/s GARR Giga POP LHC OPN: 10 Gb/s dedicati al traffico CERN-TIER1 per produzione LHC Accesso General Purpose del CNAF Juniper M360 2x1Gb/s 1x10Gb/s 5/1