Vývoj a dění v síti - Říjen 2010

1.10.2010 - úderem prvního dne prvního měsíce jsme se rozdělili na dvě úderné party. První, s obsazením King a CEC, se vrhla na opravu a renovaci Tebisu. Což je čtyřicetimetrový komín místní teplárny. Tam bylo už dlouho nutno udělat dvě věci - vyměnit zařízení tebis2 (přístupový bod směr Karlov), za ty skoro 4 a půl roku už mělo něco za sebou. A jako druhá, též dlouho plánovaná práce byla výměna kabeláže. Tenkrát jsme ještě nepoužívali venkovní provedení ethernetových kabelů a bylo to na tom vidět. Zvlášť po minulé zimě, kdy nám jeden kabel rampouch roztrhl a též způsobil krizi v horní části komínu - kabel zlomený o hranu, bez rezerv, prostě k ničemu ... Druhá parta, v obsazení Monty, Czernobyl a Ludva, zrenovovala půlku Marsu. A to spočívalo v opásání komína (již druhého) sto kily železa a vztyčení dvou stožárů. Na ně se přesunuly jak všechny přístupové body, tak spoje na Mispule a Stadion. Zároveň připravili Alcomu pro spoj Mars - Fulda2 (který bude pokračovat až na Kavky).

Ludva přišel na závadu v Jabberu (na základě hlášení Nosmise). Nějak nám přestalo fungovat spojení se servery jabbim.cz. Je to dost problém, neboť jsou největší ... např. doména jabber.cz je jejich. Dělali nějakou změnu nebo upgrade ... zjevně je chyba u nich. Se spousty jiných serverů komunikujeme správně.

2.10.2010 - sobotní směnu si střihnul Cec s Kingem. Zrenovovali přístupový bod Trojice. Tedy vyměnili komplet zařízení, natahali novou kabeláž (UTP i koaxy) a trochu si pohráli s umístěním antén.

4.10.2010 - King se pokusil opravit ( opravil ) páteřní spoj mezi Přítoky a Obilou. Nějak nesplňoval požadované parametry ... Nyní už ano, ale ještě to bude chtít jeden krok, vyměnit anténu.

5.10.2010 - 7.10.2010 - proběhlo spousta oprav a úprav na našich zařízeních včetně spuštění ap4 na kostele sv. Jakuba ve směru na Horse. Výroba stojanu na novou ups na masarku, osazení ups masarka společně s novým switchem, přepojení odběru elektřiny na panelnetu benešova atd. King si podrobnosti nepamatuje, proto to píše takto. King says: Je to zajímavý ale fakt si poslední dobou pamatuju akorát kde bydlim.

9.10.2010 - ludvovo sobotní boření khnetů a internetů. Už dlouhou dobu připravujeme jednu velkou změnu a to gigabitovou linku do internetu. Rádio již nějakou dobu visí a vysílá, takže nastala ta správná doba na výměnu serverů. Vyměnil se ELEV - dělá překlad adres (NAT) a řízení rychlostí (QOS, FUP) a jako úplně nový router BORDER. Ten pro změnu jenom přehazuje data mezi KHnetem a internetem přes dva body - dlouholetého dodavatele konektivity Sloane a sdružením NFX. Zato to dělá důkladně - díky BGP je přímou součástí internetu. Zná cesty i do těch nejvzdálenějších zákoutí světového internetu, má přes 327 tisíc řádků ve své routovací tabulce. Stejnou věc dělá i pro IPv6 ("nový internet"), tam to má jednodušší, záznamů je jen necelých 3500.

Samozřejmě se to neobešlo bez zádrhelů. Základ sice jel v podstatě ihned, ale krátce poté se přišlo na nedostatek v konfiguraci a došlo k odříznutí většiny českého internetu. To bylo první zpoždění - ludva musel sednout do auta a jet to domů napravit (neboť přepisovat to v serverovně je pracné a zaručeně by to zvoral). Druhé zpoždění bylo nefunkční IPv6 - špatně pochopená informace o IP adrese. Takže to neroutovalo ... Třetí problém nastal při dokonfigurovávání cest mezi servery charon-zeus-elev-border. Pár zapomenutých chyb způsobilo nedostupnost CZfree a hlavně nefunkčnost DNS serveru na zeusovi (není to bůh, proto neskloňujeme správně). Po odstranění těchto problémů už zůstal jenom jeden - oblíbené IPv6. Ale za to může (nejspíš) chyba v software které řídí routování (cesty po síti) - lze tam zadat cesta "do této sítě přes tuto síťovou kartu", jenže to jaksi nefunguje. Musí se napsat "do této sítě přes tuto IP adresu". Přijít na to též chvilku trvalo.

Ve výsledku byla úplná nefunkčnost internetu v naší síti přibližně hodinu mezi 10. a 11. hodinou dopolední. Do 12. to nebylo nic moc pro všechny. Do půl třetí pro přibližně polovinu sítě (jak co a jak kdy) a teprve od půl čtvrté vše funguje tak nějak jak má. Tedy dobře.

Zajímavé je, že zprovoznění těch dvou serverů se projevilo i na UPSkách. Server BORDER sebral 4% vytížení 1500VA záložního zdroje. A to tam byl fyzicky zapojen i předtím, prostě jenom začal něco dělat. Nějakých 10% vytížení CPU Xeon X3470 ...

Ještě se bude pokračovat. V týdnu proběhne rekonfigurace serveru BORDER tak, aby provoz do českého internetu šel jinou cestou (a to o dost méně omezenou), než do zbytku světa. Tím teprve budeme schopni se přiblížit vysněnému gigabitu. Trochu to sráží dolů odstavený laserový spoj mezi servery Masarka a Plechac - díky tomu příliš velká část sítě funguje přes spoj serveru Mars o kapacitě pouhých 150Mbit. Ale to bychom měli vyřešit také do týdne - zprovozníme již své druhé gigabitové rádio na místě toho laseru. Táhne se to již docela dlouho, jenže ono je to sakra drahé a i jeho nákup dlouho trvá ...

10.10.2010 - pohodička, ráníčko, nedělní sluníčko, klídek, piánko ... nebyl by to ovšem ČEZ a Kutná Hora, aby i v tento boží den nezpůsobily katastrofu. Asi se někdo podíval na kalendář a prakticky přesně v 10 hodin a 10 minut vypnul elektrický proud. Úžasné síly to zdroj ... Malý dropout byl v celé Kutné Hoře, potvrzeno od sídliště až po Žižkov. Jenže na sídlišti ten výpadek netrval dvě vteřiny, ale skoro dvě a půl hodiny (10:10 - 12:30). Tedy nefungovala celá síť KHnetu. Data odevšad se sbíhají na studních ... Následovala klasika - čekání na nabití záložních zdrojů, zapínání serverů, obíhání jističů. Zjišťování škod, zatím jsou potvrzené dva disky v divném stavu, třetí pravděpodobný.

S hotlinkou ČEZu byla také zábava. Skoro čtvrt hodiny trvalo vysvětlení, že nás nezajímá naše soukromé odběrné místo, ani dokonce KHnetí. Že to nefunguje na celém sídlišti. Oni to totiž nevěděli ... Napsali si telefon, a že se ozvou. Jsou skoro čtyři hodiny odpoledne a zatím nic. Ještě po poledni tvrdili, že se závada hledá, přitom už se zjevně oprava blížila ke konci.

Co tomu bylo víme jenom z druhé ruky. Něco s hlavním přívodem do sedlecké trafostanice. Proč s tím ale něco neudělají pořádně? Vždyť servery KHnetu málokdy vydrží běžet tři měsíce v kuse bez výpadku způsobeného elektřinou.

11.10.2010 - probíhala příprava na spuštění nového panelnetu Palach1 (Jana Palacha 150 - 153) a příprava pro nové gigabitové rádio masarka - plechac.

12.10.2010 - Monty, CEC a King dnes dorazili PanelNET palach1. Jeden člen už fičí ... Ti, kteří projevili zájem, mají již i přepraveny kabely v rozvaděčích.

13.10.2010 - komplet parta hic v obsazení Ludva, King, Monty, CEC a zástupce dodavatele namontovali a zprovoznili (byť bez zapojení do toků dat na síti) avizovaný gigabitový rádiový spoj Masarka - Plechac. Nebyli bychom to my, kdyby se to obešlo bez drobných problémů. Nejdřív jiné napájecí zdroje, než na co jsme to měli připravené, poté na jedné straně špatný napájecí konektor, na druhé zase datový. No, ale jede to ... po pár dnech testů ho práceuschopníme.

14.10.2010 - opět výpadek proudu na sídlišti. Tentokrát kratší ... ČEZ se zlepšuje, to se musí uznat. Trval přibližně od 15:00 do 16:30, do cca páté hodiny již většina věcí jela. Teď otázkou, co bude špatně, neboť se elektřině povedlo naskočit a zase vyskočit asi osmkrát ... A např. paneláky jupiter, opletalova2 a opletalova5 nejsou pod elektřinou ještě v půl deváté. To samé Oliva a Kréta.

Později se zjistilo, že i kdyby pustili elektřinu k Olivě a Krétě, tak by nám to stejně nejelo, neboť se porouchala síťová karta do které je zapojen spoj na Olivu. Ale ani před jedenáctou večer to ještě nejede, teprve zahrabávají elektrický kabel (u Kréty, před vraty).

Paneláky jupiter, opletalova2 a opletalova5 naběhly krátce po desáté. Dle slov vrchního elektrikáře ale pouze dočasně, ráno musí vyměnit (nebo opravit, těžko říct) trafostanici v ulici Opletalova.

16.10.2010 - sobotní směna Ludvy, nakonec za pomoci Kinga. V pátek večer jsme totiž zjistili, že je vadný nový gigabitový spoj mezi plechacem a masarkou, který jsme chtěli dnes zapojit do běžného provozu. Vydržel necelé tři dny ... Pro jistotu tedy proběhla kontrola elektroinstalace a její přeorganizování (když už jsme to vypínali). Elektroinstalace byla naprosto v pořádku ... Hlavní důvod směny byla výměna hlavního switche na serveru plechac. Starý Allied Telesyn jsme plánovali vyměnit už dlouho, jeho parametry (resp. vlastnosti) nám už nevyhovovali. Vzhledem k fyzické velikosti prostoru výměna trvala trochu déle, než bylo plánováno. A jenom se potvrdilo, že musíme vybudovat nové místo pro umístění záložního zdroje. Nyní totiž ten stávající slibuje pouze desetiminutovou výdrž.

Pokračovat se mělo změnou zapojení switchů na masarce, abychom mohli konečně využít to gigabitové rádio. Tuto změnu jsme bohužel museli odložit.

Započala výstavba ap2mikuláš king "stvořil" první část tohoto ap, montáž prvků, protažení kabelů.

17.10.2010 - neděle. Asi bylo problémů s elektřinou málo. Okolo sedmé večerní na chvilku vypadla na Obile. Jenže i malá chvilka stačila na vyhození jednoho z hlavních stykačů sila. Takže pro KHnet to znamenalo skoro hodinu nefunčnosti ... Výlet si udělal Monty s Ludvou.

King dotvořil druhý přístupový bod v Mikuláši. Zapojil, pověsil anténu na silomku, a společně s malou podporou Montyho spustil.

18.10.2010 - King s Montym skoro celý den hledali, proč už několik dnů blbne Onomyšl. A díky tomu i spousta vesnic okolo ... Zjistilo se, že jeden z uživatelů pravděpodobně nesprávným zapojením zařízení u sebe doma totálně zahltil ethernetovou část sítě Onomyšle. Takže proběhla docela komplexní reorganizace elektroniky tak, aby případný další podobný problém nezpůsobil nefunkčnost úplně všeho, ale jenom tzv. panelnetu. Rádia zůstanou v pořádku (až na spoj do Křečovic, který bohužel vyčlenit nelze). Změnili jsme tedy typ switche pro uživatele a přidali vyčleněný switch pouze pro infrastrukturu a zároveň zapojili extra router. 

Dopoledne King s Cecem zapojili multipoe 24V na plecháči. Ještě nám zbývá to samé v 48voltech dodělat a můžeme všechny zařízení přepojit do menší "elektrobedny" kde jim bude určitě lépe než nyní v rozvaděči se serverem, switchem a vším co se tam doposavad nacpalo.

19.10.2010 - Monty s pronajímatelem podepsal nájemní smlouvu na sklad. Konečně bude megaprostror, tedy než ho naplníme.

20.10.2010 - zajímavé datum a hle! Výpadky elektřiny v Jindicích a Poličanech. A aby toho nebylo málo, další disk v serveru v čudu. Tentokrát Elev. Takže asi v sobotu ráno bude větší výpadek internetu, společně s Charonem se musí vyměnit.

Cec s Kingem přepojili spoje z Obily na Trojici a Úmonín na nové zařízení a přemontovali antény na jiný stožár.

23.10.2010 - Ludvova soboto-nedělní směna. Na ráno byly naplánovány tři věci, ani jedna neměla trvat déle než čtvrt hodiny. Dvě výměny disků, v serverech Elev a Charon, a zapojení gigabitového rádia na masarce do ostrého provozu. Ale jak to tak chodí, ludva míní, murphy mění ...

První část, Elev, proběhla normálně. Server byl vypnut, vyměnil se disk (ve stoje na špičkách), a po zapnutí vše v normálu. Sice mirror samozřejmě funkční nebyl, ale to lze udělat na dálku. Stejně to trvá několik hodin. Prostě brnkačka.

Druhá část, Charon. Začátek byl shodný s Elevem, pohodička, klídeček, optimismus. Kromě toho, že tento server slouží i jako polička pro monitor takže nelze dělat zároveň v serveru a koukat co se děje. Jenže po zapnutí se na zádech, obličeji a tam co se o tom nemluví objevil studený pot ... server nechtěl najet do systému. Viděl totiž jenom ten nový disk a na něm logicky nic nebylo. Po několika pokusech to vypadalo na porouchaný port na základní desce - starý disk zapojený v do té doby nepoužívaném portu vidět byl. Jenže jenom jednou. Pak prostě šlus. V tu dobu už to bylo o záda, neboť monitor byl v přízemí na UPSce a vidět na něj kloudně nebylo. Žádný způsob domlouvání ovšem nezabral, takže se přistoupilo ke krizové variantě. Přehodilo se routování sítě na server Zeus a Ludva si Charona odvezl domů na přeinstalaci. V ten moment Monty zjišťuje, že to sice jede, ale asi tak jako v dobách prvního DSL modemu. Tedy skoro vůbec. A bylo mu Ludvou nakázáno, ať to tedy opraví ... Po asi hodině nebo dvou to opravil Ludva. Závada naprosto nepochopitelná, tak jako většina khnetích závad. Vše vypadalo v pořádku, akorát na jedné straně UTP kabelu byla docela ztrátovost. A zabrala až poslední možnost - restart funkce autonegation na Elevovi (to je věc, která domlouvá vlastnosti spojení mezi síťovými kartami). V tu ránu chybovost zmizela a internet začal fungovat normálně.

Ludvovy pokusy o instalaci charona začaly nevalně. Nejdřív si musel pomocí udělání bordelu na posteli uvolnit místo na pracovním stolečku. Potom (ještě v době pomalosti) musel sosnout poslední verzi instalačky aby zjistil, že nemůže najít volné médium. A když už ho našel, tak to z něj nešlo nainstalovat ... nějaká nekompatibilita ovladače se SATA řadičem. I když nabootovat pohodlně šlo, tak vlastní instalace už spustit nešla. Naštěstí už Archlinux vydává "obojetné" image, takže po vysmažení na flashku už instalace fungovala. Alespoň se dala vyzkoušet instalace přímo na vytvořené RAID pole. V dobách minulých to nešlo, neboť místo jednoho z disků byla vždy CD mechanika, takže se pole vytvářelo až potom, ze živých dat.

Po instalaci následoval update systému. Na jádro 2.6.34. Ovšem poté se zjistilo, že na jednom americkém serveru je jádro ještě novější - 2.6.35 (na jiných zrcadlech to nebylo), které má jednu novou vlastnost ohledně síťování. Mělo by to zvyšovat výkon poměrně hodně podstatným způsobem. Jenže zároveň je v tomto jádru chyba s I/O plánovačem. Takže server byl od pohledu zabržděný jak windowsy po pěti letech používání ve školní učebně. Hledání řešení zabralo docela hodně času. Neboť se blbě hledá, když se neví, jak to přesně specifikovat ...

Následovaly už jenom drobnosti s dolaďováním konfigurace (novější verze firewallu, chybějící fonty v grafech, a dalších asi tisíc drobností). A poté základní testy, když už na to ten čas byl. I když pohled na hodinky v půl třetí ráno moc štěstí nevyvolával. Nakonec byl tedy server chvilku po třetí hodině dovezen do serverovny, zapojen a přehozen na něj provoz. A vše vypadá opět tedy normálně a optimisticky.

King během dopoledne zprovoznil spoj pro Sběrný dvůr pomocí pro nás nových zařízení NanoBridge. Jede to pěkně ... v nejzákladnějším nastavení 50Mbit. V ten moment jsme rozhodli, že ho použijeme i pro panelnet Engls, neboť tam optický kabel asi nikdy nebude (všichni ho chtějí, ale výbor domu ho nechce povolit). Engls se měl také odpoledne přesunout na střechu, na výtahovou budku. Jelikož montují zateplení a anténa je momentálně na zdi u okna. Jenže klíčník nebyl doma ... takže se to opět posouvá (již poněkolikáté) do budoucnosti.

25.10.2010 - Monty s Kingem a CECem připojili panelnet Fulda2 novým spojem - Alcomou s kapacitou 88Mbit. Sice se s úpravami ještě bude pokračovat (spoj na Kavky, reorganizace zařízení, nový switch), ale to už nehoří, takže se k tomu dostaneme bůhví kdy.

26.10.2010 - Cec s Kingem za pomoci Montyho přesunuli zařízení připojující panelnet Engls na střechu. Na původním místě dost překáželo rekonstrukci (zateplení) domu. A když už se v tom hrabali, tak ho vyměnili za jiný typ. Mělo by to poměrně podstatným způsobem zvýšit datovou kapacitu. Optiky to samozřejmě nedosahuje ani smykem, ale i tak je to velké zlepšení.

27.10.2010 - Kingem s Cecem dodělali uchycení optiky na Heverovi (koza). Monty s Ludvou testovali a dolaďovali nastavení spoje Zajíc-Engls a Monty v nočních hodinách provedl rekonfiguraci switche na Ježkovi, což způsobilo krátkodobé výpadky PanelNETů Ježek, Hever, Otec, Šandova, Palach1.

30.10.2010 - Ludvova malá sobotní směna způsobila drobné výpadky sítě a internetu na Masarce a Neptunovi. Ale díky tomu je již naše nové krásné gigabitové rádio na masarce v ostrém provozu. Zprovoznil také druhý kabel do NFX (záloha) a večer dohodnul s NFX peering v NIXu. Takže od zítra by měla být kapacita do českého internetu docela podstatně navýšena.

31.10.2010 - abychom se nenudili ani v neděli, tak opět výpadek elektřiny. Církvice, Mikuláš, Nové Dvory, Hlízov, Obila, Pritoky, Pivnisko, Chroust, Malesov ... ani nelze vyjmenovat vše. Prostě východ až jihovýchod od Kutné Hory. Naštěstí se jinak nic závažného nestalo. Večer ještě Monty opravil frontu v mail serveru a Ludva opravil routing pro staré IP, takže mail server opět odesílá (neodesílal od včera, od přepojení netu).