Sådan blev 3F og HK DDoS’et

Et DDoS-angreb er det mest simple angreb, du kan blive udsat for, og derfor det mest sandsynlige. Denne sommer ramte det 3F og HK’s webtjenester. Hør hvordan det skete, og hvad du kan gøre, når det en dag brager løs mod dine servere.

Det lyder uskyldigt, da Henrik Lilholt en onsdag i juli måned får at vide, at 3F.dk har været nede. Sådan er det med servere. De skal nogle gange ned og vende. Han fortsætter ufortrødent sommerferien og regner med, at underleverandøren har styr på sagen.

I virkeligheden er 3F under angreb. Og timingen er katastrofal.

Dagen efter er serveren nede igen, og han får at vide, at det ligner et angreb. “Det er nok en af de tyndest besatte uger rent mandskabsmæssigt”, forklarer Lilholt. “Torsdag aften går det op for mig, at ferien nok er ved at være forbi”. 3F begynder at kontakte samarbejdspartnere og vurdere problemets omfang, men det går langsomt på grund af ferien. Men ét er webserveren. Der hvor 3F er virkelig afhængig af nettet, er hele dagpengesystemet.

Vi ved faktisk ikke om det ‘bare’ er DDoS eller om der er mere om det.
Henrik Lilholt, Webchef 3f.dk

30.000 papirblanketter

“Dagpenge indberetningerne ville starte søndag, og det er selvfølgelig mere kritisk end vores almindelige website”, forklarer han. De lokale afdelinger bliver bedt om at have papirblanketter klar, hvis samtlige 30.000 ledige bliver forhindret i at indberette via websitet. 3F hoster, selv mit3f.dk, som bruges til netop det formål. Her oplever man nu også et stigende pres på serverne, tilsyneladende på grund af såkaldte DDoS-angreb.

Denne simple, men effektive teknik udføres af personer, som gennem et computerprogram styrer et netværk af såkaldte zombier: Computere, der står hos folk, som er kommet til at klikke på noget forkert og derved har installeret en virus. De inficerede computere bliver dermed en del af et netværk, som kan bruges til “ondsindede” formål som DDoS-angreb. Der findes andre angrebsformer, nogle ganske kreative, men grundideen er den samme: det angrebne website stresses til det bukker under.

Alt bliver lagt ned

Samtidig prøver 3F sammen med eksterne sikkerhedsrådgivere at få styr på situationen. Det er første gang, man oplever et angreb, og der er usikkerhed omkring, hvor slemt det står til. På 3f.dk sættes en nødside op via en amerikansk udbyder, så forsiden informerer om situationen. På grund af meldinger, de løbende modtager, forbereder 3F sig på det værst tænkelige scenarie: At hackere har fundet en vej ind i de interne systemer, og ikke bare har lammet de to hjemmesider.

“Vi laver hurtigt en kontaktliste med private mailadresser og SMS til centrale personer. Vi ved jo ikke, om det bare er DDoS’ ere eller de rigtig skrappe. Derfor tør vi ikke andet end at lukke det hele ned”. Mail, VPN-forbindelser til medarbejdere, der arbejder hjemmefra – al forbindelse mellem 3F og internettet lukkes ned. Selv telefonsystemet – der kører over internettet – er dødt. “Vi kan heller ikke nå at redde mit3f.dk”, tilføjer Lilholt.

Medierne – anført af TV2 – rapporterer ukritisk, at Anonymous står bag. Anonymous er kendt for store angreb på regeringer og multinationale selskabers hjemmesider verden over, der har forgrebet sig på et deres retfærdighedsbegreb. Oftest består operationerne i at lamme – DDoS´e – hjemmesider. Det foregår ved, at deltagerne i en chat-kanal (en chan) bliver enige om et mål – og så går man i gang med at angribe med forskellige værktøjer. Disse chans er åbne og anonyme, og enhver kan være med. Det gælder også langt de fleste angreb: Som deltager åbner man et program, angiver et mål – 3F.dk, f.eks. – og så begynder beskydningen.

Vi fortrød, at vi brugte ordet hackere i begyndelsen. Der var jo ikke nogle data i fare.
Johni Lundstrøm Nielsen, Konst. IT-chef HK

HK angribes

HK, der har sluttet sig til blokaden mod Vejlegården, har fået besked om, at angrebet vil komme, hvis de ikke trækker deres støtte og er derfor bedre forberedt. “Ved 3-4 tiden får vi ekstremt mange hits på både mithk og hk.dk, omkring 600.000 på 20 minutter. Normalt har vi maksimalt 1500 samtidige brugere. Det giver måske 2-3 % belastning, men under angrebet var vi oppe på 60-90 %,” forklarer Lars Kjærgaard, teknisk ansvarlig for mithk og hk.dk. “Det betød, at vi var i knæ indtil klokken 3 om natten”.

Kjærgaard har ikke oplevet noget lignende i de 10 år, han har været ansat i HK. Sammen med NNIT, der hoster HK’s hjemmesider, får de ændret på opsætningen, så belastningen sænkes markant. “Vi kunne se, at henvendelserne kom fra servere fra hele verden. Rusland, USA, hele Europa”.

Ved at sætte restriktioner på firewall’en kunne de fjerne belastning fra det stykke software, der fordeler belastningen på serverne og derved afbøde en del af angrebet. “Det betød at CPU-belastningen gik ned på 20-25 %,” forklarer Kjærgaard.

Er de inde?

Hos 3F opretholder man det høje beredskab mandag. “Vi kan se, at der bliver snakket om, at de er inde”, forklarer Lilholt, “og ved faktisk ikke, om det ‘bare’ er DDoS, eller om der er mere end det”.

Angrebene er aftaget i intensitet, men fortsætter, så man vælger at opretholde lukningen af mit3f.dk. Det skyldes usædvanlig uheldig timing: For det første er 3F i gang med en planlagt flytning til en ny serverleverandør. Samtidig rammer angrebet midt i agurketiden.

Den store medieopmærksomhed lægger ekstra pres på det ferieramte hold, som vælger at spille sikkert. I bagklogskabens klare lys kan det virke, som om 3F-formand Poul Erik Skov Christensen overreagerer, da han mandag advarer medarbejdere hos 3F om muligheden for, at ‘hackerne’ “vil gå så langt, som til at begå indbrud i vores lokaler”, og beder alle holde øje med døre og vinduer. Han fortæller TV2, at “de stadig ikke har fået adgang til vores systemer. De har kun formået at lamme os”.

Hvad kan man lære

“Der er en tendens til, at folk først begynder at kigge på sikkerhed, når det er for sent”, siger Henrik Kramshøj, sikkerhedsekspert hos Solido Networks. Kramshøj vurderer, at 3F kunne have været bedre forberedt, og at mistanken om at hackere er trængt ind får dem til at “lukke ned for mere end nødvendigt”.

Han vurderer ud fra de oplysninger, han har adgang til, at der var tale om et mellemstort angreb i dansk målestok. “Men hvis man aldrig har været under angreb før, vil selv et lille angreb føles, som om det er kæmpestort”.

Almindelig succes, altså pludselig stigende interesse for et website, kan også få et underdimensioneret website til at gå ned. Dette fænomen kaldes slashdot-effekten, opkaldt efter nyhedsbloggen Slashdot, hvor omtale i bloggens storhedstid fik mindre websites til at gå ned. “Megen hosting er ikke forberedt på succes. Jeg vil vædde med, at der har været mange flere normale brugere inde end normalt, og hvis det kommer samtidigt med et angreb, ja så har du slashdot plus et angreb”.

Det er ikke simpelt

Selvom man kan dæmme op for meget, er DDoS angreb i dag sofistikerede og svære helt at forhindre eller dæmme op for. Det måtte 3F og HK lære på den hårde måde. Henrik Kramshøj skriver en drejebog til afvikling af DDoS-angreb, som han publicerede mandagen efter angrebene. Her lyder mantraet: “DDoS beskyttelse er ikke simpelt. Gentag efter mig: DDoS beskyttelse er ikke simpelt”.

Kramshøj anbefaler:

\ Hold software på servere og firmware på firewalls og andet netværksudstyr opdateret.
\ Indkøb rigelig hardware, RAM osv.
\ Kør hyppige tests, monitorér og gem logs og netflow.
\ Overvåg og sammenlign baseline for drift, så du kan se udsving.
\ Sluk for unødvendige features. Skriv din egen konfigurationsfil, fjern alt overflødigt. Det gælder især for Apache.

\ Hav gerne flere servertyper klar, da det gør angreb vanskeligere, og hav en plan for at deploye dem.
\ Når noget er mistænksomt, f.eks. høj CPU, nedetid eller lang svartid, skal der alarmeres – og reageres.
\ Så snart man mistænker DDoS, skal der informeres opad.
\ Undersøg logs, sessions, antal pakker per sekund, trafik i netværket. Hvis antagelsen bekræftes, så meddel dette. Identificer hvad der er under angreb, og hvilken strategi der benyttes: ICMP flood/UDP flood/TCP flood/SYN-attack osv., hvis det er muligt.
\ Informer berørte kunder. Sørg for at telefonsupporten svarer “Ja, vi har nogle problemer. Vi arbejder på det og sender information ud hurtigst muligt”.

Når det brænder på

Når et angreb er i gang, har man ifølge Kramshøj følgende muligheder:
\ Skru ned for antal requests, som tillades ind, rate, og connections.
\ Bloker IP-adresser, som sender ekstremt mange requests og IP-ranges som sender skadelig trafik. Opret eventuelt en positivliste.
\ Sæt flere servere i spil, VMware/Xen/HyperV. Hav en procedure klar for at deploye dem.
\ Luk evt. ned for dele af forsiden, der kan undværes.
\ Brug alt, hvad din infrastruktur kan trække, og hav læst din firewall manual.
\ Få ledelsen på plads til at tage beslutninger.
\ Vær forberedt på, at angriberne skifter taktik eller kombinerer forskellige angrebstyper.

Angrebene mod HK og 3F var efter al sandsynlighed en kombination af DDoS og DOS (ikke-distribuerede) angreb. En variant er slowloris (opkaldt efter det engelske navn på dovenaben), som åbner en masse forbindelser til serveren og sender så data så langsomt, som serveren tillader, inden den afbryder forbindelsen.

Det konkrete værktøj til at sende disse slow posts var muligvis Torshammer, der bruger anonymiseringsværktøjet Tor, som gør det nærmest umuligt at spore. Det vil opleves, som om angriberne er fordelt over hele kloden, og det er nærmest umuligt at spore tilbage til angriberen.

Henrik Kramshøj mener også, at fagforeningerne greb kommunikationen forkert an. ”De skulle have undladt at kommentere angrebene – og især at udtale, at der var tale om ”en kriminel gruppe hætteklædte mennesker” og “hackere.”

“Det er lidt, som hvis man driller nogen i skoleklassen. Hvis de reagerer, er det sjovere, og så er der flere, der støtter op om det. Vi fortæller aldrig, hvor alvorligt det er, og vi siger heller ikke, om det er stort eller småt”.

Den fejl begik HK også. “Vi fortrød, at vi brugte ordet hackere i begyndelsen. Der var jo ikke nogle data i fare. Ingen, der forsøgte at trænge ulovligt ind”, siger IT-chef hos HK, Johni Lundstrøm Nielsen.

Alligevel endte historien godt, alt taget i betragtning: “Vi kom ret hurtigt ud med de informationer, vi skulle, og sørgede for, at alle 3F’s medlemmer fik deres dagpenge. Det er vi godt tilfredse med”, konkluderer Lilholt. “Vi tager selvfølgelig nogle forholdsregler nu. Vi udbygger beredskabet og udvider vores modstandsdygtighed, og vi er flyttet til nye og kraftigere servere”.

Henrik Kramshøj mener, at angreb vil blive mere almindelige, da det er forholdsvis nemt for motiverede personer med et horn i siden på en virksomhed eller organisation at foretage simple angreb.

“Man skal se kritisk på sine systemer udefra”, lyder rådet. “Et simuleret angreb vil være en rigtig god idé”, siger Kramshøj.
Det er onlinechef hos 3F, Henrik Lilholt, enig i. “Det er jo ligesom at lave brandøvelser. Det har måske bare ikke været højt nok på listen”.

Læs Kramshøjs blogindlæg om Kunsten at afvikle DDoS på Version2.dk.

\