DR: Cloud giver stabilitet – men er dyrt

Nede under DR-Byen, findes et gangsystem, som gør det muligt at krydse frem og tilbage mellem studier, koncerthus, kantine og de forskellige redaktioner uden at komme op i dagslys. Det er hernede under DRs hovedkvarter på Amager, en del meter under Ørestadens gennemgående kanal, at DR’s mange servere gemmer sig bag en anonym grålig dør.

Det er herfra, at Danmarks nok største streaming-setup har været drevet, og i øvrigt her, at alle DRs øvrige servere står opmarcheret. SAMDATA Magasinets udsendte er på rundvisning med DR’s Streaming manager Thomas Elton Jensen, og af sikkerhedsgrunde har vi chaperone med på turen. For selv om han har ansvar for serverne, har han ikke absolut behov for adgang. Og derfor virker hans adgangskort heller ikke her.

Inde bag døren er der rimeligt køligt, og på sine steder blæser der en pæn vind. Serverne står linet op i en stribe gange, men på nogle af de bagerste rækker, står hylderne tomme. Og der er blevet mærkbart koldere i serverrummet, fordi der er færre maskiner, end der plejede at være. DR har nemlig både virtualiseret servere internt, og har sendt en stribe opgaver ud i cloud-løsninger.

Virtualisering af servere er en af hovedteknologierne bag cloud-computing. Med en virtualiseret server kan data ligger hvor der er plads, og opgaver løses af ledige processorer. Dermed udnyttes både lagerplads og computerkraft langt bedre.

Cloud skalerer og giver stabilitet

Og det DR gør, er en del af en større tendens, forklarer Preben Mejer fra firmaet Innovationlab, der rådgiver firmaer om at begå sig i fremtidens IT-verden. ”Cloudcomputing giver en driftsmæssig stabilitet, som det kan være vanskelige at opnå i mindre installationer, og så skalerer løsningen nemt. Det vil sige, at man kan skrue op og ned efter behov, og aldrig får kapacitetsproblemer,” siger Preben Mejer.

Hele vores tilgang til IT er ved at blive ændret, fortæller Preben Mejer. ”Det vi oplever, er et kæmpeskift fra IT købt som komponenter til IT købt som en service. IT er nu en utility på lige fod med strøm og vand, og noget man betaler for efter behov og forbrug i stedet for noget, man investerer i og afskriver på.”

”IT-afdelingen i fremtiden ser helt anderledes ud end for blot få år siden. Den spiller i dag sammen med forretningen, og er snarere at betragte som en kombination af et serviceorgan og en forretningsudviklingsaktivitet,” siger Preben Mejer. Og det er netop denne rejse, som DR har været på de sidste år.

Teknologiskifte hver 4. år

Hos DR har serverparken haft stabilt vokseværk de sidste 15-20 år, men det har ikke været en forudsigelig opgave af den grund. ”Vi har lidt en tommelfingerregel om, at vi skifter teknologi hver fjerde år,” fortæller Thomas Elton Jensen.

DR lagde ud med at streame i Real Video, der i sen-halvfemserne var de facto videostandard på nettet. Siden skiftede man til Windows Media Player, både fordi udgifterne til Real-licenser steg kraftigt, og fordi Microsofts standard overtog markedet.

Det resulterede i vrede hos Mac- og Linux-brugere, der skulle installere særlige programmer, for at se DRs streamingtilbud. ”Kvaliteten blev aldrig særligt god for de brugere, og vi fik mange tæv dengang. Folk beskyldte os for at være gift med Microsoft, men vi er meget drevet af et public service mål om at levere noget til alle. Det er normalt det afgørende parameter for os,” siger Thomas Elton Jensen. Omkring 2009 fulgte et nyt skifte til H.264-standarden, der kan ses på tværs af platforme.

Men hver skifte er ikke en simpel operation, hvor man blot skifter software på en server. ”Der skulle både skiftes live-encodere, live-servere og formater i alle vores videoafspillere. Vi har også et omfattende bagkatalog af programmer, der skulle encodes i et nyt format. Det kompliceres af, at forskellige afdelinger udviklet forskellige video-playere til deres eget behov. Det gælder fx DR Skum, DR Undervisning, og DR Ungs Pirat-tv, hvor man ikke uden videre kunne smide det gamle indhold ud.”

I modsætning til andre firmaer, der kan tage en mere kølig cost-benefit beregning, når der skulle regnes på udgiften til server-parken, er DR afhængig af politisk hensyntagen. Det ville ikke have været muligt pludseligt at kaste alt det indhold over bord, som tidligere var produceret hos DR Ung eller DR Undervisning, selv om der måske var få brugere af de gamle udsendelser. ”Det var en af de her opgaver, hvor man skal skifte motoren ud på flyet, samtidigt med, at man holder den i luften,” siger Thomas Elton Jensen.

Lagt ned af drama, nyheder og kongelige

Fra 2010 og fremefter steg streaming-mængden konstant med 30-40 procent om året. Danskerne lagde deres tv-vaner om og skiftede samtidigt til bedre ADSL-forbindelser, som kunne håndtere bedre billedkvalitet og dermed større forbrug. DRs brugere begyndte at sende en lind strøm af klager. “Vi må erkende, at vi har været meget på hælene i de år,” siger Thomas Elton Jensen. ”Der var et par år, hvor streaming lå helt i top på listen over ting, som folk klagede over hos DRs Lytter- og Seerredaktør.” Netop hans årlige topliste, plejer at give omtale i en del dagblade, og påkalder sig derfor også en del intern opmærksomhed.

”Hver fredag og søndag aften, var den gal, når vi gik i luften med enten X-factor eller en af de store Drama-udsendelser. Når der var store royale begivenheder samt breaking news, kunne brugerne trække 50 Gbps., og det resulterede hurtigt i hakkende streams, og buffer-symbol hos licensbetalerne, der kvitterede med en lind strøm af klager.” Da DR i mellemtiden havde skiftet licens-princip, så alle med adgang til internettet skulle betale licens, forventede danskerne, at de altid skulle kunne se DRs kanaler på nettet uden problemer.

Vi investerede for lidt

Thomas Elton Jensen var fuldtids dedikeret til at lede efter langsigtede løsninger på serverproblemerne – og med at besvare telefonopkald og mails, hver gang DRs servere blev overbelastet. ”Vi justerede en del på serverne, så de blev tilpasset forskellige typer af streaming. Vi byggede et cache-cluster, som egner sig godt, når mange brugere vil se den samme udsendelse. Her forsyner man maskinen med hurtige SSD-diske, som lynhurtigt kan betjene mange brugere, der skal se den samme udsendelse.”

Thomas Elton Jensen fortsætter: ”Men, mens 10.000 sidder og ser det sidste afsnit af Borgen, så er der måske samtidigt andre brugere, der gerne vil se nogle forskellige gamle udsendelser, som skal hentes fra bageste hylde – f.eks. fra vores Bonanza-arkiv. Samlet set har vi over 50.000 udsendelser liggende, og det tager meget længere tid at hente frem, fordi de ikke ligger i en cachefil klar på serveren. Men efter et halvt års tid, havde vi fået justeret vores cluster-setup, så det var mere stabilt.” Selv om serverparken blev udvidet og optimeret, og en overgang blev mere stabil, var det en stakket frist, fordi streamingforbruget hele tiden steg.

”Vi må nok erkende, at DR investerede for lidt i forhold til behovet,” erkender Thomas Elton Jensen. ”Man skal huske, at streaming er et meget lille område, set fra en generaldirektørs område. Det er stadig kun nogle få procent, der ser tv via nettet, og derfor blegner behovet lidt ved siden af de store DR-satsninger og de store sparerunder som byggeriet af koncerthuset resulterede i. Reelt fik vi sjældent de beløb, vi bad om.”

Penge til outsourcing

Et par begivenheder har dog været med til at sætte streaming på dagsordenen. Dels betød lanceringen af DR Update et øget fokus på streaming, ligesom de mange klager havde betydning. Men som sædvanligt skulle der en udefrakommende faktor til.

”Netflix har nok haft størst betydning. De har vist, at man kan levere TV over nettet i fuld broadcast-kvalitet, hvor brugerne der hverken har været startuptider eller buffering-problemer. Det har sat en ny standard.”

Netflix har haft en stor betydning for opfattelsen af, hvad brugerne kan forvente af webløsninger. Det er først da de rykkede ind i Danmark, at alle begyndte at regne med, at streamingkvaliteten er lige så god som broadcast, at der hverken er opstartstid eller bufferproblemer, siger DRs streamingchef Thomas Elton Jensen. (Foto: Ernst Poulsen)

DR havde løbende kigget på muligheden for at outsource til en cloud-løsning og købte også eksterne konsulenter til at analysere rentabilitet og evt. fordele. Først i 2013 begyndte det at give mening. DRs formål med cloud-løsningen ligner den mange andre firmaer stiler mod. ”Vi havde tre mål med outsourcingen: Bedre kapacitet ved peaks, bedre stabilitet så brugerne slap for ventetider med buffering og endeligt at vi skulle blive hurtigere time-to-market, når der kom nye platforme, som vi skal være tilgængelige på.”

Hele processen tog et års tid, blandt andet fordi, man skulle i EU-udbud. Opgaven blev vundet af Akamai, der globalt er en sværvægter inden for cloudcomputing, og som tillige har erfaring med streaming for store tv-stationer. En af fordelene ved løsningen har også været, at Akamai ofte stiller servere ud til ISP’ere i de forskellige lande. Dermed vil man ofte skære nogle led af kæden, og sikre et mere stabil oplevelse hos slutbrugeren. ”Når man går fra at drifte selv til at outsource, skal man have nogle præcise måltal, så man kan specificere opgaven og sikre sig, at opgaven bliver løst tilfredsstillende. Og vi har fået et langt mere stabilt setup, der stort set ikke går ned.

Førhen oplevede 10-15 procent af brugerne buffering mange minutter i løbet af en times udsendelse, nu er det kun nogle få procent af brugerne, der oplever problemer i nogle få sekunder.” Samlet set er antallet af streaming-klager til DR faldet betydeligt. Den tydeligste indikator på fremgangen er imidlertid en hel anden: ”Jeg tror kun, at jeg bruger halvdelen af min tid på streaming distribution, hvor det før var et fuldtidsjob bare at holde det i luften. Jeg har nu langt mere tid til at kigge fremefter,” konstaterer Thomas Elton Jensen lettet.

Cloud gav ikke besparelse

Selv om DR har kunnet pensionere en del servere, og nu har outsourcet til et firma, der er specialister i at håndtere store datamængder, har det ikke resulteret i en besparelse. ”Cloud-løsningen er ikkenødvendigvis billig. Vi har fået et setup, hvor vi har fået færre klager, hvor vi ikke selv skulle til at have et kæmpe drifts-team, der var på døgnvagt, men løsningen er ikke billigere, end da vi selv drev det. På ingen måde.” Og selv om der nu bruges flere penge på streaming, så betyder det ikke, at DR har fået den perfekte løsning.

”Vi leverer en stream med 1,3 mb/sek. Det er langt fra HD-kvalitet, og noget mindre end vores norske kollegaer i NRK, der lige er gået op til 4,2 mb/sek og Netflix, der ligger på 6 mb/sek. Det er først der, at vi kan begynde at sammenligne med normal broadcast-kvalitet, men det har vi ikke råd til. Vores cloud-regning ville ganske enkelt blive for dyr, hvis vi leverede i den kvalitet,” konstater Thomas Elton Jensen.

 IT afdelingen i fremtiden ser helt anderledes ud end for blot få år siden. Den spiller i dag sammen med forretningen og er snarere at betragte som en kombination af et serviceorgan og en forretningsudviklingsaktivitet

Preben Mejer

Data i væggen

Tendensen går dog mod billigere løsninger, forklarer Preben Mejer ”Cloud er på vej ind i næste fase, hvor få store spillere kommer til at tegne udviklingen fremover, de klare vindere er Amazon, Google og Microsoft. Denne polarisering vil føre til fortsatte prisfald på cloud ydelser, og dermed gøre cloud endnu mere attraktiv.” Han henviser også til internationale undersøgelser der viser, at det kan være omkring 73 procent billigere at arbejde med cloud i forhold til traditionel serverstruktur.