Posted by Wicher 
Topic: [Update: Het NOS-journaal heeft vodcasts, vrij te downloaden in h.264-formaat. Hoera! Hoe zouden ze dat met rechten geregeld hebben? Hoe dan ook, de algemene principes die hieronder worden uiteengezet zijn helaas nog wel geldig voor de content van de omroepen op bijvoorbeeld uitzendinggemist.nl - waarvoor hier een GreaseMonkey-script dat dumpen van de stream vereenvoudigt.]
Vandaag gaan we illegale software gebruiken om het NOS-journaal te kunnen downloaden. Wat we gaan doen is niet illegaal, maar het gekke is dat de software die we nodig hebben om iets legaals te doen, illegaal is! Dat is raar, heeft met de aard van het internet te maken, dus dat verdient een blogpost.
Eerst wat uitleg over hoe de wereld in elkaar zit. Daarna gaan we aan de slag. Ongeduldig, en niet geïnteresseerd in de wereld? Scrollen!
Fair use
Scenario: Je wilt het journaal kijken.
- maar niet nu, nee, straks in de bus
- of ergens anders waar geen internetverbinding is
- of je wilt er in kunnen spoelen zonder problemen
- of je wilt de aflevering archiveren
- of delen knippen & plakken naar zelfgemaakt videomateriaal (”remixen”)
- of je wilt niet helemaal die NOS-site navigeren, maar gewoon met één druk op de knop klaar zijn…
Downloaden dus. En dat wordt je zo moeilijk mogelijk gemaakt, ondanks het feit dat dat journaal van het door jou afgestane belastinggeld wordt gemaakt. Bovendien wordt het beschikbaar gesteld in een formaat waarvoor licenties van Microsoft of Windows-software nodig is — alsof de overheid alleen nog maar Audi’s zou toestaan op de publieke weg.
Raar, toch? Waarom kun je niet gewoon het journaal downloaden en het ergens op je gemak bekijken, of een fragment laten zien in een presentatie [edit: in privésfeer!] of zo? Dat heet ‘fair use’.
Geen fair use voor jou!
Voor de NOS is het probleem met ‘fair use’ dat ze daarvoor het videomateriaal moet aanbieden op een manier waarop ze verdere controle over het materiaal verliezen. Een voorbeeld: Als jij je gedownloade afleveringen in de bus bekijkt, dan is dat ‘fair use’. Maar ga jij een beeldbank beginnen met al het materiaal dat de NOS van een extern mediabedrijf betrekt (zaken als video’s van die aardbeving in Italië laatst), dan heeft de NOS een probleem omdat dit niet hun materiaal is, ze hebben het slechts in licentie. En die licentie voorziet hoogstwaarschijnlijk niet in ongebreidelde herverspreiding – dan zou de bezittende mediabedrijf het gras voor zijn eigen voeten wegmaaien, of hoe noem je dat.
Het punt is dus dat het heel moeilijk wordt dat laatste (copyrightschending) te verhinderen als je downloaden toestaat. Daarom wordt er gestreamd, en streamen gaat doorgaans in een nogal lullige resolutie. Jammer voor ons!
Maar streamen is toch eigenlijk een soort downloaden? Dat klopt. Als je het journaal bekijkt op de manier zoals de NOS het bedoeld heeft (en 99% van de mensen doet dat zo) komt het materiaal inderdaad langs je computer – maar het zit dan “opgesloten” in een mediaplayer die jou niet toestaat om dat wat er aan materiaal langszoeft op te slaan. Dat heet DRM – officieel Digital Rights Management, in de volksmond Digital Restrictions Management – en de mogelijkheid tot het opleggen van restricties is één van de redenen waarom de omroepen niet een open, licentievrij formaat als Ogg Theora gebruiken – een formaat waarvoor iedereen een mediaspeler kan programmeren, voor een desktopbesturingssysteem naar keuze. Want als iedereen zijn eigen mediaspeler kan schrijven, wie garandeert dan dat er beperkingen zullen worden ingebouwd om het opslaan van streams tegen te gaan?
Dus stop het materiaal in een niet-vrij formaat waarvoor een licentie van Microsoft nodig is, een licentie die Microsoft niet geeft aan makers van programma’s die opslaan van streams toestaan, en klaar! Toch?
Het is een handhavingsprobleem dat wordt afgewikkeld op de gebruikers, en wel door deze gebruikers sterk in hun vrijheden te beperken. Het is niet de fout van de NOS dat de wereld op deze manier in elkaar zit. Er is, voor zover ik weet, nog geen oplossing voor dit probleem zonder ingrijpende veranderingen in bedrijfsmodellen.
Ondertussen willen we nog steeds het journaal downloaden en daar fair-use dingen mee doen.
MPlayer to the rescue
Er is een relatief kleine, maar bovengemiddeld technisch onderlegde gemeenschap van gebruikers van en ontwikkelaars voor besturingssystemen uit de Linux/BSD-hoek. Via reverse engineering en ongetwijfeld wat hacks zijn er mediaspelers gemaakt die het ‘geheime’ video- en streamingformaat kunnen lezen, zonder daarvoor een licentie te kopen. Ik weet niet hoe het in Europa zit – wij hebben gelukkig geen softwarepatenten en geen DMCA – maar onder de Amerikaanse patentwetgeving is dat illegaal.
Download dus MPlayer van http://www.mplayerhq.hu, of installeer ‘m via je packagemanager. Gebruik van deze software is niet illegaal. De makers zijn mogelijk niet legaal bezig, maar wij blijven vandaag legaal.
De syntax is ongeveer zo (in een shelletje natuurlijk):
mplayer -dumpstream -user-agent browserid URL
waarbij browserid de browseridentificatiestring is zoals deze in de logs van de webserver van de publieke omroep zal gaan verschijnen, en URL de URL van de stream is.
Voor de browseridentificatie kun je alles invullen wat je maar wilt. Je kunt ‘m “Sjoernaaldownlooier 2.03 Beta” noemen als je wilt. Maar het punt is dat we niet willen opvallen, want we willen dit graag kunnen blijven doen. Een zeer geschikte browseridentificatiestring is daarom
Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)
Dat is die van een niet al te beste browser op een niet al te chique besturingssysteem
[edit: we moeten natuurlijk de UA van de player hebben, niet die van de browser!]
Windows-Media-Player/11.0.6001.7000
Dat is die van een mediaspeler met DRM, maar dat is dus wat de hoi polloi gebruiken.
Vervolgens moeten we MPlayer nog een URL geven. Uitvissen welke dat is is nontriviaal – een simpele ‘view source’ op de afspeelpagina van site van de NOS is niet voldoende omdat het streamobject met javascript geïnjecteerd wordt. Met de Firebug-extensie voor Firefox kun je wel de URL terugvinden, dus als je ook willekeurige afleveringen van uitzendinggemist.nl wilt downloaden kun je die gebruiken. De URL die ik gevonden heb wijst altijd naar het laatste journaal, hartstikke handig:
http://cgi.omroep.nl/cgi-bin/streams?/nos/journaal/laatstejournaalBB.wmv
Dus dan wordt het:
mplayer -dumpstream -user-agent 'Windows-Media-Player/11.0.6001.7000' 'http://cgi.omroep.nl/cgi-bin/streams?/nos/journaal/laatstejournaalBB.wmv'
(maar dan op één regel). Downloaden duurt net zolang als de aflevering zelf, even geduld dus. De output laat geen voortgang zien. Maar als je dit ziet is het goed gegaan:
Everything done. Thank you for downloading a media file containing proprietary and patented technology.
Core dumped ;)
Exiting... (End of file)
Voor de niet-nerds: Dit is humor, en ja, die “;)” is een knipoogsmiley. Hoe dan ook – we hebben nu een bestand ’stream.dump’. Die kun je afspelen met
mplayer stream.dump
Presto!
En verder
Als je echt wilt reltrappen kun je de boel nog met bijvoorbeeld ffmpeg2theora in een vrij en open formaat omzetten en verspreiden via BitTorrent. Dat is niet legaal. Het is ook niet legaal om dit (mbv wat scripts) met alle afleveringen van alles dat op uitzendinggemist.nl te verkrijgen is te doen. Niet legaal, maar wel technisch haalbaar, en zo’n onuitwisbare middelvinger van een terabyte is een statement zonder weerga dat wij het handhavingsprobleem van iemand anders niet op ons bordje willen krijgen, onderwijl vreugde verspreidend onder iedereen die ook in de bus een aflevering van ‘t een of ander wil bekijken.
Klinkt dat als imagine-all-the-people-dromerij? De Noorse publieke omroep stelt zelf programma’s beschikbaar in een open formaat, in hoge resolutie, via BitTorrent, zonder DRM.
Tags: drm, fair use, tv —
Danku! zeer handig, heerlijk tv kijken zonder dat fokking streaming geneuzel (sorry m’n frans is niet best). DWDD staat zometeen voor me klaar, zo blijf ik een beetje up-toe-deet met de Nederlandse massa hysterie :).
Overigens het NOS “journaal” is toch al tijden professioneel om zeep geholpen? Ik kijk het in ieder geval niet meer, RTL heeft nog wel een aardig nieuws vind ik.
Ik vind ‘fokkin’ prima Frans van je, staat op mijn lijstje beschaafde krachttermen ;-)
Wrt de kwaliteit van het journaal: mee eens, die is gekelderd. De nieuwslezers en dan met name de heren brabbelen hun zinnen tot moes; ze hebben onvoldoende controle over hun spraakspieren (verbale incontinentie dus) en het klinkt soms waarachtig wel alsof ze tijdens het oplezen warme Olvarit ingelepeld krijgen door mamslief. En de studiosetting benadert die van een vleesschudzender als TMF.
Van mij moeten ze elke maandag bij Henny Stoel en Harmen Siezen op de koffie, met kop, schotel en een koekje, netjes opzitten, en dan in het kringgesprek elkaar bedaard en gecontroleerd vertellen wat ze van het weekend hebben beleefd. Juf Henny geeft een tik met de lat als je niet keurig zit en Harmen… Harmen gooit hete koffie in je smoel als je weer ‘ewrw’ ipv ‘r’ zegt of anderszins articuleert alsof je net bij de kaakchirurg vandaan komt.
Mijn probleem met de NOS is vooral de nieuwskeuze en in hoeverre ze er op in gaan.
1) Ik hoef niet te weten dat een-of-andere-kerelt uit weet ik waar een paars hondje heeft. Laat dat a.u.b. gewoon weg.
2) Ik ben met name geinteresseerd in internationaal nieuws. De meest schokkende, indrukwekkende internationale gebeurtenissen worden niet getoond! Stelletje betweters zijn het!, ahem ;-).
3) De onderwerpen worden te kortaf gebracht. Ik verwacht van het tv journaal dat het enige uitleg geeft (context anyone?) met liefst ook wat beeldmateriaal. Als ik de headlines wil weten dan lees ik wel nu.nl. Niet te ko-hort dus.
RTL (-4 ochtennieuws) doet het naar mijn smaak velen malen beter.
Oh en het super hippe 30 seconden nederland-3 laat op de avond nieuws is al helemaal van de pot gerukt!
Tot zo ver mijn beklag.
Ik zie nu dat de NOS ook vodcasts aanbiedt, bijvoorbeeld deze van het 20:00-journaal. Tuttige resolutie, maar wel h.264 én je kan ‘m op volle snelheid downloaden. Heb maar even een updateje bovenaan de pagina geplaatst.
Hier een GreaseMonkey-script om makkelijker video van uitzendinggemist.nl te downloaden.