Binary Newsgroups

1 Inleiding

Het downloaden van muziek, films en software is de laatste jaren, met name door de opkomst van programma's als Kazaa, WinMX, etc., een populaire bezigheid geworden voor miljoenen Internetgebruikers. Genoemde programma's zorgen voor een uitstekende koppeling tussen vraag en aanbod middels het zogenaamde "peer-to-peer" principe. De aanbieder stelt zijn bestanden beschikbaar en de vrager kan, zodra hij gevonden heeft wat hij zocht, rechtstreeks downloaden vanaf de computer van de aanbieder. Bovendien zorgen programma's als Kazaa, WinMX, etc. ervoor dat er van meerdere aanbieders tegelijkertijd gedownload kan worden zodat de vrager niet afhankelijk is van één enkele aanbieder (natuurlijk mits de verscheidene aanbieders over hetzelfde bestand beschikken). Voordelen van deze aanpak zijn: (1) snel en eenvoudig vinden van bestanden (bijvoorbeeld MP3-bestanden), (2) veel keuze en (3) bijna altijd beschikbaar.

Naast de bovengenoemde methode is er een uitstekend alernatief om bestanden te downloaden, namelijk via zogeheten "binary newsgroups". Deze nieuwsgroepen bestaan, in tegenstelling tot 'normale' nieuwsgroepen, niet uit tekstberichten maar uit bestanden (ofwel: "binaries") en worden veelvuldig gebruikt om complete albums, speelfilms en (grotere) software projecten te verspreiden. Hierbij worden grote bestanden in kleine stukjes opgedeeld zodat het downloaden van een speelfilm bijvoorbeeld 60 kleine RAR-bestanden in fragmenten kan plaatsvinden.

Het gebruikte principe is eenvoudig: "binary newsgroups" worden gehost op servers van Internetaanbieders. Gebruikers van deze nieuwsgroepen kunnen bestanden uploaden naar een of meerdere niewsgroepen, waarbij geldt dat deze - volgens een "first in, first out" regel - na enige tijd verwijderd zullen worden. Afhankelijk van de aanwezige (hardware)capaciteit bij de betreffende Internetaanbieder zal er dus een zekere "retentietijd" ontstaan.

Deze handleiding is bedoeld voor mensen die gebruik willen gaan maken van "binary newsgroups". Naast de benodigdheden en de werking zullen ook verscheidene bronnen worden genoemd waar (per onderdeel) meer specifieke informatie gevonden kan worden.

2 Wat heb je nodig?

Om gebruik te kunnen maken van "binary newsgroups" zijn de onderstaande programma's vereist. Deze kunnen allemaal via Internet gedownload worden (zie sectie links).

Abonnement news server
FTD (Full Thread Database)
Newsreader
SmartPar / QuickPar
WinRar
Nero / Alcohol
Covers

3 Hoe werkt het?

3.1 Abonnement news server

Het is belangrijk om een abonnement te hebben bij een Internetaanbieder die "binary newsgroups" ondersteunt. Bovendien is het gewenst dat de Internetaanbieder een acceptabele retentietijd hanteert zodat het downloaden van een speelfilm niet binnen 6 uur hoeft plaats te vinden. In Nederland is een aantal zeer goede aanbieders aanwezig, zoals bijvoorbeeld Planet Internet, XS4ALL en QuickNet; de retentietijden van deze aanbieders loopt in de praktijk uiteen van ongeveer 2 tot 5 dagen. Daarnaast kan het gewenst (of zelfs noodzakelijk) zijn om een abonnement af te sluiten bij een speciale "news server", bijvoorbeeld UseNetServer. Hiermee kan de beschikbare retentietijd aanzienlijk verhoogd worden tot bijvoorbeeld 7 tot 40 dagen. Tenslotte, er bestaan ook "gratis news servers", bijvoorbeeld Astraweb, maar deze hebben - ondanks de soms goede retentietijden - als nadeel dat er een maximale bandbreedte of "traffic limit" aanwezig is.

3.2 FTD (Full Thread Database)

Hier begint het leven !! FTD is een programma dat - middels een on-line database - de mogelijkheid biedt om snel en eenvoudig te zien welke "posts" (lees: albums, films, software) beschikbaar zijn en te achterhalen via welke nieuwsgroep(en) deze kunnen worden gedownload.

Het gebruik van FTD vergt enige gewenning, met name door het gebruik van allerlei termen, kleuren, iconen, etc. Echter, de aanwezige helpfunktie (met daarin een aantal verwijzingen naar on-line handleidingen) biedt uitkomst voor de beginnende gebruiker.

Na een dubbelklik op een item zal, voor het betreffende item, zichtbaar worden welke bestanden moeten worden gedownload om het geheel compleet te maken. Daarnaast zullen allerlei berichten verschijnen die zowel door de "poster" als door allerlei "downloaders" geschreven zijn.

Naast het weergeven van "posts" beschikt FTD over een "watchlist" waarin kan worden bijgehouden welke "posts" gewenst zijn om uiteindelijk te gaan downloaden.

3.3 Newsreader

Om daadwerkelijk te gaan downloaden is een "binary newsreader" vereist. Als voorbeeld wordt hier uitgegaan van Newsbin Pro, een zeer uitgebreide newsreader die bovendien de mogelijkheid biedt om via meerdere servers ("cross server") te downloaden.

Na het instellen van de server(s) en het selecteren van één of meerdere nieuwsgroepen kan gestart worden met het downloaden van de "article headers". Dit zal, met name de eerste keer, veel tijd vergen. De "article headers" bevatten informatie die nodig is om de bestanden (die hieraan gekoppeld zijn) daadwerkelijk te kunnen verzamelen.

Nadat de "article headers" van een bepaalde nieuwsgroep zijn binnengehaald kan - binnen de nieuwsgroep waarvan de "spool" aktief is - gezocht worden naar de bestanden die via FTD gevonden zijn. Bijvoorbeeld: de speelfilm "The Movie" bestaat (volgens FTD) uit 60 bestanden met de namen "filmpje_part01.rar", "filmpje_part02.rar", etc. Die bestanden moeten dus nu gezocht worden binnen Newsbin Pro.

Het simpelweg selecteren (aanvinken) van de gewenste bestanden is vervolgens voldoende om de gevonden bestanden op de "download list" te zetten en het download-proces zelf te laten beginnen.

3.4 SmartPar / QuickPar

Nadat de bestanden van een bepaalde speelfilm zijn gedownload kan, middels SmartPar (voor PAR-bestanden) of QuickPar (voor PAR2-bestanden) gecontroleerd worden of alle bestanden aanwezig zijn èn of alle bestanden compleet zijn. Vanzelfsprekend kan deze methode alleen worden toegepast indien de "poster" PAR- of PAR2-bestanden heeft meegestuurd.

Zowel SmartPar als QuickPar beschikken over de mogelijkheid om bestanden te repareren (of: aan te vullen). Indien bijvoorbeeld 50 van de 60 bestanden zijn gedownload dan bestaat de kans dat de 10 missende bestanden middels SmartPar of QuickPar zullen worden aangevuld en dat de benodigde bestanden voor de speelfilm alsnog compleet zijn.

Indien het nog steeds niet mogelijk blijkt om de (in het hierboven gebruikte voorbeeld) 10 bestanden te genereren, dan bestaat altijd de optie om - via FTD - extra "blokken" aan te vragen. Deze "blokken" kunnen vervolgens middels extra PAR2-bestanden geupload worden door iemand die de bestanden voor de speelfilm al wel compleet heeft.

3.5 WinRar

Zodra alle bestanden compleet aanwezig zijn kan het uitpakken en samenvoegen van de bestanden beginnen. In het gebruikte voorbeeld (waarbij we te maken hebben met RAR-bestanden [dit is een formaat dat vergelijkbaar is met het formaat van ZIP-bestanden]) zullen we de bestanden "filmpje_part01.rar" tot en met "filmpje_part60.rar" gaan uitpakken en samenvoegen in een aparte folder zodat het terugvinden van de betreffende speelfilm eenvoudig blijft. Immers, de uitgepakte en samengevoegde bestanden zullen zelden resulteren in een (groot) bestand met een duidelijk te herkennen naam.

Bij het downloaden van speelfilms wordt veelvuldig gebruik gemaakt van RAR-bestanden, terwijl (bijvoorbeeld) muziekalbums vaak in MP3-formaat worden toegepast. In het laatste geval is het uitpakken en samenvoegen van alle afzonderlijke bestanden niet nodig.

3.6 Brandprogramma

Na het uitpakken en samenvoegen ontstaat (meestal) één van de volgende situaties:

  1. Het resultaat bestaat uit één MPG-bestand, bijvoorbeeld "cd1.mpg";
  2. Het resultaat bestaat uit een zogeheten "image", waarbij bijvoorbeeld de bestanden "cd1.cue" en "cd1.bin" zijn ontstaan.

In het eerste geval kan - middels het brandprogramma (bijvoorbeeld Nero Burning Rom) - een SVCD gebrand worden. In het tweede geval kan gebruik gemaakt worden van de optie "burn disc image" om de CD's in de uiteindelijk gewenste vorm te realiseren.

Het komt wel eens voor dat het resultaat (na het uitpakken en samenvoegen van de gedownloade bestanden) uit een vreemd bestandsformaat bestaat. In dat geval kan de oplossing worden gevonden in FTD; er zullen ongetwijfeld meer mensen zijn die niet weten hoe dit exotische bestandsformaat op CD gezet moet worden.

3.7 Covers

Tenslotte, indien gewenst kan via Internet gezocht worden naar de betreffende CD-hoes zodat het project perfekt kan worden afgerond.

4 Bronnen

4.1 Download benodigde software

http://www.ftd.nu/new/

Download FTD

http://www.newsbin.com/downloads.htm

Download Newsbin Pro

???

Download SmartPar (PAR)

http://www.nettle.us/quickpar/QuickPar-0.5.1.zip Download QuickPar (PAR2)
http://www.rarlab.com/rar/wrar300nl.exe Download WinRar
??? Download Nero

 4.2 Uitleg en interessante links

http://www.pennyfield.com/~acbfaq/ Uitleg algemeen
http://binaries.coolbegin.com/ Links (erg goed!)
http://www.usenetserver.com UseNetServer
http://www.cdcovers.cc Covers (website is niet altijd on-line!)