Er is de laatste jaren veel tijd en energie gestoken in het ontwikkelen van grootschalige data analytics platforms gebaseerd op Hadoop, maar er wordt maar weinig geschreven over hoe deze data nu eigenlijk verzameld en gestructureerd wordt. Een belangrijke vraag, zeker als je een open source oplossing wilt ontwikkelen om je eigen data te structureren en analyseren.

Met honderden terabytes aan log data per dag is een goede infrastructuur voor Twitter van essentieel belang om al deze data effectief te kunnen analyseren. In het rapport ‘The Unified Logging Infrastructure for Data Analytics at Twitter’ delen vijf medewerkers van Twitter’s technische team hun bevindingen in hun zoektocht naar een goede log data infrastructuur.

Rapport downloaden »