Getest: 6 softwaretools om een dataplatform te bouwen

Hoe zal het dashboard van de TMaaS-app eruitzien? We namen de proef op de som en selecteerden zes bestaande oplossingen voor het beheer van Business Intelligent management en (geospatiale) data, elk met hun troeven en beperkingen. De zes kanshebbers werden uitvoerig getest op het terrein. Ons besluit: Carto en Metabase kwamen voor onze vereisten als besten uit de test. Nochtans biedt Metabase te weinig ondersteuning voor de visualisatie van kaarten en aggregaties, terwijl Carto onvoldoende ondersteuning biedt voor basisvisualisaties zoals grafieken. In een ideaal scenario combineren we de mogelijkheden van Metabase (voor niet-geografische data) en Carto (voor geografische data).

Zes dashboardtools op een rijtje

  1. Metabase
  2. Apache Superset
  3. Qlik Sense (niet open source)
  4. Kibana
  5. Redash
  6. Carto

Metabase

Metabase dashboard voor visualisatie van real-time bezettingsgraad in Gentse parkeergarages, op een iPhone X
Figuur 1: Metabase dashboard voor visualisatie van real-time bezettingsgraad in Gentse parkeergarages, op een iPhone X

Metabase is een open source tool voor business intelligence management. De gebruiker kan er snel en gemakkelijk vragen stellen, die Metabase automatisch beantwoordt. De visualisaties zijn nuttig voor de gebruikte data. Metabase voelt heel intuïtief aan, is gemakkelijk te installeren en is geschikt voor het analyseren van oudere data.

Er zijn wel enkele minpunten. De ondersteuning voor spatio-temporele databases stelt teleur en er is geen ondersteuning voor plugins of extenties, dus aanpassingen moeten in de broncode worden geprogrammeerd. De interactie tussen de afzonderlijke widgets is beperkt (klik je bijvoorbeeld op een element in de ene tabel, dan zal dat niet automatisch oplichten in een andere tabel). Metabase biedt ook geen ondersteuning voor andere soorten databronnen.

Apache Superset

Het moderne business intelligence-systeem Apache Superset werd ontwikkeld door Airbnb. Voordien had het achtereenvolgens de namen Panoramix en Caravel. Apache Superset biedt heel wat mogelijke visualisaties, een gebruiksvriendelijke interface en authenticatie- en autorisatiesystemen op maat van bedrijven. De opbouw van Apache Superset is vergelijkbaar met die van Metabase. Het is gemakkelijk te installeren en biedt ondersteuning voor docker containers met webtoepassingen. De installatie van PostgreSQL en Redis is wel vereist.

Apache Superset geeft een betere ondersteuning voor geospatiale datasets, maar de vormgeving van de visualisaties kan niet gemakkelijk worden aangepast. Voor de meeste visualisaties moet bovendien gebruik gemaakt worden van externe mapping libraries zoals Mapbox. Het is niet mogelijk om met het systeem objecten in widgets te selecteren en in verschillende widgets te filteren. Apache Superset biedt wel een IFrame-widget, waarmee men aangepaste visualisaties kan ondersteunen, of YouTube videos text Superset dashboard voor de bestaande fietsdata van de Visserij.

Het selecteren en verzamelen van de data op de display gebeurt minder intuïtief dan bij Metabase. Er is ook geen functie ingebouwd om flat files of spreadsheets te maken en dus moeten datasets geïmporteerd worden in een databasemanagementsysteem. De mobiele ondersteuning van Apache Superset stelt teleur. De widgets hebben een reflowfunctie, maar ze benutten de volledige schermbreedte niet.

Qlik Sense

Met deze business intelligence en datavisualisatie toolset kunnen individuele gebruikers en organisaties data analyseren en inzichten halen uit grote hoeveelheden data. Met behulp van deeltools kan men data gezamenlijk analyseren en met een groep of organisatie delen hoe informatie wordt samengesteld.

Qlik Sense heeft drie producten: Qlik Sense Desktop, Cloud and Enterprise. De desktopversie is enkel voor persoonlijk gebruik en men kan er geen visualisaties of dashboard mee delen. Deze versie voldoet niet aan de vereisten op het vlak van distributie, samenwerking en webtoepassingen voor het neutrale dashboard van TMaaS.

Bij Qlik Sense Cloud kunnen individuen wel beperkt samenwerken aan het ontwerp van het dashboard, maar voor het hergebruik van bepaalde datamodellen en visualisaties of voor complexere authenticatie- en authorisatieprocessen moet men de Qlik Sense Enterprise-versie gebruiken.

In vergelijking met Metabase en Apache Superset biedt het open source-model Qlik Sense minder vrijheid. Qlik Sense Cloud Business en Qlik Sense Enterprise zijn betalende versies. De ondersteuning van databronnen is beperkt bij Qlik Sense. De ondersteuning voor geospatiale data is aanvaardbaar in de basiseditie, maar kan sterk worden uitgebreid met het Qlik Geoanalytics-pakket. Het importeren van data en het aanmaken van visualisaties is vrij eenvoudig in Qlik en voor elke type grafiek of widget zijn er verschillende mogelijkheden tot aanpassing. Anders dan de alternatieven kan Qlik Sense Cloud visualisaties filteren op basis van selecties in andere visualisaties of tabellen. De Qlik Sense dashboards hebben een goede ondersteuning voor mobiele apparaten.

Lijndiagrammen van tijdslijnen kunnen data indelen volgens verschillende vereisten (bv. het gemiddeld aantal fietsers dat dagelijks, wekelijks of maandelijks geteld worden op weg naar het centrum of in de richting van Gentbrugge). Figuur 2 toont dat er verschillende visualisaties zijn voor het berekenen van kleuren (in de tabel), marker sizes (in de tabel van de parkeergarages) …

Qlik – parkeergarage bezetting in Gent
Qlik Visserij fietstelpaal

Elasticsearch Kibana

Kibana is een open source data visualization toolset voor de Elasticsearch zoekmachine voor documenten en analyses. De gebruiker kan met Kibana data visualiseren die geïndexeerd zijn door een Elasticsearch cluster. Er is een breed aanbod aan visualisaties, zoals staaf- en lijngrafieken, warmtekaarten, marker layers en choropletenkaarten.

Kibana en Elasticsearch zijn gemakkelijk te installeren met de bijgeleverde docker container. Eens je eraan gewend bent, is de moderne interface heel gemakkelijk in gebruik. Een groot verschil met de andere oplossingen is dat bij Kibana een data-analyse vereist is om de data in de Elasticsearch index te importeren. Er is geen ondersteuning om verbinding te maken met verschillende soorten databases, maar dat is maar een klein minpunt.
De tijdsdimensie is heel belangrijk voor Elisticsearch en Kibana en daarom een essentiële filter voor de dashboards die ermee gemaakt zijn. Dat is interessant voor dashboards die steunen op (quasi)realtime-informatie: men kan bijvoorbeeld enkel de data van de laatste 15 minuten tonen. Gebruikers kunnen ook Lucene queries gebruiken om verder te filteren.

Kibana ondersteunt extensies die met de plugin interfaces gemaakt worden. Deze functie zou gebruikt kunnen worden om de integratie met ander modules te ontwikkelen indien het niet de bedoeling is om een database te importeren.
Het is ook mogelijk om individuele visualisaties of volledige dashboards te exporteren als een widget dat op verschillende websites of dashboards gebruikt kan worden. Voor zover we weten, is het nog niet mogelijk om widgets van andere websites te tonen op het Kibana-dashboard.

Het dashboard voor realtime-info van parkeergarages is gemakkelijk te installeren en beschikt over heel wat widgets. Het heeft een map met markers op elke locatie, aangepast en gekleurd volgens de beschikbare capaciteit.

Figuur X toont het dashboard voor de gegevens van de parkeervrije zone. Ze toont een kaart met de parkeerautomaten in Gent, met ook het aantal automaten waar al dan niet cash betaald kan worden.
Het onderste deel bevat een tabel met de naam en extra informatie over elke parkeervrije zone. In Elasticsearch is het mogelijk om complexe geografische elementen te importeren, maar die kunnen niet gevisualiseerd worden. Daarom hebben we het centrum van elke parkeerzone op de marker layer aangeduid.

Elasticsearch Kibana

De compabiliteit van het Kibana-dashboard met het kleine scherm van mobiele apparaten is niet optimaal. De schermbreedte wordt voor de helft niet gebruikt, terwijl de layout van de visualisaties niet automatisch wordt aangepast, met heel smalle grafieken en kaarten tot gevolg. In de full screen-modus zien we dezelfde problemen, hoewel de volledige schermbreedte wordt gebruikt, wat de bruikbaarheid ten goede komt.

Redash

De open source visualisatie- en dashboardtool Redash ondersteunt een groot aantal databronnen en datavisualisaties. Redash is gemakkelijk te installeren met een Docker Compose-file. De gebruiker kan databronnen toevoegen en queries invoeren in de ingebouwde SQL-editor. Een query kan uitgebreid worden met een of meer visualisaties, die aan het dashboard kunnen worden toegevoegd. Queries en dashboard kunnen zo ingesteld worden dat ze automatisch vernieuwd worden (van 1 minuut tot 24 uur). Er is echter geen ondersteuning voor realtime updates (push).

De mogelijkheden om kaarten te visualiseren zijn eerder beperkt, want enkel kaarten met markers en choropletenkaarten worden ondersteund. De map markers zijn eenvoudige gekleurde bollen, waarbij de kleur gebaseerd is op een bepaalde eigenschap. Het is niet mogelijk om de stijl van de markeringen te wijzigen op basis van continue waarden. Zo kan je bij realtime data van een parkeergarage de beschikbare plaatsen niet visualiseren, tenzij door ze met een query in te delen of de waarden in een popup te tonen.

Redash is vrij goed geschikt voor mobiele toestellen, al zijn er een paar beperkingen: het ruimtegebruik is niet optimaal (bijvoorbeeld bij legendes en bij mogelijkheden die afhankelijk zijn van mouse over behavior).

Carto

Carto visualisatie van de densiteit van parkeerautomaten in Gent
Carto visualisatie van de densiteit van parkeerautomaten in Gent

Dankzij zijn ingebouwde analyse-opties biedt Carto veel mogelijkheden: geocodering, buffering op afstand en reisduur, groeperen per gebied, clusteren, voorspellen, afwijkende waarden opsporen enzovoort. Anders dan de andere platformen is Carto in de eerste plaats een tool om interactieve GIS-applicaties te bouwen, en dus niet bedoeld voor dashboards.

Carto kan complexe geografische data visualiseren en analyseren, maar is niet geschikt voor het visualiseren van niet-geografische data. Het is wel mogelijk om aangepaste webtoepassingen te maken en uit te breiden met andere bibliotheken om kaarten en interacties toe te voegen. Aangezien Carto dient om applicaties te bouwen, hangt de toepassing op mobiele apparaten af van die applicaties. De Carto Builder is wel goed aangepast aan mobiele telefoonschermen.

Heb je vragen over dit onderwerp, neem dan gerust contact op met het TMaaS team!

30 november 2018

Gent op weg naar TMaaS / Blog

In de eerste fase van ons project hebben verschillende projectpartners waaronder Universiteit Gent, KU Leuven, EPF en Be-Mobile onderzoek gedaan. NM magazine schreef hier een boeiend artikel over. Lees het artikel op de website of download het NM magazine (#3, 2018). […]

Lees verder…

28 november 2018

Angel Lopez Aguirre, researcher voor TMaaS / Blog

Sinds hij in juni zijn PhD in Computer Science Engineering afsloot, werkt Angel Lopez Aguirre als postdoctoraal onderzoeker aan het Department of Industrial Systems Engineering and Product Design van de UGent. In zijn onderzoek legt hij zich toe op de kwaliteit van data in mobiliteitsstudies en het verwerkingsproces van crowdsourced data – in het bijzonder […]

Lees verder…

22 oktober 2018

Deelnemers gezocht voor workshops / Blog

Het onderzoeksteam van TMaaS is op zoek naar mensen die op maandag 19 november of woensdag 28 november willen deelnemen aan een interactieve workshop. Tijdens de workshop willen we samen met de Gentenaren én mensen die er vaak (of af en toe) komen, nadenken over hoe we ons digitaal informatieplatform kunnen vormgeven. Wij willen hieruit […]

Lees verder…