Skip to article frontmatterSkip to article content
Sensorjournalistikk

Visualisering i notebooks 🗺️

Medieklyngen

Når vi nå har brukt litt tid på å hente ut og analysere data med DuckDB, er neste steg å jobbe visuelt med materialet gjennom visualisering. Det gjør vi i såkalte notebooks – digitale notatbøker som lar oss dokumentere hele arbeidsprosessen med både tekst og kode. Du kan kjøre notebooks lokalt, for eksempel med Jupyter Notebook, men for enkelhetens skyld bruker vi Google Colab – en nettbasert løsning som sikrer at alle har samme utgangspunkt.

Hva er notebooks?

En notebook er et interaktivt verktøy der du skriver og kjører kode direkte i nettleseren. Tenk på det som en blanding av en tekstbehandler og en kode-editor, hvor du kan kombinere forklarende tekst, bilder og kode – alt i én og samme arbeidsflate. Det er et populært verktøy innen datavitenskap, maskinlæring, undervisning – og ikke minst, datajournalistikk.

De viktigste egenskapene:

  1. Kjøring av kode i små deler (celler)): Du kan kjøre koden stykkevis, noe som gjør det enklere å teste, feilsøke og jobbe iterativt.
  2. Kombinasjon av tekst og kode: Du kan forklare hva du gjør underveis, noe som gjør prosessen mer forståelig – både for deg selv og andre.
  3. Visualiseringer: Grafer, kart og diagrammer kan vises direkte i notatboken.
  4. Dokumentasjon: Hele arbeidsprosessen lagres, slik at du enkelt kan reprodusere resultatene. Perfekt hvis du for eksempel skal sende inn en SKUP-rapport.

I de neste øvelsene skal vi bruke notebooks, DuckDB, litt enkel Python, grafverktøyet Plotly, og visualiseringsverktøyet Lonboard. Det er flere nye verktøy, men vi holder det på et overkommelig nivå. Har du ikke programmert før, trenger du ikke bekymre deg – mange av kommandoene vil ligne på det du allerede har brukt i DuckDB.

Opprette en notebook

Vi starter med å opprette en tom notebook i Google Colab:

  1. Gå til Google Colab.

  2. Velg Fil → Ny notatbok. Du får opp en tom notatbok som ser slik ut:

Figur 1: Tom notebook.

Legg til tekst- og kodeceller

En notebook består av to hovedtyper celler: tekst og kode.

Slik går du frem:

Legg til en tekstcelle

  1. Klikk på Tekst-knappen i menylinjen.

Figur 2: Legg til ny tekstlinje.

  1. Skriv følgende:
# Installer nødevendige biblioteker

Legg til en kodecelle

  1. Klikk på Kode-knappen, og skriv inn:
!pip install lonboard==v0.9.3 duckdb plotly.express

Dette installerer Lonboard (versjon 0.9.3), DuckDB og Plotly i notatboken.

  1. Trykk på play-ikonet til venstre for cellen for å kjøre den. Du ser nå at Colab laster ned og installerer verktøyene.

Figur 3: Første kodecelle installerer avhengigheter.

Last inn DuckDB og nødvendige moduler

  1. Lag en ny tekstcelle med følgende innhold:
# Last inn DuckDB og nødvendige tilleggsmoduler
  1. Deretter legger du inn følgende kode i en ny kodecelle:
import duckdb
con = duckdb.connect()
con.sql('INSTALL spatial;')
con.sql('INSTALL httpfs;')
con.sql('INSTALL h3 FROM community;')
con.sql('LOAD spatial;')
con.sql('LOAD httpfs;')
con.sql('LOAD h3;')

Du vil kanskje kjenne igjen noen av kommandoene, selv om syntaksen nå er litt annerledes. Kort fortalt er de skrevet i Python og sendes videre til DuckDB-biblioteket for å kjøres.

  1. Kjør cellen med play-knappen. Når alt er ferdig, vises et grønt avhukingssymbol som bekrefter at alt fungerte som det skulle.

Legg inn nøkler til Medieklyngens server

Vi er snart klare til å hente data fra Medieklyngens server.

  1. Start med en ny tekstcelle:
# Legg inn nøkler til serveren
  1. Og så en ny kodecelle med dette innholdet:
con.sql("CREATE SECRET (TYPE R2, KEY_ID '9030e0f90a86af08b08b6e2a1222a778', SECRET '2fe64ae1c22869400f577bb9421602f0f81a83a2f658cea6bdd556f4fc65064b', ACCOUNT_ID 'bca3475a0f4afeb0640daafc17ec2b18');")
  1. Trykk på play. Hvis alt gikk bra, vil du se følgende svar fra Colab:
┌─────────┐
│ Success │
│ boolean │
├─────────┤
│ true    │
└─────────┘

Gratulerer! Du er nå logget på serveren og klar til å hente og visualisere data.

Last inn og undersøk data

Nå skal vi hente inn et datasett fra 20. mars 2025. Start med å legge til en ny tekstcelle med følgende tittel:

# Last inn data fra 20. mars 2025

Deretter legger du inn denne kodecellen:

con.sql("CREATE OR REPLACE TABLE FLIGHTS_20_03_2025 AS SELECT * FROM read_parquet('r2://medieklyngen-radar-data/adsb/history/*/*/*/*.parquet', hive_partitioning = true) WHERE year = 2025 AND month = 03 AND day = 20;")

Dette kan ta litt tid. Du ser fremdriften via den horisontale linjen under cellen. Når den grønne avkrysningsboksen vises, er operasjonen fullført og du kan gå videre.

Tell antall datapunkter

Legg til en ny tekstcelle:

# Tell antall datapunkter

Og deretter en kodecelle:

con.sql("SELECT count(*) FROM FLIGHTS_20_03_2025")

Du får et svar som dette:

┌──────────────┐
│ count_star() │
│    int64     │
├──────────────┤
│      4111738 │
└──────────────┘

Over 4,1 millioner rader – et solid utgangspunkt!

Se på datastrukturen

Legg inn en ny tekstcelle:

# Beskriv datastrukturen

Og legg deretter inn denne kodecellen:

con.sql("DESCRIBE FLIGHTS_20_03_2025").show(max_width=100)

Resultatet ser omtrent slik ut – og mye bør nå være kjent stoff:

┌─────────────┬────────────────────────────────────────────────────────────────┬─────────┬─────────┬─────────┬─────────┐
│ column_name │                          column_type                           │  null   │   key   │ default │  extra  │
│   varchar   │                            varchar                             │ varchar │ varchar │ varchar │ varchar │
├─────────────┼────────────────────────────────────────────────────────────────┼─────────┼─────────┼─────────┼─────────┤
│ dbFlags     │ BIGINT                                                         │ YES     │ NULL    │ NULL    │ NULL    │
│ desc        │ VARCHAR                                                        │ YES     │ NULL    │ NULL    │ NULL    │
│ icao        │ VARCHAR                                                        │ YES     │ NULL    │ NULL    │ NULL    │
│ ownOp       │ VARCHAR                                                        │ YES     │ NULL    │ NULL    │ NULL    │
│ r           │ VARCHAR                                                        │ YES     │ NULL    │ NULL    │ NULL    │
│ reg_details │ STRUCT(description VARCHAR, iso2 VARCHAR, iso3 VARCHAR, nati…  │ YES     │ NULL    │ NULL    │ NULL    │
│ t           │ VARCHAR                                                        │ YES     │ NULL    │ NULL    │ NULL    │
│ timestamp   │ TIMESTAMP                                                      │ YES     │ NULL    │ NULL    │ NULL    │
│ trace       │ STRUCT(aircraft STRUCT(alert BIGINT, alt_geom BIGINT, baro_r…  │ YES     │ NULL    │ NULL    │ NULL    │
│ year        │ BIGINT                                                         │ YES     │ NULL    │ NULL    │ NULL    │
│ day         │ VARCHAR                                                        │ YES     │ NULL    │ NULL    │ NULL    │
│ month       │ VARCHAR                                                        │ YES     │ NULL    │ NULL    │ NULL    │
├─────────────┴────────────────────────────────────────────────────────────────┴─────────┴─────────┴─────────┴─────────┤
│ 12 rows                                                                                                    6 columns │
└──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┘

Inspiser dataene

Neste steg er å ta en nærmere titt på selve innholdet i tabellen. Legg først inn en tekstcelle:

# Inspiser dataene
con.sql("SELECT * FROM FLIGHTS_20_03_2025").show(max_width=2500)
┌─────────┬─────────────────┬─────────┬─────────┬─────────┬────────────────────────────────────────────────────────────────────────────────────┬─────────┬─────────────────────┬─────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┬───────┬─────────┬─────────┐
│ dbFlags │      desc       │  icao   │  ownOp  │    r    │                                    reg_details                                     │    t    │      timestamp      │                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                    trace                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                    │ year  │   day   │  month  │
│  int64  │     varchar     │ varchar │ varchar │ varchar │      struct(description varchar, iso2 varchar, iso3 varchar, nation varchar)       │ varchar │      timestamp      │                                   struct(aircraft struct(alert bigint, alt_geom bigint, baro_rate bigint, category varchar, emergency varchar, flight varchar, geom_rate bigint, gva bigint, ias bigint, mach double, mag_heading double, nac_p bigint, nac_v bigint, nav_altitude_fms bigint, nav_altitude_mcp bigint, nav_heading double, nav_modes varchar[], nav_qnh double, nic bigint, nic_baro bigint, oat varchar, rc bigint, roll double, sda bigint, sil bigint, sil_type varchar, spi bigint, squawk varchar, tas bigint, tat varchar, track double, track_rate double, true_heading double, "type" varchar, "version" bigint, wd bigint, ws bigint), altitude bigint, flags bigint, geometric_altitude bigint, geometric_vertical_rate bigint, ground_speed double, h3_15 varchar, indicated_airspeed bigint, lat double, lon double, on_ground boolean, roll_angle double, source varchar, "timestamp" varchar, track_degrees double, vertical_rate bigint)                                    │ int64 │ varchar │ varchar │
├─────────┼─────────────────┼─────────┼─────────┼─────────┼────────────────────────────────────────────────────────────────────────────────────┼─────────┼─────────────────────┼─────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┼───────┼─────────┼─────────┤
│       0 │ AIRBUS A-320NEO │ 407568  │ NULL    │ G-UZHI  │ {'description': general, 'iso2': GB, 'iso3': GBR, 'nation': United Kingdom}        │ A20N    │ 2025-03-20 00:00:00 │ {'aircraft': {'alert': 0, 'alt_geom': 39025, 'baro_rate': 64, 'category': A3, 'emergency': NULL, 'flight': EZY83FE , 'geom_rate': 64, 'gva': 2, 'ias': 240, 'mach': 0.776, 'mag_heading': 101.78, 'nac_p': 9, 'nac_v': 1, 'nav_altitude_fms': NULL, 'nav_altitude_mcp': 39008, 'nav_heading': 0.0, 'nav_modes': NULL, 'nav_qnh': 1013.6, 'nic': 8, 'nic_baro': 1, 'oat': NULL, 'rc': 186, 'roll': NULL, 'sda': 2, 'sil': 3, 'sil_type': perhour, 'spi': 0, 'squawk': 4633, 'tas': NULL, 'tat': NULL, 'track': 104.18, 'track_rate': NULL, 'true_heading': 104.21, 'type': adsb_icao, 'version': 2, 'wd': NULL, 'ws': NULL}, 'altitude': 39025, 'flags': 1, 'geometric_altitude': 39025, 'geometric_vertical_rate': 64, 'ground_speed': 485.8, 'h3_15': 8f1fa6a6ed849b6, 'indicated_airspeed': 240, 'lat': 50.625412, 'lon': 4.749635, 'on_ground': false, 'roll_angle': NULL, 'source': adsb_icao, 'timestamp': 2025-03-20 18:33:30, 'track_degrees': 104.2, 'vertical_rate': 64}                           │  2025 │ 20      │ 03      │
│       0 │ AIRBUS A-320NEO │ 407568  │ NULL    │ G-UZHI  │ {'description': general, 'iso2': GB, 'iso3': GBR, 'nation': United Kingdom}        │ A20N    │ 2025-03-20 00:00:00 │ {'aircraft': {'alert': NULL, 'alt_geom': NULL, 'baro_rate': NULL, 'category': NULL, 'emergency': NULL, 'flight': NULL, 'geom_rate': NULL, 'gva': NULL, 'ias': NULL, 'mach': NULL, 'mag_heading': NULL, 'nac_p': NULL, 'nac_v': NULL, 'nav_altitude_fms': NULL, 'nav_altitude_mcp': NULL, 'nav_heading': NULL, 'nav_modes': NULL, 'nav_qnh': NULL, 'nic': NULL, 'nic_baro': NULL, 'oat': NULL, 'rc': NULL, 'roll': NULL, 'sda': NULL, 'sil': NULL, 'sil_type': NULL, 'spi': NULL, 'squawk': NULL, 'tas': NULL, 'tat': NULL, 'track': NULL, 'track_rate': NULL, 'true_heading': NULL, 'type': NULL, 'version': NULL, 'wd': NULL, 'ws': NULL}, 'altitude': 39025, 'flags': 1, 'geometric_altitude': 39025, 'geometric_vertical_rate': -32, 'ground_speed': 486.8, 'h3_15': 8f1fa0d335a6905, 'indicated_airspeed': 239, 'lat': 50.602795, 'lon': 4.889361, 'on_ground': false, 'roll_angle': 0.0, 'source': adsb_icao, 'timestamp': 2025-03-20 18:34:10.800000, 'track_degrees': 104.2, 'vertical_rate': 0}     │  2025 │ 20      │ 03      │
│       0 │ AIRBUS A-320NEO │ 407568  │ NULL    │ G-UZHI  │ {'description': general, 'iso2': GB, 'iso3': GBR, 'nation': United Kingdom}        │ A20N    │ 2025-03-20 00:00:00 │ {'aircraft': {'alert': NULL, 'alt_geom': NULL, 'baro_rate': NULL, 'category': NULL, 'emergency': NULL, 'flight': NULL, 'geom_rate': NULL, 'gva': NULL, 'ias': NULL, 'mach': NULL, 'mag_heading': NULL, 'nac_p': NULL, 'nac_v': NULL, 'nav_altitude_fms': NULL, 'nav_altitude_mcp': NULL, 'nav_heading': NULL, 'nav_modes': NULL, 'nav_qnh': NULL, 'nic': NULL, 'nic_baro': NULL, 'oat': NULL, 'rc': NULL, 'roll': NULL, 'sda': NULL, 'sil': NULL, 'sil_type': NULL, 'spi': NULL, 'squawk': NULL, 'tas': NULL, 'tat': NULL, 'track': NULL, 'track_rate': NULL, 'true_heading': NULL, 'type': NULL, 'version': NULL, 'wd': NULL, 'ws': NULL}, 'altitude': 39025, 'flags': 0, 'geometric_altitude': 39025, 'geometric_vertical_rate': -32, 'ground_speed': 486.8, 'h3_15': 8f1fa0d33436702, 'indicated_airspeed': 239, 'lat': 50.602249, 'lon': 4.892964, 'on_ground': false, 'roll_angle': 0.0, 'source': adsb_icao, 'timestamp': 2025-03-20 18:34:11.900000, 'track_degrees': 104.2, 'vertical_rate': 0}     │  2025 │ 20      │ 03      │
│       0 │ AIRBUS A-320NEO │ 407568  │ NULL    │ G-UZHI  │ {'description': general, 'iso2': GB, 'iso3': GBR, 'nation': United Kingdom}        │ A20N    │ 2025-03-20 00:00:00 │ {'aircraft': {'alert': NULL, 'alt_geom': NULL, 'baro_rate': NULL, 'category': NULL, 'emergency': NULL, 'flight': NULL, 'geom_rate': NULL, 'gva': NULL, 'ias': NULL, 'mach': NULL, 'mag_heading': NULL, 'nac_p': NULL, 'nac_v': NULL, 'nav_altitude_fms': NULL, 'nav_altitude_mcp': NULL, 'nav_heading': NULL, 'nav_modes': NULL, 'nav_qnh': NULL, 'nic': NULL, 'nic_baro': NULL, 'oat': NULL, 'rc': NULL, 'roll': NULL, 'sda': NULL, 'sil': NULL, 'sil_type': NULL, 'spi': NULL, 'squawk': NULL, 'tas': NULL, 'tat': NULL, 'track': NULL, 'track_rate': NULL, 'true_heading': NULL, 'type': NULL, 'version': NULL, 'wd': NULL, 'ws': NULL}, 'altitude': 39025, 'flags': 0, 'geometric_altitude': 39025, 'geometric_vertical_rate': 0, 'ground_speed': 486.8, 'h3_15': 8f1fa0d3341d233, 'indicated_airspeed': 240, 'lat': 50.6017, 'lon': 4.896361, 'on_ground': false, 'roll_angle': -0.3, 'source': adsb_icao, 'timestamp': 2025-03-20 18:34:12.990000, 'track_degrees': 104.2, 'vertical_rate': 0}        │  2025 │ 20      │ 03      │
│       0 │ AIRBUS A-320NEO │ 407568  │ NULL    │ G-UZHI  │ {'description': general, 'iso2': GB, 'iso3': GBR, 'nation': United Kingdom}        │ A20N    │ 2025-03-20 00:00:00 │ {'aircraft': {'alert': 0, 'alt_geom': 39025, 'baro_rate': 0, 'category': A3, 'emergency': NULL, 'flight': EZY83FE , 'geom_rate': 0, 'gva': NULL, 'ias': 240, 'mach': 0.776, 'mag_heading': 102.3, 'nac_p': 9, 'nac_v': 1, 'nav_altitude_fms': NULL, 'nav_altitude_mcp': 39008, 'nav_heading': 0.0, 'nav_modes': NULL, 'nav_qnh': 1013.6, 'nic': 8, 'nic_baro': 1, 'oat': NULL, 'rc': 186, 'roll': -0.18, 'sda': NULL, 'sil': 3, 'sil_type': perhour, 'spi': 0, 'squawk': 4633, 'tas': 436, 'tat': NULL, 'track': 104.15, 'track_rate': -0.03, 'true_heading': 104.77, 'type': adsb_icao, 'version': 2, 'wd': 280, 'ws': 53}, 'altitude': 39025, 'flags': 0, 'geometric_altitude': 39025, 'geometric_vertical_rate': 0, 'ground_speed': 486.8, 'h3_15': 8f1fa0d334e908c, 'indicated_airspeed': 240, 'lat': 50.601119, 'lon': 4.899977, 'on_ground': false, 'roll_angle': -0.2, 'source': adsb_icao, 'timestamp': 2025-03-20 18:34:13.960000, 'track_degrees': 104.2, 'vertical_rate': 0}                     │  2025 │ 20      │ 03      │
│       0 │ AIRBUS A-320NEO │ 407568  │ NULL    │ G-UZHI  │ {'description': general, 'iso2': GB, 'iso3': GBR, 'nation': United Kingdom}        │ A20N    │ 2025-03-20 00:00:00 │ {'aircraft': {'alert': NULL, 'alt_geom': NULL, 'baro_rate': NULL, 'category': NULL, 'emergency': NULL, 'flight': NULL, 'geom_rate': NULL, 'gva': NULL, 'ias': NULL, 'mach': NULL, 'mag_heading': NULL, 'nac_p': NULL, 'nac_v': NULL, 'nav_altitude_fms': NULL, 'nav_altitude_mcp': NULL, 'nav_heading': NULL, 'nav_modes': NULL, 'nav_qnh': NULL, 'nic': NULL, 'nic_baro': NULL, 'oat': NULL, 'rc': NULL, 'roll': NULL, 'sda': NULL, 'sil': NULL, 'sil_type': NULL, 'spi': NULL, 'squawk': NULL, 'tas': NULL, 'tat': NULL, 'track': NULL, 'track_rate': NULL, 'true_heading': NULL, 'type': NULL, 'version': NULL, 'wd': NULL, 'ws': NULL}, 'altitude': 39025, 'flags': 0, 'geometric_altitude': 39025, 'geometric_vertical_rate': -32, 'ground_speed': 487.0, 'h3_15': 8f1fa0d15ab275e, 'indicated_airspeed': 240, 'lat': 50.596619, 'lon': 4.927874, 'on_ground': false, 'roll_angle': -0.7, 'source': adsb_icao, 'timestamp': 2025-03-20 18:34:22.160000, 'track_degrees': 104.3, 'vertical_rate': 0}    │  2025 │ 20      │ 03      │
│       0 │ AIRBUS A-320NEO │ 407568  │ NULL    │ G-UZHI  │ {'description': general, 'iso2': GB, 'iso3': GBR, 'nation': United Kingdom}        │ A20N    │ 2025-03-20 00:00:00 │ {'aircraft': {'alert': NULL, 'alt_geom': NULL, 'baro_rate': NULL, 'category': NULL, 'emergency': NULL, 'flight': NULL, 'geom_rate': NULL, 'gva': NULL, 'ias': NULL, 'mach': NULL, 'mag_heading': NULL, 'nac_p': NULL, 'nac_v': NULL, 'nav_altitude_fms': NULL, 'nav_altitude_mcp': NULL, 'nav_heading': NULL, 'nav_modes': NULL, 'nav_qnh': NULL, 'nic': NULL, 'nic_baro': NULL, 'oat': NULL, 'rc': NULL, 'roll': NULL, 'sda': NULL, 'sil': NULL, 'sil_type': NULL, 'spi': NULL, 'squawk': NULL, 'tas': NULL, 'tat': NULL, 'track': NULL, 'track_rate': NULL, 'true_heading': NULL, 'type': NULL, 'version': NULL, 'wd': NULL, 'ws': NULL}, 'altitude': 39025, 'flags': 0, 'geometric_altitude': 39025, 'geometric_vertical_rate': 0, 'ground_speed': 487.0, 'h3_15': 8f1fa0d15376393, 'indicated_airspeed': 240, 'lat': 50.595486, 'lon': 4.93494, 'on_ground': false, 'roll_angle': -0.7, 'source': adsb_icao, 'timestamp': 2025-03-20 18:34:24.120000, 'track_degrees': 104.3, 'vertical_rate': 0}       │  2025 │ 20      │ 03      │
│       0 │ AIRBUS A-320NEO │ 407568  │ NULL    │ G-UZHI  │ {'description': general, 'iso2': GB, 'iso3': GBR, 'nation': United Kingdom}        │ A20N    │ 2025-03-20 00:00:00 │ {'aircraft': {'alert': NULL, 'alt_geom': NULL, 'baro_rate': NULL, 'category': NULL, 'emergency': NULL, 'flight': NULL, 'geom_rate': NULL, 'gva': NULL, 'ias': NULL, 'mach': NULL, 'mag_heading': NULL, 'nac_p': NULL, 'nac_v': NULL, 'nav_altitude_fms': NULL, 'nav_altitude_mcp': NULL, 'nav_heading': NULL, 'nav_modes': NULL, 'nav_qnh': NULL, 'nic': NULL, 'nic_baro': NULL, 'oat': NULL, 'rc': NULL, 'roll': NULL, 'sda': NULL, 'sil': NULL, 'sil_type': NULL, 'spi': NULL, 'squawk': NULL, 'tas': NULL, 'tat': NULL, 'track': NULL, 'track_rate': NULL, 'true_heading': NULL, 'type': NULL, 'version': NULL, 'wd': NULL, 'ws': NULL}, 'altitude': 38975, 'flags': 1, 'geometric_altitude': NULL, 'geometric_vertical_rate': NULL, 'ground_speed': NULL, 'h3_15': 8f1fa01a5d44050, 'indicated_airspeed': NULL, 'lat': 50.511133, 'lon': 5.446918, 'on_ground': false, 'roll_angle': NULL, 'source': adsb_icao, 'timestamp': 2025-03-20 18:36:54.970000, 'track_degrees': NULL, 'vertical_rate': NULL}  │  2025 │ 20      │ 03      │
│       0 │ AIRBUS A-320NEO │ 407568  │ NULL    │ G-UZHI  │ {'description': general, 'iso2': GB, 'iso3': GBR, 'nation': United Kingdom}        │ A20N    │ 2025-03-20 00:00:00 │ {'aircraft': {'alert': 0, 'alt_geom': NULL, 'baro_rate': 256, 'category': A3, 'emergency': NULL, 'flight': NULL, 'geom_rate': 0, 'gva': NULL, 'ias': 238, 'mach': 0.768, 'mag_heading': 102.83, 'nac_p': 8, 'nac_v': NULL, 'nav_altitude_fms': NULL, 'nav_altitude_mcp': 39008, 'nav_heading': 0.0, 'nav_modes': NULL, 'nav_qnh': 1013.6, 'nic': 8, 'nic_baro': 1, 'oat': NULL, 'rc': 186, 'roll': NULL, 'sda': NULL, 'sil': 2, 'sil_type': perhour, 'spi': 0, 'squawk': 4633, 'tas': NULL, 'tat': NULL, 'track': NULL, 'track_rate': NULL, 'true_heading': 105.5, 'type': adsb_icao, 'version': 0, 'wd': NULL, 'ws': NULL}, 'altitude': 39000, 'flags': 0, 'geometric_altitude': NULL, 'geometric_vertical_rate': 0, 'ground_speed': NULL, 'h3_15': 8f1fa01a5122270, 'indicated_airspeed': 238, 'lat': 50.509918, 'lon': 5.454206, 'on_ground': false, 'roll_angle': NULL, 'source': adsb_icao, 'timestamp': 2025-03-20 18:36:57.250000, 'track_degrees': NULL, 'vertical_rate': 256}                      │  2025 │ 20      │ 03      │
│       0 │ AIRBUS A-320NEO │ 407568  │ NULL    │ G-UZHI  │ {'description': general, 'iso2': GB, 'iso3': GBR, 'nation': United Kingdom}        │ A20N    │ 2025-03-20 00:00:00 │ {'aircraft': {'alert': NULL, 'alt_geom': NULL, 'baro_rate': NULL, 'category': NULL, 'emergency': NULL, 'flight': NULL, 'geom_rate': NULL, 'gva': NULL, 'ias': NULL, 'mach': NULL, 'mag_heading': NULL, 'nac_p': NULL, 'nac_v': NULL, 'nav_altitude_fms': NULL, 'nav_altitude_mcp': NULL, 'nav_heading': NULL, 'nav_modes': NULL, 'nav_qnh': NULL, 'nic': NULL, 'nic_baro': NULL, 'oat': NULL, 'rc': NULL, 'roll': NULL, 'sda': NULL, 'sil': NULL, 'sil_type': NULL, 'spi': NULL, 'squawk': NULL, 'tas': NULL, 'tat': NULL, 'track': NULL, 'track_rate': NULL, 'true_heading': NULL, 'type': NULL, 'version': NULL, 'wd': NULL, 'ws': NULL}, 'altitude': 39000, 'flags': 0, 'geometric_altitude': NULL, 'geometric_vertical_rate': 0, 'ground_speed': NULL, 'h3_15': 8f1fa01a5154199, 'indicated_airspeed': 238, 'lat': 50.509318, 'lon': 5.457681, 'on_ground': false, 'roll_angle': NULL, 'source': adsb_icao, 'timestamp': 2025-03-20 18:36:58.090000, 'track_degrees': NULL, 'vertical_rate': 256}       │  2025 │ 20      │ 03      │
│       · │     ·           │   ·     │  ·      │   ·     │                                      ·                                             │  ·      │          ·          │                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                   ·                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                         │    ·  │ ·       │ ·       │
│       · │     ·           │   ·     │  ·      │   ·     │                                      ·                                             │  ·      │          ·          │                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                   ·                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                         │    ·  │ ·       │ ·       │
│       · │     ·           │   ·     │  ·      │   ·     │                                      ·                                             │  ·      │          ·          │                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                   ·                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                         │    ·  │ ·       │ ·       │
│       0 │ LEARJET 45      │ 3cd568  │ NULL    │ D-CICU  │ {'description': light 5.7 - 14 t MTOW, 'iso2': DE, 'iso3': DEU, 'nation': Germany} │ LJ45    │ 2025-03-20 00:00:00 │ {'aircraft': {'alert': NULL, 'alt_geom': NULL, 'baro_rate': NULL, 'category': NULL, 'emergency': NULL, 'flight': NULL, 'geom_rate': NULL, 'gva': NULL, 'ias': NULL, 'mach': NULL, 'mag_heading': NULL, 'nac_p': NULL, 'nac_v': NULL, 'nav_altitude_fms': NULL, 'nav_altitude_mcp': NULL, 'nav_heading': NULL, 'nav_modes': NULL, 'nav_qnh': NULL, 'nic': NULL, 'nic_baro': NULL, 'oat': NULL, 'rc': NULL, 'roll': NULL, 'sda': NULL, 'sil': NULL, 'sil_type': NULL, 'spi': NULL, 'squawk': NULL, 'tas': NULL, 'tat': NULL, 'track': NULL, 'track_rate': NULL, 'true_heading': NULL, 'type': NULL, 'version': NULL, 'wd': NULL, 'ws': NULL}, 'altitude': 43000, 'flags': 0, 'geometric_altitude': 42475, 'geometric_vertical_rate': NULL, 'ground_speed': 429.8, 'h3_15': 8f1f2472daa542b, 'indicated_airspeed': 218, 'lat': 57.312744, 'lon': 9.889669, 'on_ground': false, 'roll_angle': -1.9, 'source': adsb_icao, 'timestamp': 2025-03-20 09:44:44.780000, 'track_degrees': 187.6, 'vertical_rate': 0}   │  2025 │ 20      │ 03      │
│       0 │ LEARJET 45      │ 3cd568  │ NULL    │ D-CICU  │ {'description': light 5.7 - 14 t MTOW, 'iso2': DE, 'iso3': DEU, 'nation': Germany} │ LJ45    │ 2025-03-20 00:00:00 │ {'aircraft': {'alert': NULL, 'alt_geom': NULL, 'baro_rate': NULL, 'category': NULL, 'emergency': NULL, 'flight': NULL, 'geom_rate': NULL, 'gva': NULL, 'ias': NULL, 'mach': NULL, 'mag_heading': NULL, 'nac_p': NULL, 'nac_v': NULL, 'nav_altitude_fms': NULL, 'nav_altitude_mcp': NULL, 'nav_heading': NULL, 'nav_modes': NULL, 'nav_qnh': NULL, 'nic': NULL, 'nic_baro': NULL, 'oat': NULL, 'rc': NULL, 'roll': NULL, 'sda': NULL, 'sil': NULL, 'sil_type': NULL, 'spi': NULL, 'squawk': NULL, 'tas': NULL, 'tat': NULL, 'track': NULL, 'track_rate': NULL, 'true_heading': NULL, 'type': NULL, 'version': NULL, 'wd': NULL, 'ws': NULL}, 'altitude': 43000, 'flags': 0, 'geometric_altitude': 42475, 'geometric_vertical_rate': NULL, 'ground_speed': 429.8, 'h3_15': 8f1f2472da86b9b, 'indicated_airspeed': 218, 'lat': 57.311577, 'lon': 9.889379, 'on_ground': false, 'roll_angle': -1.9, 'source': adsb_icao, 'timestamp': 2025-03-20 09:44:45.330000, 'track_degrees': 187.6, 'vertical_rate': 64}  │  2025 │ 20      │ 03      │
│       0 │ LEARJET 45      │ 3cd568  │ NULL    │ D-CICU  │ {'description': light 5.7 - 14 t MTOW, 'iso2': DE, 'iso3': DEU, 'nation': Germany} │ LJ45    │ 2025-03-20 00:00:00 │ {'aircraft': {'alert': NULL, 'alt_geom': NULL, 'baro_rate': NULL, 'category': NULL, 'emergency': NULL, 'flight': NULL, 'geom_rate': NULL, 'gva': NULL, 'ias': NULL, 'mach': NULL, 'mag_heading': NULL, 'nac_p': NULL, 'nac_v': NULL, 'nav_altitude_fms': NULL, 'nav_altitude_mcp': NULL, 'nav_heading': NULL, 'nav_modes': NULL, 'nav_qnh': NULL, 'nic': NULL, 'nic_baro': NULL, 'oat': NULL, 'rc': NULL, 'roll': NULL, 'sda': NULL, 'sil': NULL, 'sil_type': NULL, 'spi': NULL, 'squawk': NULL, 'tas': NULL, 'tat': NULL, 'track': NULL, 'track_rate': NULL, 'true_heading': NULL, 'type': NULL, 'version': NULL, 'wd': NULL, 'ws': NULL}, 'altitude': 43000, 'flags': 0, 'geometric_altitude': 42475, 'geometric_vertical_rate': NULL, 'ground_speed': 429.7, 'h3_15': 8f1f2472d068980, 'indicated_airspeed': 218, 'lat': 57.309994, 'lon': 9.888936, 'on_ground': false, 'roll_angle': -1.9, 'source': adsb_icao, 'timestamp': 2025-03-20 09:44:46.210000, 'track_degrees': 187.5, 'vertical_rate': 0}   │  2025 │ 20      │ 03      │
│       0 │ LEARJET 45      │ 3cd568  │ NULL    │ D-CICU  │ {'description': light 5.7 - 14 t MTOW, 'iso2': DE, 'iso3': DEU, 'nation': Germany} │ LJ45    │ 2025-03-20 00:00:00 │ {'aircraft': {'alert': 0, 'alt_geom': 42475, 'baro_rate': 0, 'category': A2, 'emergency': none, 'flight': UNI132  , 'geom_rate': NULL, 'gva': 2, 'ias': 218, 'mach': 0.772, 'mag_heading': 187.73, 'nac_p': 10, 'nac_v': 1, 'nav_altitude_fms': NULL, 'nav_altitude_mcp': 43008, 'nav_heading': NULL, 'nav_modes': NULL, 'nav_qnh': 1013.6, 'nic': 8, 'nic_baro': 1, 'oat': NULL, 'rc': 186, 'roll': -2.11, 'sda': 2, 'sil': 3, 'sil_type': perhour, 'spi': 0, 'squawk': 7670, 'tas': 444, 'tat': NULL, 'track': 187.49, 'track_rate': -0.03, 'true_heading': 191.95, 'type': adsb_icao, 'version': 2, 'wd': 257, 'ws': 37}, 'altitude': 43000, 'flags': 0, 'geometric_altitude': 42475, 'geometric_vertical_rate': NULL, 'ground_speed': 429.7, 'h3_15': 8f1f2472d05b9a1, 'indicated_airspeed': 218, 'lat': 57.308029, 'lon': 9.888468, 'on_ground': false, 'roll_angle': -2.1, 'source': adsb_icao, 'timestamp': 2025-03-20 09:44:47.140000, 'track_degrees': 187.5, 'vertical_rate': 0}                  │  2025 │ 20      │ 03      │
│       0 │ LEARJET 45      │ 3cd568  │ NULL    │ D-CICU  │ {'description': light 5.7 - 14 t MTOW, 'iso2': DE, 'iso3': DEU, 'nation': Germany} │ LJ45    │ 2025-03-20 00:00:00 │ {'aircraft': {'alert': NULL, 'alt_geom': NULL, 'baro_rate': NULL, 'category': NULL, 'emergency': NULL, 'flight': NULL, 'geom_rate': NULL, 'gva': NULL, 'ias': NULL, 'mach': NULL, 'mag_heading': NULL, 'nac_p': NULL, 'nac_v': NULL, 'nav_altitude_fms': NULL, 'nav_altitude_mcp': NULL, 'nav_heading': NULL, 'nav_modes': NULL, 'nav_qnh': NULL, 'nic': NULL, 'nic_baro': NULL, 'oat': NULL, 'rc': NULL, 'roll': NULL, 'sda': NULL, 'sil': NULL, 'sil_type': NULL, 'spi': NULL, 'squawk': NULL, 'tas': NULL, 'tat': NULL, 'track': NULL, 'track_rate': NULL, 'true_heading': NULL, 'type': NULL, 'version': NULL, 'wd': NULL, 'ws': NULL}, 'altitude': 43000, 'flags': 0, 'geometric_altitude': 42475, 'geometric_vertical_rate': NULL, 'ground_speed': 429.7, 'h3_15': 8f1f2472d765830, 'indicated_airspeed': 218, 'lat': 57.306038, 'lon': 9.88805, 'on_ground': false, 'roll_angle': -1.8, 'source': adsb_icao, 'timestamp': 2025-03-20 09:44:48.270000, 'track_degrees': 187.5, 'vertical_rate': 0}    │  2025 │ 20      │ 03      │
│       0 │ LEARJET 45      │ 3cd568  │ NULL    │ D-CICU  │ {'description': light 5.7 - 14 t MTOW, 'iso2': DE, 'iso3': DEU, 'nation': Germany} │ LJ45    │ 2025-03-20 00:00:00 │ {'aircraft': {'alert': NULL, 'alt_geom': NULL, 'baro_rate': NULL, 'category': NULL, 'emergency': NULL, 'flight': NULL, 'geom_rate': NULL, 'gva': NULL, 'ias': NULL, 'mach': NULL, 'mag_heading': NULL, 'nac_p': NULL, 'nac_v': NULL, 'nav_altitude_fms': NULL, 'nav_altitude_mcp': NULL, 'nav_heading': NULL, 'nav_modes': NULL, 'nav_qnh': NULL, 'nic': NULL, 'nic_baro': NULL, 'oat': NULL, 'rc': NULL, 'roll': NULL, 'sda': NULL, 'sil': NULL, 'sil_type': NULL, 'spi': NULL, 'squawk': NULL, 'tas': NULL, 'tat': NULL, 'track': NULL, 'track_rate': NULL, 'true_heading': NULL, 'type': NULL, 'version': NULL, 'wd': NULL, 'ws': NULL}, 'altitude': 43000, 'flags': 0, 'geometric_altitude': 42475, 'geometric_vertical_rate': NULL, 'ground_speed': 429.7, 'h3_15': 8f1f2472d7460d6, 'indicated_airspeed': 218, 'lat': 57.304501, 'lon': 9.887607, 'on_ground': false, 'roll_angle': -1.8, 'source': adsb_icao, 'timestamp': 2025-03-20 09:44:49.100000, 'track_degrees': 187.5, 'vertical_rate': 0}   │  2025 │ 20      │ 03      │
│       0 │ LEARJET 45      │ 3cd568  │ NULL    │ D-CICU  │ {'description': light 5.7 - 14 t MTOW, 'iso2': DE, 'iso3': DEU, 'nation': Germany} │ LJ45    │ 2025-03-20 00:00:00 │ {'aircraft': {'alert': NULL, 'alt_geom': NULL, 'baro_rate': NULL, 'category': NULL, 'emergency': NULL, 'flight': NULL, 'geom_rate': NULL, 'gva': NULL, 'ias': NULL, 'mach': NULL, 'mag_heading': NULL, 'nac_p': NULL, 'nac_v': NULL, 'nav_altitude_fms': NULL, 'nav_altitude_mcp': NULL, 'nav_heading': NULL, 'nav_modes': NULL, 'nav_qnh': NULL, 'nic': NULL, 'nic_baro': NULL, 'oat': NULL, 'rc': NULL, 'roll': NULL, 'sda': NULL, 'sil': NULL, 'sil_type': NULL, 'spi': NULL, 'squawk': NULL, 'tas': NULL, 'tat': NULL, 'track': NULL, 'track_rate': NULL, 'true_heading': NULL, 'type': NULL, 'version': NULL, 'wd': NULL, 'ws': NULL}, 'altitude': 43000, 'flags': 0, 'geometric_altitude': 42475, 'geometric_vertical_rate': NULL, 'ground_speed': 430.7, 'h3_15': 8f1f2472d60e923, 'indicated_airspeed': 217, 'lat': 57.302127, 'lon': 9.887075, 'on_ground': false, 'roll_angle': -1.9, 'source': adsb_icao, 'timestamp': 2025-03-20 09:44:50.250000, 'track_degrees': 187.5, 'vertical_rate': 0}   │  2025 │ 20      │ 03      │
│       0 │ LEARJET 45      │ 3cd568  │ NULL    │ D-CICU  │ {'description': light 5.7 - 14 t MTOW, 'iso2': DE, 'iso3': DEU, 'nation': Germany} │ LJ45    │ 2025-03-20 00:00:00 │ {'aircraft': {'alert': 0, 'alt_geom': 42475, 'baro_rate': 0, 'category': A2, 'emergency': none, 'flight': UNI132  , 'geom_rate': NULL, 'gva': 2, 'ias': 217, 'mach': 0.772, 'mag_heading': 187.73, 'nac_p': 10, 'nac_v': 1, 'nav_altitude_fms': NULL, 'nav_altitude_mcp': 43008, 'nav_heading': NULL, 'nav_modes': NULL, 'nav_qnh': 1013.6, 'nic': 8, 'nic_baro': 1, 'oat': NULL, 'rc': 186, 'roll': -1.93, 'sda': 2, 'sil': 3, 'sil_type': perhour, 'spi': 0, 'squawk': 7670, 'tas': 442, 'tat': NULL, 'track': 187.47, 'track_rate': -0.03, 'true_heading': 191.95, 'type': adsb_icao, 'version': 2, 'wd': 261, 'ws': 36}, 'altitude': 43000, 'flags': 0, 'geometric_altitude': 42475, 'geometric_vertical_rate': NULL, 'ground_speed': 430.7, 'h3_15': 8f1f2472d68986a, 'indicated_airspeed': 217, 'lat': 57.299753, 'lon': 9.886455, 'on_ground': false, 'roll_angle': -1.9, 'source': adsb_icao, 'timestamp': 2025-03-20 09:44:51.220000, 'track_degrees': 187.5, 'vertical_rate': 0}                  │  2025 │ 20      │ 03      │
│       0 │ LEARJET 45      │ 3cd568  │ NULL    │ D-CICU  │ {'description': light 5.7 - 14 t MTOW, 'iso2': DE, 'iso3': DEU, 'nation': Germany} │ LJ45    │ 2025-03-20 00:00:00 │ {'aircraft': {'alert': NULL, 'alt_geom': NULL, 'baro_rate': NULL, 'category': NULL, 'emergency': NULL, 'flight': NULL, 'geom_rate': NULL, 'gva': NULL, 'ias': NULL, 'mach': NULL, 'mag_heading': NULL, 'nac_p': NULL, 'nac_v': NULL, 'nav_altitude_fms': NULL, 'nav_altitude_mcp': NULL, 'nav_heading': NULL, 'nav_modes': NULL, 'nav_qnh': NULL, 'nic': NULL, 'nic_baro': NULL, 'oat': NULL, 'rc': NULL, 'roll': NULL, 'sda': NULL, 'sil': NULL, 'sil_type': NULL, 'spi': NULL, 'squawk': NULL, 'tas': NULL, 'tat': NULL, 'track': NULL, 'track_rate': NULL, 'true_heading': NULL, 'type': NULL, 'version': NULL, 'wd': NULL, 'ws': NULL}, 'altitude': 43000, 'flags': 0, 'geometric_altitude': 42475, 'geometric_vertical_rate': NULL, 'ground_speed': 430.7, 'h3_15': 8f1f24729d0686e, 'indicated_airspeed': 217, 'lat': 57.297775, 'lon': 9.885979, 'on_ground': false, 'roll_angle': -1.9, 'source': adsb_icao, 'timestamp': 2025-03-20 09:44:52.380000, 'track_degrees': 187.5, 'vertical_rate': 0}   │  2025 │ 20      │ 03      │
│       0 │ LEARJET 45      │ 3cd568  │ NULL    │ D-CICU  │ {'description': light 5.7 - 14 t MTOW, 'iso2': DE, 'iso3': DEU, 'nation': Germany} │ LJ45    │ 2025-03-20 00:00:00 │ {'aircraft': {'alert': NULL, 'alt_geom': NULL, 'baro_rate': NULL, 'category': NULL, 'emergency': NULL, 'flight': NULL, 'geom_rate': NULL, 'gva': NULL, 'ias': NULL, 'mach': NULL, 'mag_heading': NULL, 'nac_p': NULL, 'nac_v': NULL, 'nav_altitude_fms': NULL, 'nav_altitude_mcp': NULL, 'nav_heading': NULL, 'nav_modes': NULL, 'nav_qnh': NULL, 'nic': NULL, 'nic_baro': NULL, 'oat': NULL, 'rc': NULL, 'roll': NULL, 'sda': NULL, 'sil': NULL, 'sil_type': NULL, 'spi': NULL, 'squawk': NULL, 'tas': NULL, 'tat': NULL, 'track': NULL, 'track_rate': NULL, 'true_heading': NULL, 'type': NULL, 'version': NULL, 'wd': NULL, 'ws': NULL}, 'altitude': 43000, 'flags': 0, 'geometric_altitude': 42475, 'geometric_vertical_rate': NULL, 'ground_speed': 430.7, 'h3_15': 8f1f24729da84ab, 'indicated_airspeed': 218, 'lat': 57.295843, 'lon': 9.885569, 'on_ground': false, 'roll_angle': -1.4, 'source': adsb_icao, 'timestamp': 2025-03-20 09:44:53.410000, 'track_degrees': 187.5, 'vertical_rate': -64} │  2025 │ 20      │ 03      │
├─────────┴─────────────────┴─────────┴─────────┴─────────┴────────────────────────────────────────────────────────────────────────────────────┴─────────┴─────────────────────┴─────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┴───────┴─────────┴─────────┤
│ ? rows (>9999 rows, 20 shown)                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                               12 columns │
└────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┘

Antall fly per land

La oss gjøre en øvelse vi også har gjort tidligere i DuckDB: Vi teller antall fly per land.

Start med å legge inn følgende tekstcelle:

# Tell antall fly per land
sql = """

SELECT   reg_details.nation as land,
         COUNT(DISTINCT r) AS fly
FROM     FLIGHTS_20_03_2025
WHERE    LENGTH(reg_details.nation)
GROUP BY 1
ORDER BY 2 DESC

"""
con.sql(sql).show(max_rows=30)

Denne spørringen gir oss en oversikt over hvor mange ulike fly som er registrert i hvert land den dagen. Utvalget vises med maksimum 30 rader:

┌──────────────────────┬───────┐
│         land         │  fly  │
│       varchar        │ int64 │
├──────────────────────┼───────┤
│ Germany              │   244 │
│ United Kingdom       │   237 │
│ Netherlands          │   227 │
│ Ireland              │   152 │
│ Norway               │   147 │
│ Malta                │   113 │
│ Sweden               │   106 │
│ United States        │   100 │
│ Turkey               │    96 │
│ Austria              │    74 │
│ Poland               │    64 │
│ France               │    62 │
│ United Arab Emirates │    56 │
│ Spain                │    55 │
│ China                │    51 │
│   ·                  │     · │
│   ·                  │     · │
│   ·                  │     · │
│ Australia            │     3 │
│ Guernsey             │     3 │
│ Isle of Man          │     2 │
│ Taiwan               │     2 │
│ Bahrain              │     2 │
│ Georgia              │     2 │
│ Bangladesh           │     2 │
│ Kuwait               │     2 │
│ Sri Lanka            │     1 │
│ Uzbekistan           │     1 │
│ Kenya                │     1 │
│ Belarus              │     1 │
│ Pakistan             │     1 │
│ Azerbaijan           │     1 │
│ Oman                 │     1 │
├──────────────────────┴───────┤
│      65 rows (30 shown)      │
└──────────────────────────────┘

Resultatet er kjent, men måten vi kjører spørringen på er litt ny. Vi starter med sql = """, og legger inn SQL-spørringen som en tekstblokk. På den måten oppretter vi en variabel som inneholder spørringen – noe som gjør det enkelt å gjenbruke den senere, om vi ønsker. Her kjører vi den bare én gang, ved å sende variabelen inn i DuckDB-forbindelsen vår med con.sql(sql). Vi ber samtidig om å vise maksimalt 30 rader med show(max_rows=30).

Kanskje du, som meg, tenker at det minner litt vel mye om det vi gjorde direkte i DuckDB. Helt enig! Nå er det på tide å ta visualiseringen ett hakk videre.

Visualiser fly per land i penere tabell

Vi starter enkelt, med å konvertere dataene til et format som er mer egnet for moderne nettleservisning. Dette gjør vi ved hjelp av Polars – et raskt og fleksibelt Python-verktøy for databehandling.

# Visualiser fly per land i penere tabell
import polars as pl

pl.Config(set_tbl_rows=100)
flyperland = con.sql(sql).pl()
flyperland
landfly
“Germany”244
“United Kingdom”237
“Netherlands”227
“Ireland”152
“Norway”147
“Malta”113
“Sweden”106
“United States”100
“Turkey”96
“Austria”74
“Poland”64
“France”62
“United Arab Emirates”56
“Spain”55
“China”51
“Finland”45
“Denmark”44
“Portugal”43
“Qatar”37
“Belgium”34
“Hungary”30
“Russia”23
“Latvia”22
“Liechtenstein”18
“Canada”15
“India”14
“Iceland”13
“Singapore”11
“Greece”12
“Egypt”9
“Japan”9
“Saudi Arabia”8
“Israel”7
“Bulgaria”7
“Czech Republic”6
“San Marino”6
“Serbia”6
“Croatia”6
“Romania”6
“Jordan”5
“Slovakia”5
“Italy”5
“Ethiopia”5
“Estonia”4
“Thailand”4
“Ukraine”4
“South Korea”4
“Australia”3
“Zimbabwe”3
“Morocco”3
“Malaysia”3
“Guernsey”3
“Georgia”2
“Taiwan”2
“Bahrain”2
“Isle of Man”2
“Kuwait”2
“Bangladesh”2
“Oman”1
“Azerbaijan”1
“Pakistan”1
“Belarus”1
“Sri Lanka”1
“Kenya”1
“Uzbekistan”1

Her skjer det tre ting:

  1. Vi importerer Polars.

  2. Vi setter opp konfigurasjonen slik at tabellen kan vise opptil 100 rader.

  3. Vi bruker .pl() til å hente resultatet fra DuckDB-spørringen som en Polars-tabell, og viser den ved å referere til variabelen flyperland.

Resultatet er en langt mer leservennlig tabell enn den rå tekstutskriften fra DuckDB. Du får oversikt over alle land, sortert etter antall fly – og du kan enkelt bruke dataene videre til grafer, kart og annen visualisering.

Lagre tabellen til CSV

En av fordelene med Polars er hvor enkelt det er å eksportere data til ulike formater. Når du har hentet ut et datasett du vil ta vare på eller bruke videre, er det for eksempel veldig lett å lagre det som en CSV-fil:

Legg til en tekstcelle:

# Lagre til CSV

Og deretter denne kodecellen:

flyperland.write_csv("flyperland.csv")

Hvor finner jeg filen?

Et godt spørsmål! Til venstre i Google Colab-vinduet finner du en vertikal meny. Klikk på mappesymbolet nederst for å åpne filvisningen. Om du ikke ser filen med en gang, kan du klikke på last inn på nytt-knappen (de to sirklene som danner en pil) for å oppdatere visningen.

Figur 4: Filoversikten i Google Colab – klikk på mappen nederst, og last inn på nytt om nødvendig.

Stolpediagram

Nok tall og tabeller – nå er det på tide med litt visuell magi! Og da passer det perfekt å introdusere et nytt verktøy på scenen: Plotly. Dette visualiseringsbiblioteket lar deg lage stilrene og interaktive grafer med minimale mengder kode.

La oss starte med å lage et stolpediagram over fly per land:

# Visualiser som stolpediagram
import plotly.express as px

stolpe = px.bar(flyperland, x='land', y='fly', title="Fly per land")
stolpe

Figur 5: Fly per land visualisert som stolpediagram.

Så enkelt – og så fint! Diagrammet er interaktivt, og du kan blant annet:

Vil du lagre hele grafen med all interaktiviteten intakt? Plotly har tenkt på det også. Du kan enkelt lagre visualiseringen som en HTML-fil:

# Lagre til HTML
stolpe.write_html("stolpe.html")

Filen dukker opp i den samme filutforskeren som vi brukte da vi lagret CSV. Klikk på mappesymbolet til venstre, og husk å trykke last inn på nytt hvis du ikke ser filen med én gang.

Kakediagram

Siden flyobservasjonene våre utgjør en absolutt mengde, egner de seg også godt for visualisering som kakediagram. Det krever bare en liten endring fra stolpediagrammet, og vips – dataene blir til kake:

# Visualiser som kakediagram
kake = px.pie(flyperland, names='land', values='fly', title="Fly per land")
kake

Figur 6: Fly per land visualisert som (et litt sprengt) kakediagram.

Tada! Kakediagram, rett ut av ovnen. Men – dette ser kanskje litt sprengt ut?

Når vi presser inn over 60 land med ulikt antall fly i én og samme sirkel, blir resultatet både visuelt rotete og vanskelig å lese. Mange land har bare noen få fly, og det gir lite mening å gi dem hver sin tynne kakebit.

Begrens detaljnivået – grupper små land

Løsningen? Vi samler alle land med færre enn 100 observerte fly i en felles gruppe: Other countries. Det gjør vi ved å legge inn litt enkel logikk i SQL-spørringen:

# Kakediagram - grupper små land
sql = """
WITH flight_counts AS (
    SELECT
        reg_details.nation as land,
        COUNT(DISTINCT r) AS fly
    FROM
        FLIGHTS_20_03_2025
    WHERE
        LENGTH(reg_details.nation) > 0
    GROUP BY
        reg_details.nation
)

SELECT
    CASE
        WHEN fly < 100 THEN 'Other countries'
        ELSE land
    END AS land,
    CAST(SUM(fly) AS BIGINT) AS fly
FROM
    flight_counts
GROUP BY
    1
ORDER BY
    2 DESC;

"""

flyperland = con.sql(sql).pl()

kake = px.pie(flyperland, names='land', values='fly', title="Fly per land")
kake

Her har vi bakt litt enkel programmeringslogikk inn i spørringen. Kort fortalt finner vi land som har under 100 observerte fly den aktuelle tidsperioden, og legger disse til i landet Other countries. Da ser vi umiddelbart at kakediagrammet både blir penere og mer lesbart.

Figur 7: Fly per land visualisert som (et litt penere) kakediagram.

Ved hjelp av CASE WHEN-logikken over slår vi sammen alle smånasjonene i én kategori. Resultatet? Et diagram som både ser bedre ut og er langt lettere å lese.

Widerøe-flyet som nødlandet i Bergen

Tirsdag 11. mars nødlandet et Widerøe-fly i Bergen. Hendelsen var heldigvis udramatisk, men siden den skjedde like før vår andre kursøkt, passet det godt å bruke den som et ekte case. Nå skal vi jobbe oss gjennom hvordan man kan hente ut, analysere og visualisere flydata knyttet til en slik hendelse – på måter som kunne vært relevante i lokal nyhetsdekning.

  1. Vi starter med å hente ut alle flydata for 11. mars 2025:
# Hent ut alle data fra 11. mars 2025
sql = """
CREATE TABLE flights_11_03_25 AS
      SELECT * FROM read_parquet('r2://medieklyngen-radar-data/adsb/history/*/*/*/*.parquet', hive_partitioning = true)
      WHERE year = 2025 AND month = 03 AND day = 11;
"""
con.sql(sql)
  1. Deretter filtrer vi datasettet på flyet LN-WDP i aktuell tidsperiode:
# Filtrer på LN-WDP i aktuell tidsperiode
sql = """
  SELECT r, trace.lon, trace.lat, trace.altitude, trace.ground_speed, trace.timestamp
  FROM flights_11_03_25
  WHERE r LIKE 'LN-WDP' AND trace.timestamp > '2025-03-11 07:00:23.710000' AND trace.timestamp < '2025-03-11 10:00:23.710000' AND trace.lat IS NOT NULL and trace.lon IS NOT NULL
  ORDER BY trace.timestamp;
"""
nodlanding = con.sql(sql).pl()
pl.Config(set_tbl_rows=10)
nodlanding
rlonlataltitudeground_speedtimestamp
“LN-WDP”5.2233660.287464null20.5“2025-03-11 07:29:53.870000”
“LN-WDP”5.22345460.287189null19.5“2025-03-11 07:29:56.830000”
“LN-WDP”5.22363160.286649null16.5“2025-03-11 07:30:03.480000”
“LN-WDP”5.22385760.285976null16.5“2025-03-11 07:30:12.620000”
“LN-WDP”5.22385260.285939null16.5“2025-03-11 07:30:13.160000”
………………
“LN-WDP”5.22191560.282074500124.6“2025-03-11 08:20:59.770000”
“LN-WDP”5.22172660.282623475124.6“2025-03-11 08:21:00.850000”
“LN-WDP”5.22134760.283768450124.5“2025-03-11 08:21:02.720000”
“LN-WDP”5.22125260.284077450124.5“2025-03-11 08:21:03.480000”
“LN-WDP”5.22115460.28445450124.5“2025-03-11 08:21:03.910000”

Resultatet viser alle datapunktene vi har om denne flyvningen, filtrert på kjennetegn (r) og tidsintervall. Ved å bruke pl.Config(set_tbl_rows=10) får vi automatisk vist de første og siste 5 radene i tabellen – en praktisk måte å få et raskt inntrykk av datasettet på.

Høyde og fart over tid

La oss se nærmere på hvordan flyet beveget seg gjennom luftrommet, både i høyde og fart:

# Flyets høyde over tid
linje = px.line(nodlanding, x='timestamp', y='altitude', title="Flyets høyde over tid")
linje

Figur 8: Flyets høyde over tid.

# Flyets fart over tid
linje = px.line(nodlanding, x='timestamp', y='ground_speed', title="Flyets fart over tid")
linje

Figur 9: Flyets fart over tid.

Enkelt, oversiktlig og nyttig. Her får vi raskt et bilde av flyets bevegelser og endringer underveis. Og som vi ser – til tross for nødlandingen, ser dataene ganske udramatiske ut, akkurat som rapportert.

Visualisering på kart

Grafene gir oss innsikt, men i hendelsesjournalistikk er det ofte kartet som virkelig skaper forståelse. Heldigvis kan vi enkelt plassere flyets rute direkte på et interaktivt kart med Plotly:

# Plott Widerøe-flighten på et kart
kart = px.line_map(nodlanding, lat='lat', lon='lon', hover_data=['timestamp', 'altitude', 'ground_speed'])
kart.update_layout(height=540, width=960, map_zoom=6, map_center_lat = 59.5, map_center_lon = 6)
kart

Figur 10: Widerøe-flyets rute plottet på kart.

Og der har vi det! Flyets ferd fra Bergen, via Rogaland – og tilbake til Bergen.

Selv om det krever litt mer kode enn de tidligere grafene, er det fortsatt overkommelig. Her bruker vi line_map for å tegne ruten basert på geografiske koordinater. Ved å legge til hover_data får vi i tillegg opp info om tidspunkt, høyde og fart når vi beveger musepekeren over ruten.

Når du er fornøyd med visualiseringen, kan du eksportere kartet som en PNG eller lagre det som HTML med full interaktivitet – perfekt for bruk i en nyhetsartikkel på nett.

Heatmaps med Lonboard

Vi var så vidt innom heatmaps da vi jobbet med sanntidsdata tidligere i kurset. Som du kanskje husker, er dette en utmerket måte å kartlegge flyaktivitet på: Hvor er det mest trafikk, og hvordan fordeler bevegelsene seg i rom og tid?

Visualisering av slike mønstre krever ofte store datamengder – og da kommer Lonboard til sin rett. Verktøyet er spesiallaget for å håndtere store geografiske datasett, og genererer heatmaps på en både rask og imponerende måte.

La oss bruke Lonboard til å lage et heatmap av all tilgjengelig flytrafikk lørdag 8. mars 2025.

  1. Last inn data fra 8. mars:
# Last inn data fra 8. mars
sql = """
CREATE TABLE flights_08_03_2025 AS
      SELECT * FROM read_parquet('r2://medieklyngen-radar-data/adsb/history/*/*/*/*.parquet', hive_partitioning = true)
      WHERE year = 2025 AND month = 03 AND day = 08;
"""
con.sql(sql)
  1. Gjør dataene klare for Lonboard. Vi lager en spørring som henter ut tidspunkt, posisjon og registreringsnummer, og gjør posisjonen om til et geometriobjekt (ST_POINT):
sql = """
SELECT trace.timestamp as Time, ST_POINT(trace.lon, trace.lat) as geom, r as Reg from flights_08_03_2025
GROUP BY ALL;
"""
query = con.sql(sql)
  1. Nå er alt klart! Vi bruker Lonboards HeatmapLayer og tegner det på et interaktivt kart:
from lonboard import Map, HeatmapLayer, PathLayer
layer = HeatmapLayer.from_duckdb(query, con)
m = Map(layer)
m

Og voilà – du får opp et kart som viser hvor det var mest aktivitet i luftrommet denne dagen. De varme, røde områdene indikerer høy konsentrasjon av datapunkter, mens kjøligere områder har mindre trafikk.

Figur 11: Heatmap av flytrafikk 8. mars 2025, generert med Lonboard.

Politihelikopternes bevegelser

Det kan være nyttig å se all flytrafikk på ett kart – men det er enda mer spennende når vi snevrer det inn. La oss undersøke politihelikopternes bevegelser 8. mars 2025.

  1. Finn alle observasjoner av politihelikoptre:
# Observasjoner av politihelikoptre 8. mars 2025
sql = """
SELECT trace.timestamp as Time, ST_POINT(trace.lon, trace.lat) as geom, r as Reg from flights_08_03_2025
WHERE (r = 'LN-ORA' OR r = 'LN-ORB' or r = 'LN-ORC') GROUP BY ALL;
"""
query = con.sql(sql)
from lonboard import Map, HeatmapLayer, PathLayer
layer = HeatmapLayer.from_duckdb(query, con)
m = Map(layer)
m

Figur 12: Heatmap av politihelikoptre 8. mars 2025, generert med Lonboard.

Se der, ja! Vi ser tydelig en konsentrasjon av aktivitet i Oslo-området. Men hvilket helikopter var i lufta – og når?

  1. Oversikt over aktivitet per time:
# Se hvilket politihelikopter som var i luften når
sql = """
SELECT r,
  EXTRACT(HOUR FROM CAST(trace.timestamp as timestamp)) AS hour_of_day,
  COUNT(*) AS num_points
FROM flights_08_03_2025 WHERE (r = 'LN-ORA' OR r = 'LN-ORB' or r = 'LN-ORC')
GROUP BY r, hour_of_day
ORDER BY hour_of_day;
"""
query = con.sql(sql)
query.pl()
rhour_of_daynum_points
“LN-ORC”7555
“LN-ORC”12417
“LN-ORA”141969
“LN-ORA”151316
“LN-ORA”19502
“LN-ORA”203520
“LN-ORA”21536

Her ser vi at LN-ORA og LN-ORC var aktive i løpet av dagen, mens LN-ORB enten var på bakken, utenfor dekning – eller ikke hadde transponderen aktivert.

  1. Visualiser bevegelsene til LN-ORA
# LN-ORA 8. mars 2025
sql = """
SELECT r,
  EXTRACT(HOUR FROM CAST(trace.timestamp as timestamp)) AS hour_of_day,
  COUNT(*) AS num_points, ST_POINT(trace.lon, trace.lat) as geom, trace.timestamp
FROM flights_08_03_2025 WHERE r = 'LN-ORA'
GROUP BY ALL
ORDER BY hour_of_day;
"""
query = con.sql(sql)
query.pl()
from lonboard import viz
viz(query, con=con)

Figur 13: Bevegelser for politihelikopteret LN-ORA, visualisert med Lonboard.

Nå ser vi alle registrerte bevegelser for LN-ORA denne dagen. Hovrer du med musepekeren over kartet, får du opp tidspunkter – og du kunne lett lagt til høyde, fart og andre datapunkter om ønskelig.

Visualisere et geografisk område

Tidligere i kurset har vi sett hvordan vi kan filtrere flydata basert på geografiske områder. Nå henter vi frem igjen H3-systemet, og bruker den til å lage en visualisering av flytrafikken i en gitt sektor.

Ved å velge en H3-sektor med oppløsning 2 midt i Sør-Norge, kan vi hente ut all flytrafikk i dette området 8. mars 2025.

# Visualisere et geografisk område
sql = """
SELECT r,
  EXTRACT(HOUR FROM CAST(trace.timestamp as timestamp)) AS hour_of_day,
  COUNT(*) AS num_points, ST_POINT(trace.lon, trace.lat) as geom, trace.timestamp
FROM flights_08_03_2025 WHERE h3_cell_to_parent(trace.h3_15, 2) = '82098ffffffffff'
GROUP BY ALL
ORDER BY hour_of_day;
"""
query = con.sql(sql)
query.pl()

Etter en kjapp runde med Polars får vi en oversikt over aktivitet i den valgte sektoren.

rhour_of_daynum_pointsbinary (truncated)timestamp
“B-304K”41b"\x00\x00...\x82o:N@"“2025-03-08 04:17:45.440000”
“B-304K”41b"\x00\x00...\x95}W:N@"“2025-03-08 04:17:46.250000”
“B-304K”41b"\x00\x00...\xee\xadH:N@"“2025-03-08 04:17:46.800000”
“B-304K”41b"\x00\x00...\xe2\x03;:N@"“2025-03-08 04:17:47.400000”
“B-304K”41b"\x00\x00...\xe6\x01,:N@"“2025-03-08 04:17:48.110000”
……………
“LN-DYT”231b"\x00\x00...\xc4\xcc$O@"“2025-03-08 23:19:17.280000”
“LN-DYT”231b"\x00\x00...\xb3!\xff$O@"“2025-03-08 23:19:18.210000”
“LN-DYT”231b"\x00\x00...\xd3\x82\x17%O@"“2025-03-08 23:19:18.710000”
“LN-DYT”231b"\x00\x00...\xe0(y%O@"“2025-03-08 23:19:20.830000”
“LN-DYT”231b"\x00\x00...\xbfD\xbc%O@"“2025-03-08 23:19:22.290000”

Heatmap over all trafikk i en gitt sektor

Vi fortsetter med å lage en Lonboard-heatmap av sektoren vår:

# Lage heatmap av geografisk område
layer = HeatmapLayer.from_duckdb(query, con)
m = Map(layer)
m

Figur 14: Heatmap av flyaktivitet i en H3-sektor.

Interessant! Vi kan nesten ane heksagonens konturer. Men vi gjør det enda tydeligere:

Viz-kart over all trafikk i en gitt sektor

# Lage Viz-kart av geografisk område
viz(query, con=con)

Figur 15: Viz-kart over geografisk område.

Enkle linjer – og nå ser vi tydelig H3-heksagonens form. Og som alltid med Viz-kart: du kan hovre med musepekeren for å se detaljer som fly-ID og tidspunkter.

Visualisere all militær trafikk

Nå gjør vi en liten justering – og bruker samme metode for å vise all militærtrafikk i datasettet. Alt vi trenger er et filter på dbFlags = 8.

# Visualisere all militær trafikk
sql = """
SELECT r,
  EXTRACT(HOUR FROM CAST(trace.timestamp as timestamp)) AS hour_of_day,
  COUNT(*) AS num_points, ST_POINT(trace.lon, trace.lat) as geom, trace.timestamp
FROM flights_08_03_2025 WHERE dbFlags = 8
GROUP BY ALL
ORDER BY hour_of_day;
"""
query = con.sql(sql)
query.pl()
rhour_of_daynum_pointsgeom (truncated)timestamp
“N609GB”31b"\x00\x00...\xff\xe8\xcdH@"“2025-03-08 03:45:40.800000”
“N609GB”31b"\x00\x00...\x30D\xceH@"
“N609GB”31b"\x00\x00...\xec-\xe5\xd0H@"“2025-03-08 03:45:58.170000”
“N609GB”31b"\x00\x00...\xd5\x01\x10\xd1H@"“2025-03-08 03:45:59.260000”
“N609GB”31b"\x00\x00...\xa0g\xb3\xd2H@"“2025-03-08 03:46:09.070000”
……………
“VQ-BXG”191b"\x00\x00...\xb2\xb8\xff\x02J@"“2025-03-08 19:09:23.110000”
“VQ-BXG”191b"\x00\x00...\x81\x02\xef\x02J@"“2025-03-08 19:09:24.800000”
“VQ-BXG”191b"\x00\x00...\xc3*\xde\x02J@"“2025-03-08 19:09:26.830000”
“VQ-BXG”191b"\x00\x00...\x3c\xc1\x02J@"“2025-03-08 19:09:30.110000”
“VQ-BXG”191b"\x00\x00...\xeb\xfbp\x02J@"“2025-03-08 19:09:39.060000”

Og jammen dukker det ikke opp en rekke kjente (og mindre kjente) militærfartøy!

Lage heatmap av all militær trafikk

# Lage heatmap av all militær trafikk
layer = HeatmapLayer.from_duckdb(query, con)
m = Map(layer)
m

Figur 16: Heatmap av all militær trafikk 8. mars 2025.

Her var det litt å boltre seg i. La oss visualisere de samme dataene på et Viz-kart:

Viz-kart med detaljert info

# Lage Viz-kart av all militær trafikk
from lonboard import viz
viz(query, con=con)

Figur 17: Viz-kart over militær trafikk.

Her får vi den fulle oversikten – og du kan enkelt undersøke hvilke fartøy som var i lufta, hvor og når.

Oppgaver

Nå har du fått en grunnleggende innføring i bruk av notebooks, DuckDB, Polars, Plotly og Lonboard. Tid for litt praktisk trening:

Sensorjournalistikk: Fra signaler til skup
Analyse med DuckDB 🦆
Sensorjournalistikk: Fra signaler til skup
Hva er AIS? ⛴️