Wat is Distributed Hash Table (DHT)?
Distributed Hash Table is een gedeeld adresboek dat de taak om data te vinden over veel onafhankelijke computers verdeelt. In plaats van één server die zegt waar een stuk data zich bevindt, laat een DHT het netwerk gezamenlijk naar de juiste plek wijzen. Zie het als het vragen aan een slimme menigte waar een bestand is, en de menigte antwoordt in een paar snelle stappen.
Een DHT slaat je bestanden voor altijd op. Niet helemaal. Het slaat op waar je iets kunt vinden, niet de gegevens zelf, en de data blijft op peers staan die ervoor kiezen het te hosten.
Hoe Distributed Hash Table (DHT) werkt
Stel je voor dat je app de menigte vraagt om een item aangeduid met een content hash. Hieronder een korte weergave van de stappen.
- Stap 1: Je sluit je aan bij de swarm en wordt één van de nodes.
- Stap 2: Je wilt item X, dus je neemt de inhoud en berekent een hash die fungeert als unieke ID.
- Stap 3: Je vraagt nabijgelegen peers, die je query doorsturen naar peers die wiskundig dichter bij die ID liggen.
- Stap 4: De query komt terecht bij de verantwoordelijke peers, die teruggeven wie op dat moment item X heeft.
- Stap 5: Je verbindt met die peers en downloadt direct van hen. Snel, netjes, klaar.
Reëel voorbeeld: IPFS (InterPlanetary File System) gebruikt een DHT om te ontdekken welke peers content voor een gegeven hash hebben, en haalt die vervolgens op.
Waarom Distributed Hash Table (DHT) belangrijk is
Waarom zou het je iets schelen naast de geekpunten?
- Voordeel: Het vindt content snel zonder centrale poortwachters, wat snelheid en veerkracht oplevert.
- Perspectief: Het is een belangrijk onderdeel van decentralized netwerken, waar de menigte zoekopdrachten afhandelt en enkele uitvalpunten vermindert.
- Relevantie: Peer discovery voor bestandsdeling, beschikbaarheid van data voor dapps, en zelfs het vinden van tegenpartijen in peer to peer transactions.
Als iemand zegt dat een DHT je data heeft, vraag waar de data zelf is opgeslagen en hoeveel peers het vastzetten of repliceren. Verwijzingen zijn geen backups.
Belangrijkste kenmerken van Distributed Hash Table (DHT)
Wat maakt het bijzonder en waarom het veel gebruikt wordt in crypto en peer netwerken:
- Lookup: Gegeven een sleutel vindt het de verantwoordelijke peers in ongeveer logaritmische stappen, ook op grote schaal.
- Spread: De index is gedeeld zodat geen enkele server de ontdekking kan uitschakelen.
- Resilience: Peers kunnen aansluiten en weggaan en het netwerk blijft om wisselingen heen routeren.
- Verifiability: Sleutels zijn hashes, dus wat je ophaalt kan worden gecontroleerd aan de hand van de sleutel.
Varianten
Verschillende varianten bestaan, elk met een eigen routeringsstijl en afwegingen:
- Kademlia: Veel gebruikt, routeert op basis van XOR afstand en geeft de voorkeur aan peers die langer online blijven.
- Chord: Rangschikt peers in een ring en routeert via finger tables.
- Pastry: Gebruikt routering op basis van prefixen met aandacht voor nabijheid.
Een DHT is een adresboek en routeringssysteem, geen bron van waarheid. Je verifieert nog steeds content aan de hand van de hash en beoordeelt wat peers beweren met gezonde scepsis.
Voorbeeld
Je vraagt een content hash op in een app die IPFS (InterPlanetary File System) ondersteunt, de DHT antwoordt met meerdere peeradressen, en je app haalt de bytes direct van die peers.
Leuk weetje
Kademlia, de meest gebruikte DHT variant, verscheen in 2002 en heeft stilletjes invloed gehad op alles van BitTorrent magnet links tot moderne content addressed opslag die door crypto projecten wordt gebruikt. Oud paper, recente impact.
Samenvatting
Kort: een DHT is het adresboek dat peer netwerken helpt vinden wat ze nodig hebben zonder een centrale server te raadplegen. Eenvoudig idee, grote impact.