DHT Là Gì? Hướng Dẫn Thực Tế Về Distributed Hash Table Trong BitTorrent
Tìm hiểu cách BitTorrent DHT tìm Peer mà không cần Tracker tập trung, vai trò của Kademlia và dữ liệu thực sự được lưu trong mạng DHT.
BT9G / ENGINEERING NOTES
Hiểu các giao thức và hệ thống đằng sau cơ chế khám phá phi tập trung.
Ghi chú kỹ thuật thực tiễn về BitTorrent, DHT, trao đổi metadata, khám phá Peer và hạ tầng tìm kiếm phân tán.
01
Tìm hiểu cách BitTorrent DHT tìm Peer mà không cần Tracker tập trung, vai trò của Kademlia và dữ liệu thực sự được lưu trong mạng DHT.
Theo dõi quá trình từ magnet link chỉ mang content identity tới Peer discovery, ut_metadata negotiation, transfer metadata và hash verification.
Kiến trúc end-to-end cho BT9G gồm discovery edge, hash ledger, metadata acquisition fleet, canonical storage, search serving và observability feedback.
02
Tìm hiểu cách BitTorrent DHT tìm Peer mà không cần Tracker tập trung, vai trò của Kademlia và dữ liệu thực sự được lưu trong mạng DHT.
Hiểu XOR distance, iterative lookup, parallelism và k-bucket giúp Kademlia định tuyến hiệu quả trong mạng DHT quy mô lớn.
Theo dõi toàn bộ luồng Peer discovery trong BitTorrent DHT: bootstrap, routing table, get_peers, token và announce_peer.
Tìm hiểu cách hình thành InfoHash trong BitTorrent v1 và v2, sự khác biệt giữa BTIH và BTMH, cùng tác động tới magnet link và indexing.
Hướng dẫn thực tế về KRPC và bốn query cốt lõi của BEP 5 dùng cho liveness, routing, Peer discovery và announce.
Tìm hiểu cách k-bucket chia không gian XOR, tại sao node ổn định có giá trị và routing table được duy trì trong mạng DHT nhiều churn.
Tìm hiểu vì sao DHT tạo ra dòng InfoHash rất lớn, cách activity sinh ra observation và vì sao deduplication cùng ranking là bắt buộc.
Tìm hiểu các chiến lược discovery InfoHash, cách tách discovery khỏi metadata acquisition và cách thiết kế ingestion path hiệu quả.
Theo dõi quá trình từ magnet link chỉ mang content identity tới Peer discovery, ut_metadata negotiation, transfer metadata và hash verification.
Hiểu lifecycle BEP 9, metadata_size, request/data/reject, piece transfer, hash verification và scheduling nhiều Peer.
Hiểu extended handshake, mapping extension ID, dynamic capability và vai trò của BEP 10 đối với ut_metadata cùng các extension khác.
So sánh Tracker, DHT và Peer Exchange về kiến trúc, freshness, tính phi tập trung, observability và trường hợp sử dụng.
Hiểu định nghĩa Seeder/Leecher, cách Tracker scrape đếm complete/incomplete và vì sao DHT không cho số toàn cầu chính xác.
Tìm hiểu các nguyên nhân metadata fetch thất bại từ Peer stale đến ut_metadata và hash mismatch, cùng chiến lược retry theo loại lỗi.
Thiết kế crawler tách packet plane và work plane, dùng bounded queue, sharding, observability và backpressure để giữ throughput ổn định.
Mô hình capacity cho 1.000+ metadata thành công mỗi phút: concurrency, latency, success rate, Peer discovery, host limits và scale-out.
Thiết kế dedup ở quy mô lớn với hot cache, Bloom filter, durable ledger, scheduling state và partitioning.
Thiết kế retry scheduler lưu các hash thất bại, dùng backoff theo failure class, nhận reactivation signal và giữ queue bền vững.
Kiến trúc pipeline tách discovery, metadata validation, canonical storage, enrichment và Elasticsearch để indexing an toàn và có thể rebuild.
Kiến trúc end-to-end cho BT9G gồm discovery edge, hash ledger, metadata acquisition fleet, canonical storage, search serving và observability feedback.