DHT คืออะไร? คู่มือเชิงปฏิบัติของ Distributed Hash Table ใน BitTorrent
ทำความเข้าใจว่า BitTorrent DHT ค้นหา Peer โดยไม่ต้องพึ่ง Tracker ส่วนกลางอย่างไร Kademlia ทำหน้าที่อะไร และ DHT เก็บข้อมูลแบบใดจริง ๆ
BT9G / ENGINEERING NOTES
BT9G Labs
ทำความเข้าใจโปรโตคอลและระบบเบื้องหลังการค้นหาแบบกระจายศูนย์
บันทึกวิศวกรรมเชิงปฏิบัติเกี่ยวกับ BitTorrent, DHT, การแลกเปลี่ยน metadata, การค้นหา Peer และระบบค้นหาแบบกระจาย
01
คู่มือแนะนำ
จาก Magnet Link ไปสู่ File Metadata: Flow ของ Peer และ Metadata แบบครบถ้วน
ติดตามขั้นตอนจาก magnet link ที่มีเพียง content identity ไปสู่ Peer discovery, ut_metadata negotiation, metadata transfer และ hash verification
BT9G จะ Index BitTorrent Metadata ในสเกลใหญ่ได้อย่างไร: สถาปัตยกรรม DHT อ้างอิง
สถาปัตยกรรม end-to-end สำหรับ BT9G ตั้งแต่ discovery edge, hash ledger, metadata acquisition fleet, canonical storage, search serving จนถึง observability feedback
02
สำรวจ DHT เชิงลึก
พื้นฐาน DHT
DHT คืออะไร? คู่มือเชิงปฏิบัติของ Distributed Hash Table ใน BitTorrent
ทำความเข้าใจว่า BitTorrent DHT ค้นหา Peer โดยไม่ต้องพึ่ง Tracker ส่วนกลางอย่างไร Kademlia ทำหน้าที่อะไร และ DHT เก็บข้อมูลแบบใดจริง ๆ
อธิบาย Kademlia: XOR Distance, Routing และเหตุผลที่ BitTorrent DHT ขยายสเกลได้
ทำความเข้าใจ XOR distance, iterative lookup, parallelism และ k-bucket ซึ่งทำให้ Kademlia ค้นหาเป้าหมายได้อย่างมีประสิทธิภาพใน DHT ขนาดใหญ่
BitTorrent DHT ค้นหา Peer อย่างไร: จาก Bootstrap ถึง get_peers และ announce_peer
ติดตาม flow การค้นหา Peer แบบครบขั้นตอน ตั้งแต่ bootstrap, routing table, get_peers, token ไปจนถึง announce_peer
เจาะลึก InfoHash: BitTorrent v1, v2, Magnet Link, BTIH และ BTMH
เรียนรู้ว่า InfoHash ถูกสร้างอย่างไรใน BitTorrent v1 และ v2 แตกต่างกันอย่างไรระหว่าง BTIH กับ BTMH และมีผลต่อ indexing อย่างไร
อธิบายข้อความ DHT ใน BEP 5: ping, find_node, get_peers และ announce_peer
คู่มือเชิงปฏิบัติของ KRPC และ query หลักสี่แบบใน BEP 5 สำหรับ liveness, routing, Peer discovery และ announce
ภายใน Routing Table ของ DHT: k-Bucket, Node Churn และการเลือก Contact
ทำความเข้าใจว่า k-bucket แบ่งพื้นที่ XOR อย่างไร เหตุใด node ที่เสถียรจึงมีค่า และ routing table ถูกดูแลอย่างไรในเครือข่ายที่มี churn สูง
โปรโตคอล Peer และ metadata
ทำไม DHT จึงเห็น InfoHash จำนวนมาก? ทำความเข้าใจ Swarm Discovery ในระดับ Internet
เรียนรู้ว่า activity แบบกระจายสร้าง InfoHash observation จำนวนมหาศาลอย่างไร และเหตุใด deduplication กับ ranking จึงสำคัญ
DHT Crawler ค้นพบ InfoHash อย่างไร: Active Lookup, Observation และการออกแบบอย่างรับผิดชอบ
ทำความเข้าใจกลยุทธ์ discovery ของ InfoHash การแยก discovery ออกจาก metadata acquisition และการออกแบบ ingestion path ที่มีประสิทธิภาพ
จาก Magnet Link ไปสู่ File Metadata: Flow ของ Peer และ Metadata แบบครบถ้วน
ติดตามขั้นตอนจาก magnet link ที่มีเพียง content identity ไปสู่ Peer discovery, ut_metadata negotiation, metadata transfer และ hash verification
อธิบาย BEP 9 ut_metadata: การดึง Torrent Metadata จาก Peer
เข้าใจ lifecycle ของ BEP 9, metadata_size, request/data/reject, การแบ่ง piece, hash verification และการ schedule หลาย Peer
BEP 10 Extension Protocol: BitTorrent Negotiate ฟีเจอร์ใหม่โดยไม่ทำลาย Compatibility
ทำความเข้าใจ extended handshake, extension ID mapping, dynamic capability และเหตุใด BEP 10 จึงสำคัญต่อ ut_metadata และ extension อื่น
Tracker vs DHT vs PEX: เปรียบเทียบสามกลไก Peer Discovery ของ BitTorrent
เปรียบเทียบ Tracker, DHT และ Peer Exchange ในด้านสถาปัตยกรรม freshness การกระจายศูนย์ observability และกรณีใช้งาน
Seeder และ Leecher: ตัวเลขหมายถึงอะไรและวัดอย่างไร
ทำความเข้าใจนิยาม Seeder/Leecher วิธีที่ Tracker scrape นับ complete/incomplete และเหตุใด DHT จึงให้ตัวเลข global แบบแม่นยำไม่ได้
ทำไมการดึง Torrent Metadata จึงล้มเหลว: 10 สาเหตุจริงและโมเดล Retry ที่ดีกว่า
เรียนรู้สาเหตุ metadata fetch ล้มเหลวตั้งแต่ Peer stale, ut_metadata ไปจนถึง hash mismatch และออกแบบ retry ตามประเภท failure
วิศวกรรม crawler
ออกแบบ DHT Crawler ประสิทธิภาพสูง: Architecture, Queue และ Backpressure
ออกแบบ crawler ที่แยก packet plane กับ work plane ใช้ bounded queue, sharding, observability และ backpressure เพื่อรักษา throughput
ต้องใช้อะไรบ้างเพื่อดึง Torrent Metadata มากกว่า 1,000 รายการต่อนาที
โมเดล capacity สำหรับ 1,000+ verified metadata ต่อนาที ทั้ง concurrency, latency, success rate, Peer discovery และ host limits
วิธี Deduplicate Observation ของ InfoHash หลายพันล้านรายการโดยไม่เสียงาน Metadata
ออกแบบ dedup ระดับใหญ่ด้วย hot cache, Bloom filter, durable ledger, scheduling state และ partitioning ระยะยาว
ทำไม InfoHash ที่ล้มเหลวยังควรถูกเก็บไว้: ออกแบบ Retry Scheduler ระยะยาว
ออกแบบ retry scheduler ที่เก็บ hash ล้มเหลว ใช้ backoff ตาม failure class รองรับ reactivation signal และมี queue แบบ durable
โครงสร้างพื้นฐานการค้นหา
สร้าง BitTorrent Search Index: จาก DHT สู่ Metadata และ Elasticsearch
ออกแบบ pipeline ที่แยก discovery, metadata validation, canonical storage, enrichment และ Elasticsearch เพื่อให้ index ปลอดภัยและ rebuild ได้
BT9G จะ Index BitTorrent Metadata ในสเกลใหญ่ได้อย่างไร: สถาปัตยกรรม DHT อ้างอิง
สถาปัตยกรรม end-to-end สำหรับ BT9G ตั้งแต่ discovery edge, hash ledger, metadata acquisition fleet, canonical storage, search serving จนถึง observability feedback