DHT คืออะไร? คู่มือเชิงปฏิบัติของ Distributed Hash Table ใน BitTorrent

BT9G Labs / DHT Deep Dive #01. การเข้าใจ DHT คือพื้นฐานสำคัญในการเข้าใจว่า BitTorrent ค้นหา Peer ได้อย่างไรโดยไม่ต้องพึ่งเซิร์ฟเวอร์ส่วนกลางเพียงจุดเดียว

สรุปแบบรวดเร็ว

• หัวข้อ: DHT คืออะไร? คู่มือเชิงปฏิบัติของ Distributed Hash Table ใน BitTorrent
• คีย์เวิร์ดหลัก: DHT, BitTorrent DHT, Distributed Hash Table, Kademlia, Peer Discovery
• เหมาะสำหรับ: วิศวกร backend, นักวิจัยโปรโตคอล, search engineer และผู้พัฒนา BitTorrent
• เป้าหมาย: อธิบายโปรโตคอลและสถาปัตยกรรมระบบอย่างแม่นยำพอที่จะนำไปใช้กับ discovery, metadata, indexing และ search pipeline ในระบบจริงได้

มุมมองระบบ

DHT แก้ปัญหาอะไร

การรู้เพียง InfoHash ยังไม่เพียงพอสำหรับการดาวน์โหลดหรือตรวจสอบ Torrent เพราะ client ยังต้องค้นหา Peer ที่กำลังอยู่ใน Swarm เดียวกันด้วย Tracker แบบดั้งเดิมจะเก็บ mapping ระหว่าง InfoHash กับที่อยู่ของ Peer ไว้บนเซิร์ฟเวอร์ส่วนกลาง ซึ่งง่ายต่อการใช้งานแต่สร้างจุดบริการที่ต้องพร้อมใช้งานตลอดเวลา

DHT กระจายหน้าที่ discovery นี้ไปยัง node จำนวนมาก Client ไม่ต้องถาม Tracker เพียงตัวเดียว แต่จะ query DHT node ที่มี XOR distance เข้าใกล้ target มากขึ้นเรื่อย ๆ Response อาจเป็น Peer endpoint หรือ node ที่ใกล้ target มากกว่า ตาม BEP 5 ควรแยกแนวคิด DHT node ออกจาก BitTorrent Peer ให้ชัดเจน

โมเดลความคิดที่ใช้งานได้จริง

มอง DHT เป็นสมุดรายชื่อแบบกระจายศูนย์ขนาดใหญ่ที่เปลี่ยนแปลงตลอดเวลา key คือ content identity ส่วนสิ่งที่ค้นหามักเป็นข้อมูลติดต่อของ Peer ที่อ้างว่ากำลังเข้าร่วม Swarm นั้น DHT ไม่ได้ส่งไฟล์ ชื่อโฟลเดอร์ หรือรายชื่อไฟล์กลับมาโดยตรง

ข้อมูลอย่างชื่อไฟล์ ขนาด และโครงสร้างไดเรกทอรีอยู่ใน metadata ซึ่งต้องไปขอจาก Peer ภายหลังผ่าน extension อย่าง ut_metadata ดังนั้น indexer ที่ดีควรแยกสถานะ 'พบ InfoHash แล้ว' ออกจาก 'ได้รับและตรวจสอบ metadata แล้ว'

จาก cold start ไปจนถึงพบ Peer

Node ใหม่มักเข้าร่วมเครือข่ายผ่าน bootstrap node ที่รู้จักอยู่แล้ว หรือ contact ที่เก็บไว้จาก session ก่อนหน้า หลังจากนั้นจะใช้ query เช่น find_node เพื่อสร้าง routing table เมื่อจะค้นหา Peer ของ InfoHash ใด ก็ทำ iterative get_peers และเลือก candidate ที่ใกล้ target มากขึ้นตาม XOR distance

หาก client ต้องการประกาศว่าตนเองเข้าร่วม Swarm จริง จะใช้ token ที่ได้จาก get_peers แล้วส่ง announce_peer Token ช่วยลดการเขียนข้อมูลแบบสุ่ม เพราะผู้ส่งต้องติดต่อ node ปลายทางก่อน

สิ่งที่ DHT ไม่รับประกัน

DHT ไม่ใช่ global database ที่มี transaction, strong consistency หรือข้อมูลถาวร Node อาจ offline, NAT อาจเปลี่ยน endpoint, Peer อาจหายไปอย่างรวดเร็ว และข้อมูลที่ได้รับอาจผิดหรือจงใจทำให้เข้าใจผิด Query ล้มเหลวหนึ่งครั้งจึงไม่เท่ากับ Torrent นั้นตายถาวร

สำหรับ crawler หรือ search engine ควรเก็บ content identity ระยะยาว แต่ถือ Peer endpoint และ activity signal เป็น observation ที่เสื่อมอายุได้ หากมีสัญญาณใหม่ในอนาคต scheduler สามารถนำ InfoHash เดิมกลับมาลอง metadata ใหม่ได้

ตัวอย่างการนำไปใช้

// Conceptual lookup loop. Production code needs transaction IDs,
// compact-node parsing, timeouts, retries, and routing-table maintenance.
for frontier.NotEmpty() {
    node := frontier.PopClosest(targetInfoHash)
    resp, err := dht.GetPeers(node, targetInfoHash)
    if err != nil { continue }
    peers.Add(resp.Peers...)
    frontier.Add(resp.CloserNodes...)
}

บันทึกเชิงวิศวกรรมจาก BT9G Labs

สำหรับระบบทำดัชนีอย่าง BT9G ไม่ควรวัดความสำเร็จจากจำนวน packet หรือจำนวน InfoHash ที่มองเห็นเพียงอย่างเดียว ควรแยก content identity, network observation, acquisition state, verified metadata และ search document ออกจากกันเป็นชั้นข้อมูลที่ชัดเจน ข้อมูลจาก DHT หรือ Peer ควรเก็บ source และ timestamp เสมอ เพื่อให้วิเคราะห์ bottleneck ได้ตั้งแต่ discovery, connection, handshake, extension negotiation, metadata transfer, verification, storage ไปจนถึง indexing

ข้อผิดพลาดที่พบบ่อย

• เข้าใจว่า DHT node และ BitTorrent Peer คือสิ่งเดียวกัน
• เก็บ Peer endpoint ราวกับว่าเป็นข้อมูลถาวร
• สรุปว่า Torrent ตายจากการ query ล้มเหลวเพียงครั้งเดียว
• คิดว่า DHT ส่งชื่อไฟล์และขนาดไฟล์กลับมาโดยตรง

บทความ BT9G Labs ที่เกี่ยวข้อง

• อธิบาย Kademlia: XOR Distance, Routing และเหตุผลที่ BitTorrent DHT ขยายสเกลได้
• BitTorrent DHT ค้นหา Peer อย่างไร: จาก Bootstrap ถึง get_peers และ announce_peer

เอกสารอ้างอิง

• BEP 5 - DHT Protocol
• Kademlia: A Peer-to-peer Information System Based on the XOR Metric

บทความถัดไป: อธิบาย Kademlia: XOR Distance, Routing และเหตุผลที่ BitTorrent DHT ขยายสเกลได้ →

บทความนี้อธิบายโปรโตคอล BitTorrent แบบสาธารณะและแนวทางเชิงวิศวกรรม การสังเกตเห็น Swarm ใดไม่ได้หมายความว่าเนื้อหานั้นยังใช้งานได้ ถูกต้อง หรือได้รับอนุญาตให้เผยแพร่