BT9G / ENGINEERING NOTES

BT9G Labs

Разберитесь в протоколах и системах децентрализованного обнаружения.

Практические инженерные материалы о BitTorrent, DHT, обмене метаданными, поиске Peer и распределённой поисковой инфраструктуре.

Избранные руководства

Что такое DHT в BitTorrent: практическое руководство по распределенной хеш-таблице

Как BitTorrent DHT заменяет центральный Tracker распределенным механизмом поиска Peer на основе Kademlia.

Как Magnet link превращается в Metadata: полный путь через Peer и расширения BitTorrent

От InfoHash в Magnet до DHT peer discovery, BEP 10 negotiation и получения Metadata по BEP 9.

Как BT9G может масштабировать индексацию BitTorrent Metadata: эталонная DHT-архитектура

Reference architecture для BT9G Labs: DHT discovery, durable InfoHash state, Metadata acquisition, search indexing и observability.

Все материалы DHT Deep Dive

Основы DHT

Что такое DHT в BitTorrent: практическое руководство по распределенной хеш-таблице

Как BitTorrent DHT заменяет центральный Tracker распределенным механизмом поиска Peer на основе Kademlia.

Kademlia: XOR-расстояние, маршрутизация и масштабируемость BitTorrent DHT

Практическое объяснение XOR distance, итеративного поиска, параллелизма и k-bucket в Kademlia-подобной DHT.

Как BitTorrent DHT находит Peer: от bootstrap до get_peers и announce_peer

Полный путь DHT peer discovery: холодный старт, построение routing table, поиск Swarm и объявление участия.

InfoHash в деталях: BitTorrent v1, v2, Magnet, BTIH и BTMH

Как вычисляются идентификаторы BitTorrent-контента и как v1/v2 представлены в Magnet links через BTIH и BTMH.

BEP 5: ping, find_node, get_peers и announce_peer на уровне DHT-сообщений

Пакетный разбор KRPC и четырех основных типов запросов BitTorrent DHT, определенных BEP 5.

Внутри DHT routing table: k-bucket, churn и выбор контактов

Как k-bucket организуют DHT-контакты, почему стабильные узлы ценны и как routing table живет при высоком churn.

Протоколы, Peer и метаданные

Почему DHT видит так много InfoHash: Swarm discovery в масштабе интернета

Почему наблюдатель DHT получает огромный поток активных, повторных, устаревших и низкокачественных InfoHash.

Как DHT crawler обнаруживает InfoHash: активный поиск, наблюдение и ответственная архитектура

Системный разбор discovery InfoHash в DHT и правильного разделения discovery, Metadata acquisition и indexing.

Как Magnet link превращается в Metadata: полный путь через Peer и расширения BitTorrent

От InfoHash в Magnet до DHT peer discovery, BEP 10 negotiation и получения Metadata по BEP 9.

BEP 9 ut_metadata: как получать Torrent Metadata от Peer

Типы сообщений BEP 9, pieces, validation и планирование Metadata fetch в высоконагруженном crawler.

BEP 10 Extension Protocol: как BitTorrent добавляет функции без потери совместимости

Extended handshake, динамические message ID и роль BEP 10 как основы для ut_metadata и PEX.

Tracker vs DHT vs PEX: сравнение трех механизмов поиска Peer в BitTorrent

Чем отличаются централизованные Tracker, децентрализованная DHT и Peer Exchange и как они дополняют друг друга.

Seeders и Leechers: что означают цифры и как их измеряют

Определения Seeder/Leecher, Tracker scrape, ограничения DHT и причины, по которым глобальный размер Swarm трудно измерить точно.

Почему получение Torrent Metadata не удается: 10 реальных причин и правильная модель retry

Metadata timeout, холодные Swarm, неподдерживаемые extensions, плохие Peer и ошибки scheduler — как их диагностировать и повторять разумно.

Архитектура краулеров

Архитектура высокопроизводительного DHT crawler: очереди, backpressure и границы ресурсов

Высокий throughput DHT observation с эффективным UDP, bounded memory и отдельным контуром Metadata workers.

Что нужно, чтобы получать 1 000+ Torrent Metadata в минуту

Capacity planning Metadata pipeline по success throughput, Peer discovery, connection rate, timeout budget и concurrency.

Как дедуплицировать миллиарды InfoHash и не тратить ресурсы на повторный Metadata fetch

Многоуровневый dedup с exact keys, Bloom filter, hot cache и durable state для DHT ingestion большого масштаба.

Почему неудачные InfoHash стоит хранить: долгосрочный retry scheduler

Как сохранять исторические хеши, охлаждать неактивные Swarm и быстро реактивировать задачу при новой активности.

Поисковая инфраструктура

Как построить BitTorrent search index: DHT → Metadata → Elasticsearch

End-to-end архитектура преобразования DHT observations в проверенные и полнотекстово индексируемые Metadata documents.

Как BT9G может масштабировать индексацию BitTorrent Metadata: эталонная DHT-архитектура

Reference architecture для BT9G Labs: DHT discovery, durable InfoHash state, Metadata acquisition, search indexing и observability.