Криптовалютный ажиотаж привел к созданию новых типов вычислительных кластеров — специальных ферм для майнинга. Пока ваш сосед выкидывает хлам с балкона и копит на новый GTX, ребята из New Mining привлекают инвесторов и собирают 40-футовые контейнеры, начиненные специализированным оборудованием для круглосуточной добычи биткойнов. Сквозь рев вентиляторов мы достучались до этих предприимчивых энтузиастов и зашли посмотреть, что да как.

В дата-центр для промышленного майнинга сразу не зайдешь. Здесь, как в космическом корабле, предусмотрен шлюзовой отсек. Если соединить лестницу и машинный зал одной дверью, то поток воздуха снесет все, что плохо лежит.

Перед поездкой мы думали, что увидим все оборудование прямо в контейнере, готовом к транспортировке в любую точку мира. Но пока что ферма работает в помещении. Поэтому начнем мы с рассказа про инфраструктуру в нынешнем виде, а потом — про то, как New Mining может создать такую же в чистом поле.

Оборудование New Mining размещается в небольшом зале. На первый взгляд кажется, что этот хаос из проводов не поддается никакой логике, но на самом деле схема здесь несложная. В шкафах расставлено множество майнеров — устройств на основе интегральных схем специального назначения (ASIC). По сути, эти схемы близки к обычным процессорам, но умеют выполнять только определенные вычисления — в данном случае, необходимые для майнинга криптовалют. В этих вычислениях АСИКи достигают КПД в районе 98% — это в 2-3 раза выше, чем у видеокарт, не говоря уже об обычных процессорах.

New Mining использует три модели АСИКов: Canaan AvalonMiner 741, 821 и Bitmain Antminer S9.

Canaan AvalonMiner 741 и 821 — это черные монолитные блоки, последовательно соединенные в ряд. У них нет дополнительной начинки, есть только то, что необходимо для вычислений. Цепочка «авалонов» через конвертер по обычному microUSB-кабелю соединяется с контроллером и передает ему результаты вычислений — хеши.

Left

Right

Контроллер AvalonMiner основан на микрокомпьютере Raspberry Pi 3. Необходимый софт записан на карту памяти внутри. Контроллер соединяется с компьютером через Wi-Fi.

Блоки питания установлены прямо за майнерами — удобно и просто.

Второй тип АСИКов — это Bitmain Antminer S9, более мощные и дорогие модели по сравнению с «авалонами». AvalonMiner 741 и 821 выдают 7,3 и 11 ТХ/с (терахешей в секунду), а Antminer S9 — 14 терахешей в секунду.

Antminer S9 дополнительно оборудован управляющей платой с двухъядерным процессором на базе ARM Cortex-A9. Это упрощает схему подключения: от Antminer сетевой кабель идет напрямую в маршрутизатор .

Данные обо всех устройствах-майнерах — общий прогресс, производительность, температура — сводятся в ПО Awesome Miner. Ферма управляется через обычный компьютер. Инфраструктура защищена с помощью программно-аппаратных комплексов HP и Cisco.

На терминале есть вся информация по устройствам, а также данные по общему доходу. Пока что в шахтах New Mining добывают только BTC (биткойны) — самую востребованную и распространенную криптовалюту.

Фермы постоянно передают результаты своих вычислений в интернет. Учитывая количество устройств, можно подумать, что для этого нужен широкий канал связи. На самом деле ферма New Mining суммарно требует не более 50 Мбит/с в самые горячие часы. Такую скорость можно обеспечить без всяких проводов.

Электропитание

Сложность обслуживания инфраструктуры напрямую зависит от сложности самой инфраструктуры. ASIC-ферма устроена гораздо проще, чем обычный ЦОД, — с ним мы бы закопались еще на описании стоек. Центры обработки данных два-три раза зарезервированы по всем компонентам: имеют несколько провайдеров связи, поставщиков электричества и ГСМ для аварийных генераторов, задублированы системы безопасности, видеонаблюдения и многое другое.

Для ASIC-ферм ничего подобного не нужно. Достаточно третьей категории надежности электроснабжения — как для жилых домов. На случай перепадов и помех в сети есть реле напряжения. Оно фиксирует нестабильность в электропитании и мгновенно обесточивает все оборудование, пока не восстановится нормальное напряжение. Затем инженеры New Mining осматривают все системы, проверяют, все ли в порядке, и включают питание вручную.

Кошмарам про аварии на ЦОД здесь не место — на ASIC-фермах не хранятся никакие данные, все результаты вычислений сразу отправляются в сеть. За все время работы ферма New Mining простаивала из-за электричества лишь несколько минут — был скачок со стороны подстанции. Тогда реле напряжения сработало как полагается, ответственный инженер перезапустил питание и проблем не возникло.

Охлаждение

С одной стороны, ASIC греются больше, чем обычные процессоры. С другой стороны, их площадь тоже больше, так что тепло рассеивается лучше. После экспериментов с разными типами охлаждения в промышленном майнинге пришли к выводу, что эффективней всего обходиться обычным воздухом.

Весь зал фермы New Mining — это большая вентиляционная камера. Воздух поступает через оконные проемы в уличной стене. Они плотно заткнуты фильтрующим материалом.

Просочившись через стойки с оборудованием, теплый воздух выходит с другой стороны зала, где ему помогает пара больших вентиляторов.

В условиях, когда оборудование резко нагревается по отношению к окружающей среде, возникает риск образования конденсата на электронных компонентах — проблема «точки росы». Чтобы этого избежать, в New Mining перед запуском майнеров герметизируют помещение и прогревают его тепловыми пушками. В таком случае конденсат точно не образуется.

Если естественного охлаждения недостаточно, на АСИКах увеличивают скорость работы вентиляторов. Постоянная и предсказуемая нагрузка кристаллов позволяет легко прогнозировать изменение их температуры и избегать проблем.

Единственная альтернатива естественному обдуву, которую всерьез рассматривали в New Mining, — помещать майнеры в емкости с трансформаторным маслом. В нем короткого замыкания не происходит, так как масло является диэлектриком. При этом тепло рассеивается эффективней, чем при воздушном охлаждении. Но появляются новые проблемы. Нужно охлаждать масло, закупать помпы, чиллеры и гору оборудования. В итоге эту идею забросили.

Другие стандартные системы

Из остальных обслуживающих систем для промышленного майнинга наиболее критична пожарная. Принцип у нее тот же, что и у электропитания: лучше вообще не рисковать. При срабатывании сигнализации прекращается вся подача питания, помещение герметизируется и внутрь поступает газ, вытесняющий кислород — хладон.

Для защиты от недоброжелателей фермы устанавливают в огороженном периметре, с охраной, видеонаблюдением, высокими заборами и системой контроля доступа. Желательно подальше от дорог и жилых объектов — где-нибудь в промышленной зоне.

Система контейнерная, оригинальная

Все, что мы показывали выше, умещается вот в такую 40-футовую коробку. Длина — около 12 метров, ширина и высота — примерно 2,5 м. На первый взгляд, перед нами стандартный морской контейнер, но New Mining сделала из него кое-что поинтересней.

Left

Right

Как и стационарный машинный зал, весь контейнер New Mining — это одна большая вентиляционная камера. С одной стороны стенка разделена на две части, которые приоткрываются для забора воздуха. Здесь также установлены фильтры, которые защищают оборудование от посторонних частиц.

Противоположная стенка контейнера открывается полностью, вертикально. Через нее горячий воздух покидает контейнер.

Доступ к оборудованию мы получаем через боковую стенку-дверь — так же просто, как и в обычном помещении. Для газового пожаротушения и управления подвижными частями контейнера внутри установлены отдельные щитки.

У дальней стены контейнера — электрические автоматы. Есть общий рубильник, есть отдельные для групп устройств. Предусмотрена защита, подобная той, что используется в стационарной ферме.

Пока что контейнер только готовят к эксплуатации, так что внутри — рабочий беспорядок. Еще нужно установить входящие фильтры и провести ряд мелких работ. Но стеллажи уже готовы принять оборудование, кабели питания прокинуты и стянуты.

Контейнер от New Mining позволит размещать оборудование в любой подходящей климатической зоне. В промышленном майнинге такие зоны определяются по нескольким факторам. Учитываются цены на электричество и его доступные объемы — здесь у ASIC-ферм аппетиты не ограничены. А также важна безопасность — например, в городах потенциал у систем электроснабжения большой, но тесное соседство с людьми может привести к неприятным инцидентам. Пока что ферма New Mining развернута в одной из московских промзон, но в будущем все оборудование вместе с контейнером переедет подальше от больших городов.

Источник