Что такое Node.js и где он пригодится | Медиа Нетологии

Что такое нода?

Нодой в контексте блокчейна обычно называется компьютер, который установил программное обеспечение под конкретную криптовалюту (биткоин, эфириум, монеро и др.) для участия в одноранговой сети.

Криптовалютный блокчейн структурирован как сетевая архитектура между участниками сети (peer-to-peer, или сокращенно – P2P). Термин peer-to-peer, или P2P, означает, что компьютеры, участвующие в сети, равноправны. Термин не является новым, потому что, если сделать небольшой экскурс в историю, первое массовое использование P2P-сетей было реализовано сетью для обмена музыкальными файлами – Napster.

Несмотря на то, что сеть Napster была совсем несложной (просто протокол обмена файлами), но если сравнивать ее с сегодняшними блокчейн-сетями, ее основные принципы те же самые. В этом смысле самой старой P2P-сетью, которая больше всего напоминает работу текущих блокчейнов, является сеть SETI @ HOME.

SETI @ HOME – это компьютерная сеть, созданная компанией SETI для анализа данных с расположенных по всему миру радиотелескопов для поиска разумной жизни в Галактике. Люди могут участвовать в этой сети, просто скачав программное обеспечение с их официального сайта.

В этом смысле, все построено так, что в P2P-сетях каждый компьютер, который участвует в сети, получает имя – нода. В сети все ноды (или другими словами – узлы) разделяют ответственность за предоставление сетевых услуг. Это происходит потому, что взаимодействуя в сети, ноды обеспечивают целостность работы.

Таким образом, термин «блокчейн-сеть» означает набор узлов, которые исполняют условия P2P-протокола для данного блокчейна. Сеть осуществляет управление и координирование действий полностью интегрированным, децентрализованным и распределенным образом – по таким канонам действует каждый пользователь в сети.

Это означает, что эта сеть компьютеров со всего мира постоянно взаимодействует, инициируя новые транзакции. Каждый компьютер в этой сети является узлом, который полностью загрузил блокчейн. При этом сеть может перегружаться, но совместная работа делает ее масштабируемой по мере расширения.

Что такое мастерноды?

Главные ноды, или мастер-ноды, являются уникальными характеристиками некоторых ныне существующих блокчейнов. Мастерноды обычно гораздо лучше оборудованы, чем обычные ноды. Помимо проверки, хранения и передачи транзакций, иногда мастерноды также ускоряют ход других событий в цепочке блоков в зависимости от природы этих событий, будь то голосование, выполнение протокольных операций и соблюдение законов построения цепочки блоков.

Мастерноды всегда находятся в режиме онлайн (24/7) и обеспечивают гораздо больший объем памяти, чем обычные узлы. Так как для пребывания в статусе мастерноды обычно требуется гораздо больше ресурсов (электричество, время бесперебойной работы, обслуживание, место для хранения, память), сам статус в целом обеспечивает получение дивидендов в виде процентов.

Однако, учитывая особенности мастерноды, не каждый может запустить ее. Есть риск соблазна злоупотребить той властью, которую дает управление мастернодой, и именно поэтому от владельца ноды требуется залог в виде криптовалюты (часто довольно большой).

Эта гарантия на тот случай, если владелец ноды нарушит правила цепочки блоков. Ставка процента, получаемого владельцем мастерноды, рассчитывается по вашему гарантийному депозиту. От удерживаемых средств зависит выигрыш владельца мастерноды, который измеряется процентом от всех сделок и операций, обрабатываемых мастернодами. Такие проекты, как DASH и Ethereum применяют в своей системе такое явление, как мастерноды.

Каковы основные задачи ноды?

Когда майнер или пользователь по какому-либо механизму рассматриваемого протокола пытается добавить новый блок транзакций в блокчейн, он передает блок всем нодам в сети. На основании легитимности блока (валидности подписи и транзакций) ноды могут принять или отклонить блок.

Они проверяют, является ли блок транзакций действительным и принимают или отклоняют его. Затем сохраняют блоки транзакций (хранение истории транзакций в блокчейне). Передают и распространяют эту историю транзакций другим нодам, что, возможно, потребует синхронизации с блокчейном (т.е. должно быть выполнено обновление в истории транзакций).

Что такое node.js и зачем он нужен

Что такое нода? | forklog

Pof (portable object format) сериализация

Все данные в кластере хранятся в байтовом массиве. Поля сериализованного объекта хранятся последовательно (у каждого поля свой индекс) и именно так, как вы напишите в методах readExternal/writeExternal класса, который реализует интерфейс PortableObject или serialize/deserialize класса, реализующего интерфейс PofSerializer.

Внутри байтового массива поля сохраняются последовательно. Сканирование массива также происходит последовательно. Из этого следует не очевидный вывод: наиболее используемые поля должны находиться ближе к началу байтового массива. Данные объекта, записываемые в массив, могут быть вложенные и иметь свою сериализацию.

Coherence предоставляет сериализацию для стандартных объектов из jdk (java.lang). Все объекты, которые должны быть сохранены в кластере, должны быть описаны в файле coherence-pof-config.xml. Каждый тип данных имеет свой номер. Номера ваших типов данных должны начинаться c 1000.

Таким образом, у вас получается структура, хорошо переносимая с одной платформы на другую, и с одного языка программирования на другой. Каждый класс, который будет сериализован в кластере, должен иметь корректно реализованые hashCode и equals методы.

Вычислительные ноды (application tier/storage disabled nodes)

Это ноды, у которых выставлена переменная окружения -Dtangosol.coherence.distributed.localstorage=false. Данные ноды используется для того, чтобы равномерно распределить вычисления на кластер. На этих нодах можно также кэшировать промежуточные вычисления. Вся бизнес логика, которую вы хотите реализовать для данного приложения, должна выполняться в кластере на этих нодах.

Давайте рассмотрим, каким образом реализуется процесс пробрасывание вызова через иерархию нодов. У вас есть ноды для хранения данных, вычислительные ноды и прокси ноды. На прокси нодах данные не хранятся и кэши не конфигурируются. На вычислительных нодах вы конфигурируете кэши, но без возможности сохранения данных в кэшах.

На нодах для хранения данных у вас находятся данные. Со стороны клиента вы не должны использовать кэши, на которых хранятся данные. То есть вы не выполняете вычисления на самих данных напрямую с клиента, а всегда используете вычислительные ноды для выполнения операций над данными.

Таким образом, вы изолируете данные от клиентских приложений, что дает вам возможность в будущем менять архитектуру хранения данных без изменения клиента. Все ноды в кластере «знают», где и какой кэш находится. Получается, что если вы посылаете задачу на выполнение на кэш, сконфигурированный для вычислений, он будет выполнен в группе вычислительных нодов, используя данные с нодов, на которых хранятся данные. Возможно, это звучит не совсем понятно, но это отдельная тема для статьи.

Извлечение данных из кластера (valueextractor)

Из предыдущего пункта мы знаем, что данные хранятся в байтовом массиве. Для того, чтобы извлечь данные, нужно написать класс, который реализует интерфейс ValueExtractor. Coherence будет использовать этот класс для того, чтобы достать необходимую часть сериализованного объекта и представить его виде класса, с которым вы можете работать.

Классификация нод

В блокчейн-сетях традиционно существует три типа нод, которые выполняют разные функции внутри сети. Этими типами нод являются:

• Ноды широкого вещания: они только инициируют транзакции и получают информацию о блокчейне от третьей стороны. Они известны как легкие кошельки, широко используемые в мобильных устройствах или просто людьми, которые не хотят загружать весь блокчейн.
• Полные ноды: когда вы будете устанавливать полное программное обеспечение узла типа Bitcoin Core, то, помимо владения безопасным кошельком, вы загрузите копию блокчейна и станете нодой в сети Биткоин. Таким образом, вы будете инициировать транзакции, передавать информацию в остальную часть сети и проверять соблюдение правил консенсуса.
• Ноды-майнеры: майнеры обязательно должны иметь копию цепочки блоков, помимо управления ПО, которое они предпочитают (BTCMiner, CGMiner). Эти ноды, помимо майнинга биткоинов и, следовательно, помощи в создании новых блоков, также выпускают и распространяют транзакции.

Кластер

Кластер это набор нескольких нодов. Ноды в конфигурации по умолчанию будут находить друг друга автоматически по multicast. При необходимости можно сконфигурировать WKA (well known addresses), если системные администраторы будут недовольны, что вы “забили всю сеть своим мультикастом”.

В кластере всегда есть мастер нод (senior member), который смотрит за тем, что происходит с кластером (сколько нодов есть, какие из них хранят данные, куда копировать данные, если один из нодов “упал” и т.д.). Мастер нод — это первый нод, который стартовал.

Если мастер нод “упал” по какой-то причине, то следующий мастер нод назначается автоматически. Следует заметить, что во время обработки данных мастер нод не используется. Вычисления выполняются на нодах, где лежат требуемые данные. Как правило, ноды разделяют по назначению: прокси, вычислительные и ноды для хранения данных.

В процессе разработки рекомендуется конфигурировать среду разработки, похожую на продакшн. Это позволит находить многие ошибки сериализации и коммуникации между нодами до того, как вы выпустили версию в продакшн.

Конфигурация нодов

По умолчанию, конфигурационные файлы не нужны, в этом случае будут использоваться файлы из coherence.jar. Конфигурационные файлы, предоставляемые по умолчанию, не подходят для продакшн системы, их нужно менять под конкретную задачу. Некоторые даже рекомендуют удалять эти файлы из coherence.jar файла.

Существует 3 основных конфигурационных файла, с которыми вам придётся работать:

tangosol-coherence.xml — этот файл отвечает за конфигурацию кластера в целом. Например, имя кластера конфигурируется в этом файле.

coherence-cache-config.xml — этот файл отвечает за конфигурацию различных кэшей, которые кластер будет обслуживать.

coherence-pof-config.xml — этот файл предназначен для того, чтобы определить, какие данные будут обрабатываться кластером. Также, в этом файле определяется, каким образом данные будут сериализироваться для передачи и хранения в кластере.

Существуют так называемые overrirde файлы (например, tangosol-coherence-override.xml). Установки в этом файле переписывают установки базовых файлов. То есть, если у вас есть tangosol-coherence.xml и tangosol-coherence-override.xml в classpath, то все установки загрузятся из первого файла и перепишутся поверх установками из второго.

Вы можете иметь несколько одинаковых файлов в classpath, но только первый найденный файл будет использоваться. Также можно установить необходимые конфигурационные файлы с помощью системных (-D) установок.Когда кластер стартует, он пишет, какие файлы использовались для конфигурации системы.

Кэши: replicated, distributed, near

Replicated — это кэш, в котором все данные хранятся в десериализованном виде на каждом из нодов. Данный тип кэша, который предоставляет самые быстрые операции чтения, но медленные операции записи. Дело в том, что в случае записи, данные должны быть скопированы на все ноды, где сконфигурирован данный кэш. Данный тип кэша, как правило, применяется для редко изменяемых данных малого объема.

Distributed — это основной тип кэша, который используется для хранения данных. Он позволяет преодолеть ограничения по размеру оперативной памяти, выделенной на отдельный нод, как бы «размазывая» данные по всему кластеру. Этот тип кэша также предоставляет горизонтальную масштабируемость за счёт включения новых нодов в кластер, а также отказоустойчивость за счёт хранения копии данных на других нодах.

Near — это гибридный тип кэша, который конфигурируется на вызывающей стороне (вызывающая сторона может быть как клиент так и другой нод внутри кэша). Как правило, этот кэш «стоит» перед distributed кэшем, и хранит наиболее часто используемые данные. Данные хранятся в десериализованном виде.

Механизмы отправки задачи на выполнение следующие: entryaggregator, entryprocessor, invocationservice, maplistener, eventinterceptor

Агрегатор(EntryAggregator) — это задача, которая будет выполнена над копиями данных. То есть поменять данные в кэше из агрегатора у вас не получится. Работа происходит с read-only данными. Типичными задачами является сумма, минимум, максимум.

Процессор(EntryProcessor) — эта задача, которая предполагает изменения данных внутри кэша. То есть, если вы хотите поменять данные внутри кэша, там, где физически находятся данные, вам нужно использовать для этого процессор. Приятной особенностью процессора является блокировка на данные в процессе обработки.

InvocationService — это задача уровня нода. В данном случае, вы работаете грубо говоря с Java процессами, а не с данными. Задачи данного типа должны реализовывать Invocable, что в свою очередь является Runnable.

MapListener — эта задача будет выполнена асинхронно, как реакция на события на уровне кэша.

EventInterceptor — эта задача похожа на предыдущую в том смысле, что она будет выполнена как реакция на событие, но разница состоит в том, что listener будет выполнен на всех нодах, на которых сконфигурирован кэш, а interceptor — только на нодах, которые имеют данные, для которых выполнено событие. У interceptor’а также есть возможность быть вызванным до или после события.

Детальное объяснение, как работают различные типы задач, выходит за рамки этой статьи.

Насколько безопасна нода?

Ноды могут быть online или offline. Online ноды получают, сохраняют и передают все последние блоки транзакций другим нодам, в то время как ноды, не подключенные к сети, не делают этого. Когда offline нода переходит обратно в режим online, она сначала должна «нагнать» остальную часть блокчейна, загрузив все блоки, которые были добавлены в блокчейн, пока эта нода была в оффлайне. Этот процесс часто называют синхронизацией с блокчейном.

Чисто теоретически, блокчейн в целом может быть реализован одной нодой, но поскольку он будет храниться на одном устройстве, он будет чрезвычайно уязвим к таким ситуациям, как перебои в подаче электроэнергии, хакерским атакам или системным сбоям. Чем больше полных нод работает в блокчейне, тем лучше их способность к восстановлению в случае таких ситуаций.

Когда данные блокчейна распространяются на нескольких устройствах, злоумышленнику будет очень сложно сразу уничтожить все эти данные. Даже в случае потери большинства нод из-за глобального кризиса, в теории одна нода способна сохранить в рабочем состоянии целую цепочку блоков.

Несмотря на безопасность, которую ноды обеспечивают в сети благодаря своему большому количеству, они также уязвимы к действию компьютерных атак, которые могут изменить их работу. Например, пират может нарушить безопасность конкретного программного обеспечения и, не меняя данных блокчейна, перенаправить прибыль указанных нод на адреса, которые отличаются от тех, что были запрограммированы их владельцами.

Некоторые из этих недостатков в части безопасности можно с легкостью устранить, руководствуясь хоть немного здравым смыслом при использовании компьютерной защиты или с помощью программных инструментов, которые создают механизмы безопасности, чтобы изолировать блокчейн программного обеспечения от остальной части наших компьютерных систем.

Среди этих мер можно отметить:

• Использование официального программного обеспечения или ПО компании-разработчика с большим и проверенным послужным списком.
• Защита закрытых ключей, мнемонических ключей и любой другой конфиденциальной информации о деятельности в блокчейне.
• Использование компьютеров или электронного оборудования исключительно для своей майнинговой деятельности.
• Использование программы sandboxing для изоляции программных приложений от остальной части вашей системы.
• Использование системы MAC (обязательное управление доступом) или системных привилегий, которые позволяют вам запускать свое программное обеспечение для блокчейна с минимальными правами доступа к вашей ОС и другим системным API (это более высокая система защиты, чем sandboxing).

Ноды для хранения данных (storage nodes)

Это ноды, у которых выставлена переменная окружения -Dtangosol.coherence.distributed.localstorage=true. По-умолчанию нод хранит данные в java heap, но можно так же «скидывать» их на диск и подгружать по надобности. На этих нодах можно производить вычисления, но надо понимать, что нужно производить как можно меньше мусора в процессе вычислений для того, чтобы нод не «упал» из-за недостатка памяти (OutOfMemory).

В случае, если нод «упадёт» по какой либо причине, данные с него будут скопированы на другие ноды, таким образом общая ёмкость кластера уменьшится. Это может породить эффект каскада, если свободного места в кластере окажется не достаточно, и тогда может «упасть» весь кластер, нод за нодом.

Данные, которые является промежуточным результатом и легко вычисляемые по основным данным, не нуждаются во второй копии. Хранение данных может быть сконфигурировано таким образом, чтобы иметь копии на другом ноде, на другой физической машине или вообще на другой стойке в другом городе.

Партишн (partition)

Coherence предоставляет возможность хранить данные в виде «ключ-значение», но ключ и значение — это логические понятия системы. На физическом уровне данные группируются в партишн. То есть, несколько ключей и значений могут принадлежать одной партишн.

Партишн является единицей хранения данных. Когда ноды падают и данные перегруппируются между нодами, партишн копируется целиком. Класс, который назначает партишн для конкретного объекта, реализует интерфейс KeyPartitioningStrategy. По умолчанию, партишн назначается согласно хэш-кода Binary объекта ключа (com.tangosol.util.

Платят ли активистам за любовь к путину?

Сервис

Это группа java потоков которые отвечают за коммуникацию с другими нодами кластера, выполнение задач, присланных на выполнение для хранимых данных, копирование данных в случае отказа других нодов, а также другие задачи обслуживания данных. Звучит достаточно абстрактно, но это именно то, что позволяет вам с легкостью работать с данными.

Сервис может обслуживать несколько кэшей. Единственное, что важно знать и помнить в процессе разработки, это то, что сервис не поддерживает reentry вызовов. Например, вы послали EntryProcessor на выполнение и из него делаете вызов на кэш, обслуживаемый данным сервисом. Вы сразу же получите InterruptedException.

Теперь, когда у нас есть базовые кирпичики понятий, можно ответить на вопрос, зачем же вообще нужен Coherence.Ответ прост: у вас есть устойчивое к сбоям, горизонтально масштабируемое хранилище данных, которое предоставляет быстрый доступ к данным для параллельных вычислений.

За счёт наличия нескольких нодов, у вас нет ограничения по размеру данных, которые вы можете хранить в кластере (конечно, вы ограничены размером доступной памяти на физических машинах, выделенных для данной задачи). У вас нет ограничения на размер отдельной пары ключ-значение.

Вы также можете извлекать из хранимых данных только то, что вам нужно для вычислений, таким образом по сети будет копироваться минимум информации. Вообще, вся идеология Coherence построена на том, чтобы пересылать по сети только то, что необходимо. Также, вы можете настраивать сервисы и уровни вычислений достаточно гибко для вашей задачи.

В результате, сложные задачи будут решаться быстро.С точки зрения менеджмента, вы покупаете решение, которое позволит удовлетворить множеству требований. Однажды загрузив данные в систему, вы сможете извлекать их различным образом и использовать в других системах, которые используют Coherence как хранилище данных. Таким образом, поставив в основание Coherence, вы можете построить экосистему по извлечению и обработке данных.

Если у вас возник интерес по данной теме, я могу продолжить серию статей по Coherence. Пишите, что именно вам интересно, и я постараюсь ответить. Пока что в плане:

Вообще, следует учитывать, что с Coherence очень просто начинать, но очень тяжело сделать хорошо и быстро, поэтому цель цикла статей заполнить пробел между начальным уровнем знакомства с системой и продвинутым уровнем разработчика.

Недавно мой коллега по работе написал книгу для продвинутых разработчиков, которую рекомендую к прочтению. В этой книге вы не найдёте базовых знаний, но найдёте примеры решения (с объяснениями) достаточно сложных задач. Author: David Whitmarsh

Локализация данных (data affinity)

В некоторых случаях полезно иметь данные, сгруппированные вместе по какому-либо принципу. Например, вы можете сгруппировать данные таким образом, что ноды, находящиеся на одной физической машине, будут иметь зависимые данные. В этом случае у вас не будет задержки сети и вычисления будут происходить быстрее.

Прокси (extend) ноды

Прокси (extend) ноды это ноды, которые используются для того, чтобы обеспечить доступ к кластеру со стороны клиентов. Конфигурация должна быть сделана как на стороне сервера, так и на стороне клиента. То есть, если у вас есть приложение написанное на .

NET платформе, то вам придётся поставить .NET клиент (coherence-net-.zip) и предоставить coherence-cache-config.xml, в котором будут описаны детали кластера, к которому нужно подсоединяться. На стороне сервера необходимо будет предоставить coherence-cache-config.xml файл, в котором будет описана , где будет указан адрес и порт, на которых необходимо слушать входящие вызовы.

https://www.youtube.com/watch?v=H0wDLqqu2mI

Прокси ноды не должны использоваться для вычислений. Если в процессе отладки приложения ваш отладчик останавливается на прокси ноде, это значит что конфигурация кластера, как правило, выполнена неправильно.