Хранение данных
Данные, созданные непосредственно на вычислительном узле, хранятся обычным образом - аудио-данные находятся в директории «audio», видео-данные хранятся в директории «video», фото-данные в директории «photos», данные с датчиков находятся в своих директориях соответственно.
Дополнительные метаданные, хранящие информацию о происхождении данных, включая узел-источник, время создания, тип данных - хранятся в HDFS. В будущем использование дополнительных метаданных пригодится для всестороннего анализа полученных данных и их хранения в реляционной базе данных Apache Hive. Например, анализ аудио-записей, сделанных разными узлами в одной местности во время одного события, позволит получить наиболее полную картину произошедшего.
4.7 Неоднородность сетевых соединений
Из-за ограничений пропускной способности и скорости беспроводных сетевых соединений мобильных устройств выглядит разумным использование локальных серверных мощностей для повышения быстродействия и надёжности распределённой вычислительной среды на базе мобильных устройств. Локальные серверы могут использоваться для хранения данных с мобильных устройств, ускорения выполнения MapReduce, а также для обмена данными без негативного влияния на заряд аккумуляторов мобильных устройств. Так как Voici использует те же самые интерфейсы взаимодействия между компонентами DataNode и TaskTracker, что и
Hadoop, то становится возможным совместное функционирование мобильных устройств и локальных серверов в рамках одной распределённой вычислительной среды. Данный подход позволяет строить гибридные распределённые вычислительные среды, состоящие как из мобильных устройств, так и локальных серверов.
В рамках данной работы выдвигается предположение о востребованности гибридных распределённых вычислительных сред, ориентированных на применение при конкретном сценарии использования мобильных устройств - относительно времени и месторасположения данных устройств.
Например, гибридная распределённая вычислительная среда, располагающаяся в современном автомобиле позволит объединить вычислительные мощности бортового компьютера автомобиля, смартфона, планшета и других мобильных устройств, поддерживающих беспроводное соединение. Подобный сценарий использования локального и мобильных устройств в автомобиле позволит быстрее и децентрализовано обрабатывать информацию о дорожном движении в режиме реального времени.4.7.1 Репликация данных с дополнительным локальным сервером
Так как сетевые соединения мобильных устройств уступают в скорости и надёжности аналогам у традиционных персональных компьютеров и серверов, то имеет смысл создавать копии данных на локальных серверах и по возможности использовать их вычислительные возможности для ускорения времени вычислений и экономии заряда аккумуляторов. Также если мобильное устройство отключается от сетевого соединения и перестаёт быть узлом распределённой вычислительной среды, то данные, хранившиеся на нём, должны оставаться доступными для оставшихся узлов. Более того, возникает задача оптимизации скорости доступа к этим данным.
Благодаря встроенной функции Hadoop разделения распределённой вычислительной среды на подмножества, довольно легко убедиться в том, что данные скопированы на локальные серверные мощности. Для того чтобы убедиться, что все данные скопированы на локальные серверные мощности, имена узлов на базе мобильных устройств начинаются с подстроки «/mobile-rack», в то время как для локальных серверов используется подстрока «/server-rack». По умолчанию, в Hadoop и Voici используются коэффициент репликации г = 3, который означает, что данные сохраняются на мобильном устройстве, где они были созданы, а также на другом мобильном устройстве и локальном сервере [16]. В случае гибридной распределённой вычислительной среды, состоящей из двух подмножеств, это означает, что любые данные /, для которых верно условие ту > 3, будут скопированы на локальный сервер. Размещение копий данных в гибридной распределённой вычислительной среде изображено на рис.4.
Рис. 4. Пример размещения копий данных в гибридной распределённой вычислительной среде Voici на базе мобильных устройств и локальных серверов. |
Следует отметить, что при постоянной доступности локальных серверов в распределённой вычислительной среде не имеет смысла копировать данные на другие узлы на базе мобильных устройств. Более того, имеет смысл выделять каждое мобильное устройство в своё независимое подмножество распределённой вычислительной среды для минимизации передачи данных между мобильными устройствами и её замыкании на локальных серверах, с которых, в свою очередь, другие мобильные устройства могут получать копии данных.
В случае использования нескольких сетевых соединений для построение распределённой вычислительной среды мобильные устройства должны быть объединены в подмножества согласно топологии локальной сети и их месторасположения, что позволит сократить вынужденные расходы на передачу данных. Например, могут использоваться вложенные подмножества локальных сетей: V - распределённая вычислительная среда, L1 ...Ln - множество локальных сетей, тогда возможно следующее представление вычислительной среды:
V/rack_L1/mobile | server
V/rack_Ln/mobile | server
Такая схема организации распределённой вычислительной среды позволяет наиболее выгодно использовать подключения между узлами одной локальной сети. Подобный подход к построению распределённой вычислительной среды подробно рассматривается в продолжении исследований (пункт 6).
4.8
Еще по теме Хранение данных:
- Статья 34. Гражданам Республики Беларусь гарантируется право на получение, хранение и распространение полной, достоверной и своевременной информации о деятельности государственных органов,
- Фирун Константин Борисович. СОЗДАНИЕ РАСПРЕДЕЛЕННОЙ ВЫЧИСЛИТЕЛЬНОЙ СРЕДЫ НА БАЗЕ МОБИЛЬНЫХ УСТРОЙСТВ ДЛЯ РЕШЕНИЯ ЗАДАЧИ РАСПОЗНАВАНИЯ РЕЧИ И ГОЛОСА. Диссертация на соискание ученой степени кандидата технических наук. СПбГУ., 2015
- 2.3.1 Общая характеристика библиотеки программ GEANT-4 и условия проведения расчётов
- КОНСТИТУЦИЯ РЕСПУБЛИКИ БЕЛАРУСЬ 1994 ГОДА,
- *В соответствии со статьей 1 Закона Республики Беларусь «О порядке вступления в силу Конституции Республики Беларусь» вступила в силу со дня ее опубликования.
- РАЗДЕЛ І ОСНОВЫ КОНСТИТУЦИОННОГО СТРОЯ
- Статья 1. Республика Беларусь - унитарное демократическое социальное правовое государство.
- Статья 2. Человек, его права, свободы и гарантии их реализации являются высшей ценностью и целью общества и государства.
- Статья 3. Единственным источником государственной власти и носителем суверенитета в Республике Беларусь является народ.
- Статья 4. Демократия в Республике Беларусь осуществляется на основе многообразия политических институтов, идеологий и мнений.
- Статья 5. Политические партии, другие общественные объединения, действуя в рамках Конституции и законов Республики Беларусь, содействуют выявлению и выражению политической воли граждан, участвуют в выборах.
- Статья 6. Государственная власть в Республике Беларусь осуществляется на основе разделения ее на законодательную, исполнительную и судебную.