<<
>>

Хранение данных

Данные, созданные непосредственно на вычислительном узле, хранятся обычным образом - аудио-данные находятся в директории «audio», видео-данные хранятся в директории «video», фото-данные в директории «photos», данные с датчиков находятся в своих директориях соответственно.

Дополнительные метаданные, хранящие информацию о происхождении данных, включая узел-источник, время создания, тип данных - хранятся в HDFS. В будущем использование дополнительных метаданных пригодится для всестороннего анализа полученных данных и их хранения в реляционной базе данных Apache Hive. Например, анализ аудио-записей, сделанных разными узлами в одной местности во время одного события, позволит получить наиболее полную картину произошедшего.

4.7 Неоднородность сетевых соединений

Из-за ограничений пропускной способности и скорости беспроводных сетевых соединений мобильных устройств выглядит разумным использование локальных серверных мощностей для повышения быстродействия и надёжности распределённой вычислительной среды на базе мобильных устройств. Локальные серверы могут использоваться для хранения данных с мобильных устройств, ускорения выполнения MapReduce, а также для обмена данными без негативного влияния на заряд аккумуляторов мобильных устройств. Так как Voici использует те же самые интерфейсы взаимодействия между компонентами DataNode и TaskTracker, что и

Hadoop, то становится возможным совместное функционирование мобильных устройств и локальных серверов в рамках одной распределённой вычислительной среды. Данный подход позволяет строить гибридные распределённые вычислительные среды, состоящие как из мобильных устройств, так и локальных серверов.

В рамках данной работы выдвигается предположение о востребованности гибридных распределённых вычислительных сред, ориентированных на применение при конкретном сценарии использования мобильных устройств - относительно времени и месторасположения данных устройств.

Например, гибридная распределённая вычислительная среда, располагающаяся в современном автомобиле позволит объединить вычислительные мощности бортового компьютера автомобиля, смартфона, планшета и других мобильных устройств, поддерживающих беспроводное соединение. Подобный сценарий использования локального и мобильных устройств в автомобиле позволит быстрее и децентрализовано обрабатывать информацию о дорожном движении в режиме реального времени.

4.7.1 Репликация данных с дополнительным локальным сервером

Так как сетевые соединения мобильных устройств уступают в скорости и надёжности аналогам у традиционных персональных компьютеров и серверов, то имеет смысл создавать копии данных на локальных серверах и по возможности использовать их вычислительные возможности для ускорения времени вычислений и экономии заряда аккумуляторов. Также если мобильное устройство отключается от сетевого соединения и перестаёт быть узлом распределённой вычислительной среды, то данные, хранившиеся на нём, должны оставаться доступными для оставшихся узлов. Более того, возникает задача оптимизации скорости доступа к этим данным.

Благодаря встроенной функции Hadoop разделения распределённой вычислительной среды на подмножества, довольно легко убедиться в том, что данные скопированы на локальные серверные мощности. Для того чтобы убедиться, что все данные скопированы на локальные серверные мощности, имена узлов на базе мобильных устройств начинаются с подстроки «/mobile-rack», в то время как для локальных серверов используется подстрока «/server-rack». По умолчанию, в Hadoop и Voici используются коэффициент репликации г = 3, который означает, что данные сохраняются на мобильном устройстве, где они были созданы, а также на другом мобильном устройстве и локальном сервере [16]. В случае гибридной распределённой вычислительной среды, состоящей из двух подмножеств, это означает, что любые данные /, для которых верно условие ту > 3, будут скопированы на локальный сервер. Размещение копий данных в гибридной распределённой вычислительной среде изображено на рис.4.

Рис. 4. Пример размещения копий данных в гибридной распределённой вычислительной среде Voici на базе мобильных устройств и локальных серверов.

Следует отметить, что при постоянной доступности локальных серверов в распределённой вычислительной среде не имеет смысла копировать данные на другие узлы на базе мобильных устройств. Более того, имеет смысл выделять каждое мобильное устройство в своё независимое подмножество распределённой вычислительной среды для минимизации передачи данных между мобильными устройствами и её замыкании на локальных серверах, с которых, в свою очередь, другие мобильные устройства могут получать копии данных.

В случае использования нескольких сетевых соединений для построение распределённой вычислительной среды мобильные устройства должны быть объединены в подмножества согласно топологии локальной сети и их месторасположения, что позволит сократить вынужденные расходы на передачу данных. Например, могут использоваться вложенные подмножества локальных сетей: V - распределённая вычислительная среда, L1 ...Ln - множество локальных сетей, тогда возможно следующее представление вычислительной среды:

V/rack_L1/mobile | server

V/rack_Ln/mobile | server

Такая схема организации распределённой вычислительной среды позволяет наиболее выгодно использовать подключения между узлами одной локальной сети. Подобный подход к построению распределённой вычислительной среды подробно рассматривается в продолжении исследований (пункт 6).

4.8

<< | >>
Источник: Фирун Константин Борисович. СОЗДАНИЕ РАСПРЕДЕЛЕННОЙ ВЫЧИСЛИТЕЛЬНОЙ СРЕДЫ НА БАЗЕ МОБИЛЬНЫХ УСТРОЙСТВ ДЛЯ РЕШЕНИЯ ЗАДАЧИ РАСПОЗНАВАНИЯ РЕЧИ И ГОЛОСА. Диссертация на соискание ученой степени кандидата технических наук. СПбГУ.. 2015

Еще по теме Хранение данных:

  1. Статья 34. Гражданам Республики Беларусь гарантируется право на получение, хранение и распространение полной, достоверной и своевременной информации о деятельности государственных органов,
  2. Фирун Константин Борисович. СОЗДАНИЕ РАСПРЕДЕЛЕННОЙ ВЫЧИСЛИТЕЛЬНОЙ СРЕДЫ НА БАЗЕ МОБИЛЬНЫХ УСТРОЙСТВ ДЛЯ РЕШЕНИЯ ЗАДАЧИ РАСПОЗНАВАНИЯ РЕЧИ И ГОЛОСА. Диссертация на соискание ученой степени кандидата технических наук. СПбГУ., 2015
  3. 2.3.1 Общая характеристика библиотеки программ GEANT-4 и условия проведения расчётов
  4. КОНСТИТУЦИЯ РЕСПУБЛИКИ БЕЛАРУСЬ 1994 ГОДА,
  5. *В соответствии со статьей 1 Закона Республики Беларусь «О порядке вступления в силу Конституции Республики Беларусь» вступила в силу со дня ее опубликования.
  6. РАЗДЕЛ І ОСНОВЫ КОНСТИТУЦИОННОГО СТРОЯ
  7. Статья 1. Республика Беларусь - унитарное демократическое социальное правовое государство.
  8. Статья 2. Человек, его права, свободы и гарантии их реализации являются высшей ценностью и целью общества и государства.
  9. Статья 3. Единственным источником государственной власти и носителем суверенитета в Республике Беларусь является народ.
  10. Статья 4. Демократия в Республике Беларусь осуществляется на основе многообразия политических институтов, идеологий и мнений.
  11. Статья 5. Политические партии, другие общественные объединения, действуя в рамках Конституции и законов Республики Беларусь, содействуют выявлению и выражению политической воли граждан, участвуют в выборах.
  12. Статья 6. Государственная власть в Республике Беларусь осуществляется на основе разделения ее на законодательную, исполнительную и судебную.