<<
>>

Настройка Hadoop для работы на мобильных устройствах

В ходе работы потребовалось адаптировать многие настройки Hadoop для его работы на мобильных устройствах. На данном этапе завершённой работы настройки делались исходя из экспериментальных данных.

В последующем возможно проведение исследования, какие настройки являются оптимальными.

Объём памяти, выделяемой для сортировки пар соответствий ключ-значение (io.sort.mb), пришлось значительно уменьшить, так как Android ограничивает выделение памяти на одно приложение 16 Мб. Также пришлось уменьшить размер буфера соответствий со 100 Мб до 1 Мб. С учётом того, что при малом размере буфера он практически сразу переполняется после начала обработки данных, приходится записывать его значения на ПЗУ. В случае Hadoop и персональных компьютеров или серверов подобная ситуация не является проблематичной, так как при записи на ПЗУ, состоящем из жёстких дисков, данные первоначально записываются в быстрый буфер из твёрдотельной памяти (обычно 16 Мб или больше), и только потом записываются на более медленный носитель жёсткого диска. В случае мобильных устройств, ПЗУ лишены буфера записи как такового, и процесс записи происходит непосредственно на ПЗУ. Таким образом для Voici довольно ресурсоёмко проводить запись промежуточных данных на ПЗУ. По полученным экспериментальным данным такой метод записи замедляет Voici до 100 раз. В ходе отладки был обнаружен параметр io.sort.record.percent, который отвечает за процентное соотношение использования ПЗУ для записи данных вместо промежуточных пар ключ-значение - изменение его значения с 0,05 на 0,5 значительно уменьшило сброс данных из кэша и повысило производительность.

Был уменьшен размер блоков распределённой файловой системы с 64 до 8 Мб. Размер по умолчанию ведёт свои историю из работы [36], в которой обосновывается использование блоков большого размера для минимизации транзакций между узлами - чем больше размер блока, тем реже узлу-клиенту требуется обращаться к узлу-хранилищу, и тем меньше ему требуется хранить метаданных о своих данных. Использование блоков с большим размером уменьшает удельную нагрузку на сеть и рост метаданных. Но вместе с тем у подобного похода есть и недостаток - среди узлов-клиентов могут организовываться очереди на востребованные блоки данных.

Одна из причин уменьшения блоков распределённой файловой системы - ограничения сетевого соединения и обработки данных, присущие мобильным устройствам. Для передачи 64 Мб данных по беспроводному соединению требуется значительно больше времени, чем по проводному. Более того, как было отмечено ранее, размер рассматриваемых данных на мобильных устройствах значительно меньше 64 Мб, что делает использование блоков такого размера избыточным.

Для компенсации дополнительного времени, требуемого для передачи данных на медленных сетевых соединения и обработки маломощными ЦПУ были увеличены значения следующих параметров - dfs.datanode.socket.write.timeout, dfs.socket.timeout и mapred.task.timeout.

4.5

<< | >>
Источник: Фирун Константин Борисович. СОЗДАНИЕ РАСПРЕДЕЛЕННОЙ ВЫЧИСЛИТЕЛЬНОЙ СРЕДЫ НА БАЗЕ МОБИЛЬНЫХ УСТРОЙСТВ ДЛЯ РЕШЕНИЯ ЗАДАЧИ РАСПОЗНАВАНИЯ РЕЧИ И ГОЛОСА. Диссертация на соискание ученой степени кандидата технических наук. СПбГУ.. 2015

Еще по теме Настройка Hadoop для работы на мобильных устройствах:

  1. Фирун Константин Борисович. СОЗДАНИЕ РАСПРЕДЕЛЕННОЙ ВЫЧИСЛИТЕЛЬНОЙ СРЕДЫ НА БАЗЕ МОБИЛЬНЫХ УСТРОЙСТВ ДЛЯ РЕШЕНИЯ ЗАДАЧИ РАСПОЗНАВАНИЯ РЕЧИ И ГОЛОСА. Диссертация на соискание ученой степени кандидата технических наук. СПбГУ., 2015
  2. Статья 59. Государство обязано принимать все доступные ему меры для создания внутреннего и международного порядка, необходимого для полного осуществления прав и свобод граждан Республики Беларусь, предусмотренных Конституцией.
  3. Статья 111. Судьи не могут осуществлять предпринимательскую деятельность, выполнять иную оплачиваемую работу, кроме преподавательской и научно­исследовательской.
  4. Крылова Елена Александровна. СОВЕРШЕНСТВОВАНИЕ ИНОЯЗЫЧНОЙ САМООБРАЗОВАТЕЛЬНОЙ КОМПЕТЕНЦИИ СТУДЕНТОВ НЕЯЗЫКОВЫХ ВУЗОВ В УСЛОВИЯХ САМОСТОЯТЕЛЬНОЙ РАБОТЫ НА ОСНОВЕ МОНИТОРИНГ-ТЕХНОЛОГИИ (НА МАТЕРИАЛЕ АНГЛИЙСКОГО ЯЗЫКА). Диссертация, СПбГУ., 2015
  5. Базовые спектры нейтронных потоков для формирования обучающей и проверочной выборок
  6. Выбор энергетических интервалов, для которых определяются усреднённые значения спектральной плотности нейтронного излучения
  7. ГЛАВА 3 МОДЕЛИРОВАНИЕ НЕЙТРОННОГО СПЕКТРОМЕТРА-ДОЗИ­МЕТРА РЕАЛЬНОГО ВРЕМЕНИ И ПОДБОР ДЕТЕКТОРОВ ДЛЯ МНОГОДЕТЕКТОРНОГО БЛОКА ДЕТЕКТИРОВАНИЯ
  8. Статья 62. Каждый имеет право на юридическую помощь для осуществления и защиты прав и свобод, в том числе право пользоваться в любой момент помощью адвокатов и других своих представителей в суде,
  9. Маркович Вадим Александрович. СОЦИАЛЬНО-ПСИХОЛОГИЧЕСКИЕ ДЕТЕРМИНАНТЫ УСПЕШНОСТИ ОБУЧЕНИЯ ПЕРЕГОВОРЩИКОВ. Диссертация, СПбГУ., 2015
  10. Статья 43. Трудящиеся имеют право на отдых.
  11. Статья 93. Срок полномочий Парламента - четыре года. Полномочия Парламента могут быть продлены на основании закона только в случае войны.
  12. Статья 41. Гражданам Республики Беларусь гарантируется право на труд как наиболее достойный способ самоутверждения человека,
  13. Статья 32. Брак, семья, материнство, отцовство и детство находятся под защитой государства.
  14. Статья 13. Собственность может быть государственной и частной.
  15. Статья 96. Палата представителей избирает из своего состава Председателя Палаты представителей и его заместителя.