4.3.8 Распределенная файловая система (Проект ГОСТ ИТ БД Обзор и словарь)

From Стандартопедия
Jump to navigation Jump to search

4.3.8 Распределенная файловая система. В распределенных файловых системах мультиструктурированные (объектные) массивы данных распределяются по вычислительным узлам кластера (кластеров) серверов. Данные могут распределяться на уровне файлов/массивов данных или – чаще всего – на уровне блоков, что позволяет нескольким узлам в кластере одновременно взаимодействовать с различными частями большого файла/массива данных. Системы больших данных часто проектируются таким образом, чтобы при распределении обработки использовать преимущества привязки данных к каждому вычислительному узлу, исключая необходимость перемещения данных между узлами. Кроме того, во многих распределенных файловых системах также реализована репликация на уровне файлов/блоков, при которой на разных узлах компьютеров хранится несколько копий каждого файла/блока как для обеспечения надежности/восстановления (данные не теряются при сбое узла в кластере), так и для улучшения привязки данных к вычислительным узлам. Любой тип данных и файлы любого размера могут обрабатываться без формального извлечения, преобразования и загрузки, при этом некоторые технологии работают заметно лучше с файлами большого размера.