Наши партнеры

UnixForum





Библиотека сайта rus-linux.net

Распределенная файловая система Hadoop

Глава 8 из книги "Архитектура приложений с открытым исходным кодом", том 1.

Оригинал: The Hadoop Distributed File System
Авторы: Robert Chansler, Hairong Kuang, Sanjay Radia, Konstantin Shvachko, Suresh Srinivas
Дата публикации: 7 Июля 2012 г.
Перевод: А.Панин
Дата перевода: 8 Апреля 2013 г.

8.5. Выученные уроки

Небольшая команда смогла разработать файловую систему Hadoop и сделать ее достаточно стабильной и надежной для промышленной эксплуатации. Успех в большей степени был достигнут благодаря ее чрезвычайно простой архитектуре: копируемым блокам, периодическим отчетам о состоянии блоков и центральному серверу метаданных. Отход от точного следования семантикам POSIX также помог. Хотя решение о хранении всех метаданных в оперативной памяти и ограничило возможности масштабирования пространства имен, оно позволило достаточно просто реализовать сервер метаданных: удалось избежать использования сложных механизмов блокировок, применяемых в стандартных файловых системах. Другой причиной успеха файловой системы Hadoop было ее незамедлительное промышленное использование в компании Yahoo!, так как это обстоятельство позволило быстро и последовательно вносить улучшения. Файловая система очень надежна и нарушения работы сервера метаданных происходят очень редко; на самом деле большая часть периодов неработоспособности связана с обновлениями программного обеспечения. Только недавно в файловой системе были применены (описанные в руководстве) решения, позволяющие повысить отказоустойчивость.

Многие были удивлены выбором языка Java для создания масштабируемой файловой системы. Хотя из-за использования Java и пришлось столкнуться с проблемами масштабирования сервера метаданных ввиду дополнительных затрат памяти на объекты и механизма сборки мусора, Java обуславливает надежность системы; использование этого языка позволяет избежать ошибок, связанных с указателями и управлением памятью.

8.6. Благодарности

Мы хотим поблагодарить компанию Yahoo! за инвестиции в разработку Hadoop и распространение открытого исходного кода; 80% кода HDFS и MapReduce было разработано в компании Yahoo! Мы благодарим всех разработчиков и сотрудников, имеющих отношение к Hadoop, за их весомый вклад в разработку.

Сноски

  1. http://hadoop.apache.org
  2. http://www.lustre.org
  3. Задается как отношение использованного дискового пространства сервера ко всему доступному дисковому пространству сервера.
  4. Задается как отношение использованного дискового пространства кластера ко всему доступному дисковому пространству кластера.


Далее: К началу статьи