Дисковая полка (JBOD) от LSI


В первую очередь дисковая полка нужна чтобы подключить МНОГО дисков к серверу. В случае с LSI 620J – это 72 диска 2.5", а если брать LSI 630J – 36 дисков 3.5". Сам по себе сервер такое кол-во дисков вместить в себя не сможет, хотя мощный RAID контроллер может поддерживать такое количество. Такие объемы информации встречаются, если вы сохраняете потоковое видео или  другие мультимедийные проекты.

В виртуализации, большое дисковое пространство необходимо при организации системы хранения данных. Например, у вас есть старенький 1U сервер, который можно выделить под СХД, но дисков в него помещается мало. В таком случае можно докупить в этот сервер RAID контроллер, внешнюю дисковую полку, установить FreeNAS  и наслаждаться собственной системой хранения.

Что хорошего в полке от LSI? В нее можно устанавливать не брендовые диски, в отличии от IBM, HP и других производителей, а значит вам не нужно платить двойную цену  за гарантию. А гарантия на саму полку 3 года и на диски тоже 3 года идет родная, от производителя.

order

Варианты подключения

Различных способов подключения данных дисковых полок множество, рассмотрим самый простой из них. В сервере находится RAID контроллер с внешним SAS портом, к которому через SAS кабель подключается полка. RAID контроллеры могут быть любые совместимые. Совместимость может быть как со стороны RAID контроллеров (ищем в документации), так и со стороны самой LSI полки. Для примера цена совместимого RAID контроллера LSI 9200-8e  -  453$.
 

 

 

 

 

 

 

 

 

 

 

Несколько ссылок на документацию:

LSI 620J описание
LSI 630J описание
Гид по подключению 

Готовое решение для малого бизнеса StarWind Native SAN for Hyper-V. Отказоустойчивый кластер без покупки внешнего хранилища. 


FreeNAS 8 iSCSI
 

Эта статья описывает создание сетевого iSCSI хранилища на базе FreeNAS с последующим подключением к гипервизору ESXi 5.0

Есть, как минимум, два основных варианта создания такого хранилища. В первом RAID создается на аппаратном контроллере, а потом уже готовые разделы отдаются через iSCSI сервис в качестве LUN-ов. Во втором, более сложном варианте, RAID собирается софтверный силами FreeNAS и уже на нем создаются разделы, которые можно будет отдать по iSCSI.

Не берусь судить, какой из способов более правильный, каждый это решит для себя сам. Сам FreeNAS в доках первый вариант почти не рассматривает, описывая прелести второго с файловой системой ZFS, он же будет описан и в статье.
 
order
1.  Первым делом создаем RAID из имеющихся у нас дисков. Файловая система должна быть ZFS. Если вы выберете UFS, то отдать раздел по iSCSI вы не сможете. Необходимо заметить, что для работы ZFS требуется большой объем оперативной памяти, лучше, если это будет 8 Гб. Если у вашего FreeNAS не будет хотя бы 4Гб, то начнутся проблемы с ZFS.
Storage –> Active Volumes –> Create Volume –> Add Volume
 



2. На созданном Raid Volume, создаем еще один раздел ZFS. Указываем название раздела, его размер (например, 100Gib) и уровень сжатия. В результате, получаем раздел FreeNAS1, который мы сможем отдать хостам ESXi по протоколу iSCSI. Storage  –> Active Volumes  –> Create ZFS Volume  –> Add ZFS Volume




3. Теперь можем приступить к настройке iSCSI службы. Если у вас RAID был создан на аппаратном контроллере, то первые два шага можно пропустить и сразу приступить к конфигурации iSCSI. Для этого переходим в раздел Services и жмем по изображению гаечного ключа напротив iSCSI выключателя, у нас открывается новая вкладка iSCSI.
 
4.  Здесь будет описана минимально необходимая настройка, которая будет работать без авторизации на всех IP адресах назначенных моему FreeNAS. Как вы поймете в процессе, настроек у этого сервиса в FreeNAS 8.1 больше чем у остальных. Нам нужно по очереди посетить 5 разделов во вкладке iSCSI.
 
5. iSCSI –> Portals –>  Add Portal . Создаем портал, который будет слушать все интерфейсы FreeNAS на порту 3260. Если это первый портал, то ему присваивается ID 1
 


6.  iSCSI –> Authorized Initiator  –>  Add Authorized Initiator . Создаем логический объект, который может быть использован для разделения доступа к LUN-ам. В нашем случае, он будет создан с номером ID 1, который не будет проверять инициатора и не будет проверять из какой сети происходит доступ, а будет пускать всех. Существует рекомендация о создании отдельной сети передачи данных между хостами ESXi и системами хранения данных, если такая сеть будет создана, то ее можно будет прописать здесь (Authorized network).
 

7. iSCSI –> Targets –> Add Target.  Добавляем iSCSI target, это «точка» подключения к нашей системе хранения по iSCSI, ее увидит Initiator, обратившись к СХД по TCP/IP на порт 3260.
 

8.  iSCSI –> Device Extents –> Add Extent  Добавляем логический объект, который дает имя созданному ранее разделу. Для тех, кто не создавал программный ZFS рейд, а использует аппаратный Raid контроллер, в меню Disk device будут видны готовые разделы отданные системе контроллером. Вообще, я рекомендую использовать именно аппаратные RAID.
 
 

9.  iSCSI -> Associated Target -> Add Extent to Target    Теперь пришло время выставить соответствие между созданными ранее Target и Extent, чтобы наш Хост ESXi обратившись к FreeNAS по имени Target попал бы на нужный нам Extent.В FreeNAS 7 все было проще, но сейчас тоже есть логика, ее нужно один раз понять и настройка больше не будет вызывать проблем.
 

10. Пришло время включить службу  Services -> iSCSIИз-за того, что у FreeNAS не всегда с первого раза включаются службы, лучше перезагрузиться. Цель – это добиться работы тумблера FreeNAS на вкл/выкл без ошибок. Если все в порядке, то идем дальше


11.  Подключаемся к нашему ESXi хосту через vCenter или напрямую, используя vSphere Client. Переходим в меню Configurations -> Storage Adapters. Если у вас ESXi 5 то iSCSI устройства вы не увидите, его сначала нужно включить (включается здесь же, справа вверху Add).


12.  Для того, чтобы наш хост увидел LUN на FreeNAS, как на картинке ниже, нужно прописать в настройках iSCSI Software Adapter. Для этого правой кнопкой мыши кликаем по адаптеру и выбираем Properties. Находим вкладку Dynamic Discovery -> Add, добавляем IP адрес нашего FreeNAS сервера, жмем ОК. Теперь, если вы все сделали правильно, то во вкладке Static Discovery автоматически появится путь к нашему Target, который мы презентовали ранее.


13. Теперь нужно добавить LUN в список хранилищ хоста, в процессе добавления он будет отформатирован (на выбор VMFS3 или VMFS5). Переходим в Configuration -> Storage -> Add Storage и проходим по всем пунктам мастера. Если вы пробовали настраивать NFS storage, то должны помнить, что к одному и тому же LUN могут получить доступ разные ESXi хосты, работающие без vCenter под бесплатными лицензиями. С iSCSI сделать подобного не получится, каждый бесплатный ESXi будет пытаться отформатировать LUN перед подключением.Само собой, vCenter решает эту проблему. Если денег на покупку лицензий очень мало, то можно взять самый недорогой пакет Essentials Kit (700$) и 3 хоста будут видеть общие луны.


14.В итоге видим добавленный LUN и можем его использовать для хранения и запуска виртуальных машин.

Система хранения данных для VMware vSphere на базе FreeNAS

Зачем нужна такая СХД?

Ответ на вопрос очевиден, недостаток бюджета на дорогую систему (от 8 000$ ) хранения от известных производителей (HP, IBM, EMC, NetApp…)  Этот факт вынуждает администраторов делать СХД самим, чтобы угнаться за технологиями, одной из которых, виртуализации посвящен этот сайт.

UPD. Хотя альтернатива брендовым хранилищам есть, компания QNAP делает бюджетные СХД, с официальной поддержкой VMware vSphere, Citrix XenServer и Microsoft Hyper-V (это очень важный момент, т.к. когда возникают проблемы очень полезным ресурсом оказывается техническая поддержка производителя). У Qnap длинный список оборудования в разных ценовых категориях (от 7 тыс. до 250 тыс. рублей), весь модельный ряд у нас доступен для заказа. Плюсы Qnap в том, что вы можете использовать свои жесткие диски, в том числе и SSD, главный минус - отсутствие второго контроллера, а значит отказоустойчивости нет. 

Все довольно просто: сервер + ПО = NAS СХД

Сервер.

  • старый сервер с большим количеством жестких дисков
  • старый сервер + новая дисковая полка
  • новый сервер с большим количеством жестких дисков (Intel)
  • сервер + старая полка с дисками (direct attached storage)
order

В сервере должен стоять RAID контроллер, который сможет справиться с тем кол-вом дисков, который вы собираетесь использовать.
Памяти нужен минимум 8Гб, чтобы продуктивно использовать файловую систему ZFS 
Процессор подойдет любой.

Программное обеспечение.

Софта для создания NAS(network attached storage) хранилищ в интернете много, какой из продуктов выбрать, решать вам. Принцип работы у них, примерно, один и тот же.

FreeNAS - проект немолодой, зарекомендовавший себя, время от времени выпускает новые версии своего продукта. Что важно, FreeNAS сделан на FreeBSD, о стабильности работы этой ОС  ходят правдивые легенды. А нам как раз нужна стабильность, для хранения данных.

Основной функционал FreeNAS 8:

  • Управление через Web интерфейс
  • Доступна файловая система Zettabyte (ZFS)  и как следствие RAID-Z
  • Возможность управления через командную строку
  • Поддержка 10Gbe сети и 10Gbe адаптеров (во многих брендовых хранилищах начального уровня такие скорости не предусмотрены вообще)
  • Создание мгновенных снимков (Snapshot)
  • Технология Link Aggregation (Failover,  FEC, LACP, Load Balance, Round Robin)
  • Резервное копирование и восстановление, репликация данных.
  • Технология Thin Provisioning
  • Поддержка популярных протоколов

Для VMware vSphere подходят два типа NAS подключений к хранилищу – это NFS и iSCSI. FreeNAS позволяет настроить и использовать оба варианта.

Статья по настройке iSCSI

NFS для кластеров VMware vSphere является более предпочтительной файловой системой для использования в программных СХД, т.к. отличается высокой производительностью, имеет ряд возможностей по управлению данными, которых нет у VMFS, а также, обеспечивает для каждого виртуального диска свою собственную очередь ввода/вывода.
Велика вероятность того, что производительность NFS при работе виртуальной машины будет низкой, это может произойти по целому ряду причин, разбору которых посвящены куча статей, тем в форумах и заявок в службу поддержки. Если лень разбираться, а работать с СХД нужно, то лучше настроить iSCSI поключение, в котором LUN-ы будут в файловой системе VMFS.
 

Установкаи настройка NFS

В первую очередь необходимо  скачать дистрибутив FreeNAS-8.0-RELEASE-amd64.iso с сайта http://www.freenas.org/. Записать его на диск и начать установку.

Основной момент это выбор места установки, диск или флешка. Использование съемного накопителя является более выгодным, т.к. экономит для вас как минимум один жесткий диск.

 
 

После завершения установки, если у вас в сети не включена служба DHCP, нужно задать сетевые настройки, чтобы иметь возможность подключиться к web интерфейсу нашей СХД. В моем случае система получила настройки автоматически, для подключения нужно ввести в браузере >http://192.168.146.184 Логин-пароль по умолчанию admin-freenas


 
 
 

Перед нами интерфейс управления системой, понятные иконки, приятные цвета.

Программный или аппаратный (с помощью контроллера) RAID создавать решать вам. В моем случае, в тестовой среде, создаю RAID-Z из трех дисков, файловая система ZFS. Для этого выбираю закладку Storage, иконку Create volume. Открывается окно, где нужно задать имя, выбрать диски , файловую систему и тип RAID. После выбора жмем на кнопку Add Volume и видим, что был создан новый том.

 
 
 
 
 
Все службы, по умолчанию выключены и чтобы задействовать необходимый нам NFS, переходим закладку Services, и включаем его.
Служба может не включиться с первой попытки, без паники. Перезагрузка FreeNAS исправляет положение и NFS работает. 

 
 
 

Служба работает, пришла пора ее настроить. Sharing – Unix – Add Unix Share.

  • Volume path – путь к тому, который будет использоваться
  • Authorized  network or IP address – подсеть или IP адрес(а) для которых разрешен доступ к данной Share
  • All directories – доступ ко всем директориям
  • Maproot user – каждый подключающийся пользователь получает права root в этой Share
 
 
 

Возможно, еще потребуется задать сетевые настройки. Network – Interface – Add Interfaces

Теперь система хранения данных готова для подключения к ней хоста ESXi и миграции на нее виртуальной машины. 

 

Подключение NFSstorageк ESXi. Миграция ВМ.

 

Для подключения NFS share  переходим во вкладку Configuration – Storage – Add Storage на хосте ESXi

Тип Хранилища – Network File System

Locate Network file system – вводим настройки, которые были заданы ранее, при конфигурации СХД.

После этого видим наш Storage в списке подключенных хранилищ, можно использовать его. Запускаем процесс миграции (storage vMotion) виртуальной машины. Правой кнопкой мыши по ВМ, Migrate- Change datastore – наш NFS storage. И виртуальная машина меняет свое расположение без простоев.