что такое утилизация диска
Zabbix + Iostat: мониторинг дисковой подсистемы
Zabbix + Iostat: мониторинг дисковой подсистемы. 
Зачем?
Дисковая подсистема одна из важных подсистем сервера и от уровня нагрузки на дисковую подсистему зачастую зависит очень многое, например скорость отдачи контента или то как быстро будет отвечать база данных. Это в большей степени относится к почтовым или файловым серверам, серверам БД. Вобщем, показатели дисковой производительности отслеживать нужно. На основании графиков производительности дисковой подсистемы мы можем принять решение о необходимости наращивания мощностей задолго до того как петух клюнет. Да и вобще полезно поглядывать от релиза к релизу как работа разработчиков сказывается на уровне нагрузки.
Под катом, о мониторинге и о том как настроить.
Зависимости:
Мониторинг реализован через zabbix агента и две утилиты: awk и iostat (пакет sysstat). Если awk идет в дистрибутивах по умолчанию, то iostat требуется установить с пакетом sysstat (тут отдельное спасибо Sebastien Godard и сотоварищи).
Известные ограничения:
Для мониторинга нужен sysstat начиная с версии 9.1.2, т.к. там есть очень важное изменение: «Added r_await and w_await fields to iostat’s extended statistics». Так что следует быть внимательным, в некоторых дистрибутивах, например в CentOS немного «стабильная» и менее фичастая версия sysstat.
Если же отталкиваться от версии zabbix (2.0 или 2.2) то тут вопрос не принципиален, работает на обоих версиях. На 1.8 не заработает т.к. используется Low level discovery.
Где взять:
Итак, мониторинг состоит из файла конфигурации для агента, двух скриптов для сбора/получения данных и шаблон для веб-интерфейса. Все это доступно в репозитории на Github, поэтому любым доступным способом (git clone, wget, curl, etc. ) скачиваем их на машины которые хотим замониторить и переходим к следующему пункту.
Таким образом, проверяем с сервера мониторинга что iostat.conf подгрузился и отдает информацию, заодно смотрим что LLD работает. В качестве ответа вернется JSON с именами обнаруженных устройств. Если ответа не пришло, значит что-то сделали не так.
Также есть такой момент, что zabbix server не дожидается выполнения некоторых item’ов со стороны агентов (iostat.collect). Для этого следует увеличить значения Timeout.
Как настроить в web интейрфейс:
Теперь остался шаблон iostat-disk-utilization-template.xml. Через веб интерфейс импортируем его в раздел шаблонов и назначем на наш хост. Тут все просто. Теперь остается ждать примерно один час, такое время установлено в LLD правиле (тоже настраивается). Или можно поглядывать в Latest Data наблюдаемого хоста, в раздел Iostat. Как только там появились значения, можно перейти в раздел графиков и понаблюдать за первыми данными.
И напоследок тройка скринов графиков c локалхоста))):
Непосредственно данные в Latest Data: 
Графики отзывчивости (Latency):
График утилизации и IOPS:
Вот и собственно и все, спасибо за внимание.
Ну и по традиции, пользуясь случаем передаю привет Федорову Сергею (Алексеевичу) 🙂
Лучшие способы для безопасной утилизации дисков
Перевод Comss.ru. По материалам Windows Secrets
Во времена широкого использования современных твердотельных накопителей классические методы удаления данных стали неэффективны.
Тем не менее, существует специальные профилактические процедуры, которые приводят к эффективному уничтожению конфиденциальные данных на SSD-дисках и других перезаписываемых носителях.
Вполне вероятно, что большинство пользователей Windows не знают о кардинальных изменениях технологии производства дисковых накопителей, которые имели место за последнее десятилетие. Примечательно, что винчестеры и SSD-диски, используемые в современных системах, обладают большим вычислительным потенциалом, чем современный смартфон.
Современные жесткие диски являются потомками массивных устройств с небольшим количеством памяти, созданные в 1960-х годах компанией IBM для своих компьютерных систем. Согласно информации из Википедии, первые жесткие диски имели размер двух холодильников и вмешали 3,75 мегабайт данных.
В 2000 году технология создания дисков была серьезно пересмотрена: Trek Technology и IBM стали продавать накопители, которые использовали чипы silicon power вместо вращающихся магнитных пластин. Новые устройства использовали медленный, но относительно недорогой вид энергонезависимой и перезаписываемой оперативной памяти.
За последние 15 лет твердотельные накопители на базе микросхем стали быстрее, дешевле и стали способны хранить больше информации в том же физическом пространстве. SSD сейчас преодолели планку в 1 терабайт и активно вытесняют традиционные вращающиеся жесткие диски, как на мобильных устройствах, так и на стационарных компьютерах. Успех твердотельных накопителей связан с сокращенным энергопотреблением и уменьшенным размером самих дисков.
В течение последующего десятилетия хранилища данных могут снова радикально поменяться. Согласно исследованиям, “диски”, построенные на углеродных нанотрубках (CNT) могут заменить как оперативную память, так и хранилища данных в персональных компьютерах, планшетах и смартфонах.
Особенности технологии хранения информации на твердотельных дисках
Технология создания твердотельных дисков для замены вращающихся носителей должна была имитировать HDD для ОС Windows и для компьютерного оборудования (например, использовать стандарта SATA для подключения). Microsoft на протяжении 30 лет разрабатывала код, оптимизированный для работы с вращающимися дисками. Для адаптации системы и приложений к поддержке новых SSD потребовалось бы еще несколько лет работы. Адаптация к другой новой технологии хранения данных может означать еще одну массивную кампанию по замене внутреннего кода.
Так называемая выравнивающая программа (wear leveling) отслеживает количество циклов перезаписи каждой ячейки памяти. Когда конкретная ячейка памяти становится изношенной, программа автоматически переносит данные в другое местоположение, характеризующееся лучшим состоянием. Это означает, что встроенный компьютер устройства содержит собственную таблицу перевода адресов, потому что Windows по-прежнему думает, что данные хранятся по адресу, указанному в “Главной файловой таблице” (Master File Table).
Повторим еще раз: выравнивающая программа выполняется каждый раз, когда данные записываются на SSD-диск. Каждая запись состоит из “кусочков” данных, которые в свою очередь состоят из новой информации и участков несвязанных файлов из “изношенных” ячеек памяти.
Обратите внимание, что эти “кусочки” могут содержать данные, которые ОС считает надежно удаленными. Другими словами, в отличие от обычных жестких дисков, SSD диски не соблюдают условия, необходимые для полного удаления данных. При использовании специализированных приложений для восстановления данных, пользователь сможет восстановить биты файлов, которые якобы были стерты.
Это очень важно знать, потому что программы для очистки и защищенного удаления данных имеют доступ только к переведенным адресам HDD. Приложения не могут получить доступ к данным, сохраненным в адресном пространстве SSD.
Приведем пример. Допустим, Вы используете компьютер с SSD диском, емкостью 1 терабайт. В окне свойств системы Windows отображается значение 1 терабайт. Тем не менее, твердотельный накопитель имеет еще 10-процентный запас пространства хранения для компенсации возможного отказа микросхемы. Со временем интегрированная программа для оптимизации износа перераспределяет данные между микросхемами диска. Когда придет время отказаться от эксплуатации диска, утилита очистки сотрет только 1 терабайт данных, видимый ОС, а оставшиеся 10 процентов останутся незатронутыми. Эти 100 гигабайт могут хранить приличное количество данных.
Эффективный способ обезопасить снятые с эксплуатации диски
Самое главное: никогда не используйте программу для дефрагментации файлов на SSD! Дефрагментация приводит к перегрузке инфраструктуры оптимизации износа и просто сокращает срок службы вашего носителя. Дефрагментация не имеет смысла на твердотельных накопителях; доступ ко всем ячейкам данных происходит с одной и той же скоростью. В отличие от обычного жесткого диска, ничего не нужно перемещать по магнитной пластине, чтобы быстрее прочитать или записать данные.
Рисунок 1. Вручную разбив микросхемы памяти, Вы сможете избежать несанкционированное использование конфиденциальной информации посторонними
Microsoft включает специализированное ПО для шифрования данных BitLocker в ОС Windows Pro, Enterprise и Ultimate. Программа работает с SSD накопителями, жесткими дисками и USB-флешками. Если на системе, использующей выводящийся из эксплуатации диск, не установлен BitLocker, Вы можете вытащить диск и подключить его как переносной носитель к системе, которая поддерживает систему шифрования от Microsoft.
Третьим способом безопасной утилизации дисков является применение программы шифрования стороннего разработчика. В этом случае пользователь должен убедиться, что приложение имеет надежные методики шифрования и зашифровывает весь диск.
Если ваш диск использует технологию SED, регулярно делайте полное резервное копирование данных, т.к. возможны блокировки диска.
Предупреждение: многие производители SSD и SED дисков предлагают утилиту для очистки накопителей. Эксперты по безопасности выяснили, что данные программы не полностью эффективны. Не стоит полагаться на данные решения. Вместо них лучше использовать рекомендуемые методы: физическое уничтожение или шифрование всего диска с помощью специализированного ПО, например BitLocker.
Несколько интересных фактов об SSD и жестких дисках
Если Вы храните очень важные конфиденциальные данные на вашем ноутбуке, SecureDrives предлагает твердотельный накопитель с SED и функцией автоматического уничтожения. Накопитель имеет собственный GSM-модуль. В случае потери или кражи компьютера, Вы просто отправляете СМС-сообщение на диск. Кроме того, можно настроить саморазрушение, если он не может получить сообщение или с помощью других средств. Как и в фильмах про Джеймса Бонда, диск самоликвидируется с помощью воздействия на микросхемы памяти ультразвуковой ударной волны;
Данные хранятся на вращающимся диске в концентрических кругах, называемых дорожками. От 60 до 100 треков обычного винчестера вписываются в ширину человеческого волоса;
Вращающиеся диски чувствительны к шуму. Сильный шум может привести к вибрациям, которые вызывают ошибки чтения и заметно снижают производительность;
Стандарты министерства обороны США регламентируют не менее 3 циклов перезаписи для безопасного удаления данных. На современных HDD и SSD даже один цикл перезаписи приводит к уничтожению данных;
Новые диски хранят биты в перекрывающихся дорожках, подобно кровельной черепице. Технология называется черепичная магнитная запись (Shingled Magnetic Recording);
Наружный край стандартного компьютерного диска имеет скорость в 100 миль в час;
Переработка жестких дисков как электронного мусора — частичное решение проблемы от iNEMI
Объемы «электронного мусора» огромны — начиная с 2014 года человечество ежегодно генерирует около 42 миллионов тонн отходов такого рода. E-waste включает как просто выброшенные электронные и электрические устройства, так и их компоненты. Опасны электронные отходы тем, что в них могут содержаться вредные вещества вроде свинца, ртути, полихлорированных дифенилов, поливинилхлоридов.
Определенную часть отходов составляют жесткие диски, которые перерабатывать весьма сложно. Но благодаря новым технологиям в продаже вскоре могут появиться (вернее, уже появляются) накопители с восстановленными магнитами.
Так, во второй половине прошлого года корпорация Google получила на тестирование шесть HDD, произведенных компанией Seagate. Магниты в этих дисках были не новыми, их сняли с утилизированных накопителей, как просто закончивших свой срок службы, так и вышедших из строя. К слову, все эти диски были списаны из дата-центра Google.
Как оказалось (в принципе, удивляться здесь не приходится), диски работают отлично, не хуже, чем устройства, изготовленные из новых материалов. Технология переработки HDD была разработана нидерландской компанией Teleplan. Процесс весьма трудоемкий. Сначала диски помещаются в комнату с минимальным уровнем запыленности, где их разбирают, причем вручную. Из дисков извлекаются магниты и отправляются в Seagate. Далее компания их устанавливает в новые накопители, правда, лишь в том случае, если магниты еще можно использовать (т.е. их извлекли не из слишком уж устаревших морально устройств).
К сожалению, из-за трудоемкости процесса масштабировать утилизацию дисков сложно, если учесть, сколько времени, усилий и финансов используется для этого, то вполне вероятно, что просто новые диски выпускать дешевле. А проблема с HDD более чем актуальна — лишь в США каждый год списывают более 20 млн жестких дисков. Это огромная куча электронных отходов.
Один из пилотных проектов iNEMI включает удаление всей сборки стека головок, а также верхнего и нижнего магнитов. Источник: iNEMI
Правда, есть и альтернатива методу, предложенному Teleplan. Группа исследователей из Окриджской национальной лаборатории по атомной энергии предложила новый метод извлечения редкоземельных магнитов из дисков для повторного использования этих материалов. И это, к слову, полностью соответствует стратегии, разработанной Министерством энергетики США. Ведомство заявляет, что повторное использование редкоземельных элементов является первой линией обороны в деле защиты национальной безопасности.
В лаборатории смогли выяснить, что в большинстве моделей дисков магниты расположены в левом нижнем углу накопителя. Так что для того, чтобы быстро получить магниты, нужно просто отрубить у HDD угол, таким образом, чтобы оставался еще определенный запас по длине (чтобы не повредить сами магниты).
После этого отрубленные элементы нагреваются до определенной температуры в специальной печи. Делается это для того, чтобы магниты потеряли свои магнитные свойства и легко отделялись. Предложенная методика позволяет обрабатывать в день до 7200 дисков. Извлеченные магниты могут использоваться вторично после восстановления магнитных свойств. Но их также без проблем можно пускать на переработку — и не только для изготовления новых магнитов, но и для получения редкоземельных элементов, необходимых для многих сфер науки и техники.
Редкоземельные оксиды извлекаются из магнитов, извлеченных из утилизированных жестких дисках, а затем формуются в металлические слитки, которые впоследствии преобразуются в постоянные магниты.
Извлеченное сырье перерабатывается путем измельчения (буквально в пыль). Далее из полученного субстрата извлекается магнитная фракция. Все это превращается в оксидный порошок, который служит исходным сырьем для создания новых магнитов. Urban Mining Company и производит магниты, которые используются не только в IT, но и других сферах, включая машиностроение. Стратегию использования вторичных материалов, как и говорилось выше, реализует Министерство энергетики США.
Проблемы утилизации носителей данных в ЦОДах
Никто не задумывается об утилизации персональных данных
В каких-то случаях такая позиция даже позволяет проучить неугодного поставщика, победившего в тендере на поставку системы хранения данных: заказчик может объявить поставщику, что все жёсткие диски вышли из строя и требуют замены, а так как они содержат персональные данные, то ни провести экспертизу, ни проверить их работоспособность не представляется возможным. Мои коллеги как-то встречались с такой ситуацией.
Производители машин для уничтожения жестких дисков
Согласно тому же опросу Blancco, только треть респондентов признались, что в их компании существуют не только инструкции по очистке жёстких дисков перед утилизацией или возвратом по гарантии, но и установлено соответствующее оборудование. Остальные же две трети предпочитают складировать старое оборудование, даже если законодательно они обязаны отправить его на утилизацию.
SSD так просто не уничтожить
Ещё сложнее дела обстоят с SSD дисками, с которых можно вытащить данные даже после физического уничтожения. Такие гиганты, как Microsoft Azure и Google Cloud используют измельчители для утилизации носителей, а Google даже достаёт сломанные диски их СХД при помощи роботов, но и такой способ утилизации не является надёжным. Дело в том, что для того, чтобы диск считался уничтоженным, вам нужно предъявить проверяющей стороне серийный номер и осколки раздроблённого носителя, что в случае с промышленным шреддером сделать проблематично.
Испокон веков данные на магнитных жёстких дисках стирались мощными размагничивателями, но современные корпуса привода могут блокировать магнитные волны, а твердотельные накопители и вовсе не подвержены воздействию такого излучения.
Даже если дисковый массив или система управления помечает диск как сбойный, он всё равно нуждается в очистке. По информации той же компании Blancco, в 70-80% случаев сбойный диск остаётся достаточно работоспособным, чтобы вытащить из него данные или наоборот осуществить гарантированное стирание.
Набор софта для утилизации данных
Самым простым вариантом уничтожения большого объёма конфиденциальных данных является их шифрование с последующим удалением ключа. Более 64% компаний, работающих с персональными данными, рассматривают такой метод утилизации как наиболее перспективный, а в отдельных отраслях, таких как медицина и фармацевтика, этот процент ещё выше.
Конечно же, поскольку вы не знаете, в какой момент и какой диск выйдет из строя, то зашифрованными нужно держать все персональные и конфиденциальные данные в вашем ЦОД-е. Вам нужна система управления ключами шифрования, которая гарантирует их сохранность, чтобы никто не смог восстановить данные с утилизированных дисков.
Анализ утилизации СХД
Как понять, что СХД плохо? Как определить что запас производительности исчерпан? Какие параметры об этом свидетельствуют? В этой статье речь пойдет об анализе утилизации СХД, а также выявлении и прогнозировании проблем связанных с производительностью. Материал может быть не интересен опытным storage администраторам, поскольку будут рассмотрены только общие моменты, без углубления в логику работы хитрых механизмов оптимизации производительности.
Для начала определимся с терминологией. Есть несколько терминов и аббревиатур близких по смыслу: СХД, дисковый массив, SAN, Storage Array или просто Storage. Попробую внести ясность.
SAN — Storage Area Network или сеть хранения данных, это совокупность оборудования осуществляющая передачу трафика между сервером и системой хранения данных.
СХД — система хранения данных или дисковый массив, оборудование на котором хранятся данные с возможностью оперативного доступа. Есть еще архивные хранилища, но здесь мы их рассматривать не будем. Аббревиатура СХД так же может употребляться как сокращение от сеть хранения данных, но среди русскоговорящих специалистов термин СХД закрепился именно за системой хранения данных.
СХД могут обеспечивать два способа доступа к данным:
Для оценки производительности СХД используют три основные метрики
Рассмотрим наиболее типичные проявления проблем производительности СХД по показателям Service Time, IO/s и MB/s.
Повышенный Service Time
Для каждого СХД есть крайнее значение Service Time которое соответствует максимальной производительности, другими словами, незначительное увеличение нагрузки приведет к существенному повышению Service Time, вызвав тем самым деградацию требовательных к задержкам приложений.
Для примера, ниже графики зависимости Service Time от IOPS для двух конфигураций СХД.
ST для All flash СХД, 2 Node, 24×1.9 TB SSD, RAID 5, Random 32k, 50/50 Read/Write.
ST для классического СХД, 2 Node, 24×1.8 TB HDD, RAID 5, Random 32k, 50/50 Read/Write.
В общих случаях для All Flash СХД приемлемым считается Service time меньше 1ms, а для классических СХД до 20ms. Порог приемлемого Service time зависит от числа контроллеров, скорости дисков и конечно модели самой СХД, и может отличаться от приведенных значений.
Также нужно учитывать до какого уровня задержек дисковой подсистемы сохраняется нормальная работоспособность приложения, и всегда иметь необходимый запас.
Планка по MB/s
Чаще всего свидетельствует об исчерпании пропускной способности канала или FC адаптера.
Конкурирующие значения по MB/s или IO/s
Сумма (оранжевый график) двух или более параметров на отрезке времени имеет константу и не превышает ее в какой-либо момент. Такая ситуация может наблюдаться в случае конкуренции за пропускную способность канала или порта СХД.
Понижение IO при возрастании ST
В случае если процентное распределение размеров блока не изменилось, но при этом ST начинает повышаться, а IO падать, это может свидетельствовать об аппаратных проблемах с СХД, деградации одного из контроллеров или высокой утилизации CPU.
Утилизация CPU
Утилизация CPU контроллеров СХД в общих случаях не должна превышать 70%, если она постоянно выше 70%, то это свидетельствует об отсутствии запаса производительности СХД.
Тут нужно отметить, что СХД можно разделить на две большие группы:
Медленный рост IO на чтение
Такая проблема может наблюдаться в случае если СХД использует тиринг размещения данных между носителями разной скорости (например, SSD и NL SATA).
К примеру: некая БД работает с высокой нагрузкой один день в неделю, а остальное время простаивает, в таком случае данные к которым давно не было обращений перейдут на носители с малой скоростью, и скорость чтения будет постепенно расти при переходе (так называемом прогреве данных) на быстрые носители.
Какой характер нагрузки не свидетельствует о проблемах?
Пилообразный график IO
Прыгающие значения IO
Все перечисленные примеры нагрузки не свидетельствуют о каких-либо проблемах на стороне СХД. Нагрузка создается хостом подключенным к СХД и зависит от логики процессов использующих дисковое пространство.
Как определить трешхолды для Service Time, IO/s и MB/s?
Данные параметры можно рассчитать теоретически, складывая производительность дисков и считая пенальти выбранного уровня RAID, также можно воспользоваться сайзерами при наличие оных, но расчет будет очень приблизительным, поскольку не будет учитываться реальный профиль нагрузки. Для определения точных пороговых значений, свидетельствующих например о 90% загрузке СХД, необходимо провести нагрузочное тестирование при помощи специального ПО, сформировав профиль нагрузки близкий к реальному и замерить максимальные значения IO/s и MB/s. Но как быть с Service Time? Тут зависимость нелинейная. Для определения Service Time соответствующего 90% загрузке нужно просто сгенерировать 90% от максимально достигнутого значения по IO. Полученные результаты можно экстраполировать на близкие по конфигурации СХД.