что такое сохранность информации

История развития

С древних времён человечество пыталось запомнить данные и передать их будущим поколениям. Сначала впечатления об окружающем мире первобытные люди рисовали на камнях в пещерах, где жили, потом в процессе эволюции появилась письменность. Этот фактор стал прототипом современных информационных хранилищ.

Количество исписанных листов становилось всё больше, информация накапливалась с каждым днём, проводились исследования, открытия, человечество пыталось найти ответы на главные вопросы. Это привело к научно-техническому прогрессу и развитию информационных технологий. Вместо исписанных тетрадей и потёртых зачитанных книг появились первые электронные носители, позволяющие хранить ведомости, фотографии и видеофайлы в виде цифрового кода, записанного на носитель.

Для считывания данных использовалось специальное устройство, которое со временем только совершенствовалось, увеличивая возможности и место хранения.

Если раньше данные хранились на дискетах, дисках, в памяти компьютера, то сейчас облачное хранение позволяет избавить от ненужных элементов и держать всю информацию на специальных серверах, доступ к которым возможен в любую секунду. Цифровой вид не только уменьшает место хранения, но и помогает быстро провести категоризацию, разместить нужные файлы по отдельным папкам.

Если говорит кратко, то, благодаря развитию информационных технологий, стало возможным хранение большого объёма данных без использования материальных носителей. Конечно, это не отменяет блокноты и тетради, но качественно уменьшает их количество и сужает сферу использования.

Благодаря новым способам хранения данных увеличивается и срок размещения информации на разных платформах.

Магнитные и оптические носители

Магнитная запись была изобретена в XIX веке и первоначально использовалась только для хранения аудиофайлов. Первым носителем была стальная проволока диаметром около 1 мм. Позже стала использоваться стальная катаная лента.

К сожалению, качественные характеристики были недостаточными для частого использования, поэтому учёные начали искать альтернативу. Для записи 14-часовой беседы пришлось использовать примерно 100 кг проволоки, которая имела довольно большую протяжность.

Магнитные носители не только были неудобными в использовании, но и создавали дополнительные трудности в процессе хранения, ведь окружающие факторы могли нарушить качество или даже испортить ленты. В 20-х годах появилась магнитная лента на двух основах:

Вторая половина ХХ века принесла много изменений. Теперь, кроме звука, на ленту стало можно переносить изображения. Это было первым шагом на пути к появлению видео. Дальше технологии развивались быстро, начали выпускаться видеокамеры и видеомагнитофоны, благодаря которым можно было пересматривать первые фильмы — сначала чёрно-белые, а потом и в цветном формате. В рефератах хранение информации описывается как технический процесс, который начал формироваться в ХІХ веке и продолжает совершенствоваться по сегодняшний день.

На смену магнитному пришёл лазерный тип нанесения информации на поверхность носителя. Был изобретён квантовый генератор, с помощью которого и происходила обработка информации для записи. Этот метод повысил плотность записи, благодаря чему диски имеют больший информационный объем, чем другие носители.

Во второй половине 1990-х годов появились универсальные цифровые DVD-диски, благодаря которым повысился объем записи.

Диски занимали немного места, но из-за чувствительной поверхности, которая могла повредиться или поцарапаться, их использование перестало быть практичным. Современные информационные технологии предложили новый метод хранения, без носителя.

Виды цифровой памяти

Способы хранения информации в информатике постоянно совершенствуются, открывая для пользователей новые возможности. Запоминающие устройства для хранения используют разные методы. Стандартным вариантом ещё несколько лет назад были архивы, благодаря которым можно было не только скрыть нужные файлы, но и сжать их обычный размер, тем самым увеличив общее место хранения. Что касается цифровой памяти, то она может быть двух видов:

До конца XX века эти типы хранения считались единственными. Позже появился способ получше, благодаря которому доступ к данным стал возможным в любое время и с любого подходящего для этого цифрового устройства. В рефератах на тему хранения информации отдельная тема посвящена интернету. Во Всемирной паутине можно хранить любое количество данных, используя при этом разные варианты облачных хранилищ.

В последние годы учёные активно работают над созданием специальных дисков, которые смогут хранить на себе достаточное количество информации. Используемые в процессе нанотехнологии работают на уровне атомов и молекул. Одно средство для записи данных, созданное по такой технологии, сможет заменить тысячи дисков, а места на нём должно хватить, чтобы записать каждую секунду человеческой жизни.

Хотя это и звучит как фрагмент фантастического фильма, на самом деле человечество стремительно движется к тому, чтобы создать универсальное хранилище для всей информации.

Использование интернета

Максимально комфортный и доступный для всех способ хранения информации, предоставляющий бесплатные хранилища для данных, используется во всём мире. Использовать интернет можно на любых устройствах, поддерживающих подключение к сети. В докладах и рефератах хранение информации представлено несколькими способами, наиболее эффективный из которых именно интернет.

Чтобы важные ведомости были всегда в зоне доступа, специалисты советуют сделать несколько копий и разместить их в хранилищах и на материальных носителях. Сбои программ, поломки могут навредить информации, поэтому, чтобы не потерять самое важное, необходимо придерживаться простых советов:

Благодаря возможности хранения информации люди могут делиться данными и передавать полезные сведения своим детям. Информацию можно использовать многократно без потери качества именно благодаря хранению на облачных ресурсах, передавать в сообщениях через социальные сети или пересылать по электронной почте. Интернет даёт возможность выбора не только в плане вариантов хранения, но и в отношении дальнейшего использования полученных данных.

Развитие информационных технологий в последнее время занимает основную часть работы учёных. Создаются новые варианты хранения информации, проводятся исследования разных нанотехнологических устройств, способных записывать и передавать большие объёмы данных.

Источник

Хранение данных. Или что такое NAS, SAN и прочие умные сокращения простыми словами

TL;DR: Вводная статья с описанием разных вариантов хранения данных. Будут рассмотрены принципы, описаны преимущества и недостатки, а также предпочтительные варианты использования.

Зачем это все?

Хранение данных — одно из важнейших направлений развития компьютеров, возникшее после появления энергонезависимых запоминающих устройств. Системы хранения данных разных масштабов применяются повсеместно: в банках, магазинах, предприятиях. По мере роста требований к хранимым данным растет сложность хранилищ данных.

Надежно хранить данные в больших объемах, а также выдерживать отказы физических носителей — весьма интересная и сложная инженерная задача.

Хранение данных

Под хранением обычно понимают запись данных на некоторые накопители данных, с целью их (данных) дальнейшего использования. Опустим исторические варианты организации хранения, рассмотрим подробнее классификацию систем хранения по разным критериям. Я выбрал следующие критерии для классификации: по способу подключения, по типу используемых носителей, по форме хранения данных, по реализации.

По способу подключения есть следующие варианты:

подключение дисков в сервере

дисковая полка, подключаемая по FC

По типу используемых накопителей возможно выделить:

Если рассматривать форму хранения данных, то явно выделяются следующие:

По реализации достаточно сложно провести четкие границы, однако можно отметить:

RAID контроллер от компании Fujitsu

пример организации LVM с шифрованием и избыточностью в виртуальной машине Linux в облаке Azure

Давайте рассмотрим более детально некоторые технологии, их достоинства и недостатки.

Direct Attached Storage — это исторически первый вариант подключения носителей, применяемый до сих пор. Накопитель, с точки зрения компьютера, в котором он установлен, используется монопольно, обращение с накопителем происходит поблочно, обеспечивая максимальную скорость обмена данными с накопителем с минимальными задержками. Также это наиболее дешевый вариант организации системы хранения данных, однако не лишенный своих недостатков. К примеру если нужно организовать хранение данных предприятия на нескольких серверах, то такой способ организации не позволяет совместное использование дисков разных серверов между собой, так что система хранения данных будет не оптимальной: некоторые сервера будут испытывать недостаток дискового пространства, другие же — не будут полностью его утилизировать:

Конфигурации систем с единственным накопителем применяются чаще всего для нетребовательных нагрузок, обычно для домашнего применения. Для профессиональных целей, а также промышленного применения чаще всего используется несколько накопителей, объединенных в RAID-массив программно, либо с помощью аппаратной карты RAID для достижения отказоустойчивости и\или более высокой скорости работы, чем единичный накопитель. Также есть возможность организации кэширования наиболее часто используемых данных на более быстром, но менее емком твердотельном накопителе для достижения и большой емкости и большой скорости работы дисковой подсистемы компьютера.

Storage area network, она же сеть хранения данных, является технологией организации системы хранения данных с использованием выделенной сети, позволяя таким образом подключать диски к серверам с использованием специализированного оборудования. Так решается вопрос с утилизацией дискового пространства серверами, а также устраняются точки отказа, неизбежно присутствующие в системах хранения данных на основе DAS. Сеть хранения данных чаще всего использует технологию Fibre Channel, однако явной привязки к технологии передачи данных — нет. Накопители используются в блочном режиме, для общения с накопителями используются протоколы SCSI и NVMe, инкапсулируемые в кадры FC, либо в стандартные пакеты TCP, например в случае использования SAN на основе iSCSI.

Давайте разберем более детально устройство SAN, для этого логически разделим ее на две важных части, сервера с HBA и дисковые полки, как оконечные устройства, а также коммутаторы (в больших системах — маршрутизаторы) и кабели, как средства построения сети. HBA — специализированный контроллер, размещаемый в сервере, подключаемом к SAN. Через этот контроллер сервер будет «видеть» диски, размещаемые в дисковых полках. Сервера и дисковые полки не обязательно должны размещаться рядом, хотя для достижения высокой производительности и малых задержек это рекомендуется. Сервера и полки подключаются к коммутатору, который организует общую среду передачи данных. Коммутаторы могут также соединяться с собой с помощью межкоммутаторных соединений, совокупность всех коммутаторов и их соединений называется фабрикой. Есть разные варианты реализации фабрики, я не буду тут останавливаться подробно. Для отказоустойчивости рекомендуется подключать минимум две фабрики к каждому HBA в сервере (иногда ставят несколько HBA) и к каждой дисковой полке, чтобы коммутаторы не стали точкой отказа SAN.

Недостатками такой системы являются большая стоимость и сложность, поскольку для обеспечения отказоустойчивости требуется обеспечить несколько путей доступа (multipath) серверов к дисковым полкам, а значит, как минимум, задублировать фабрики. Также в силу физических ограничений (скорость света в общем и емкость передачи данных в информационной матрице коммутаторов в частности) хоть и существует возможность неограниченного подключения устройств между собой, на практике чаще всего есть ограничения по числу соединений (в том числе и между коммутаторами), числу дисковых полок и тому подобное.

Network attached storage, или сетевое файловое хранилище, представляет дисковые ресурсы в виде файлов (или объектов) с использованием сетевых протоколов, например NFS, SMB и прочих. Принципиально базируется на DAS, но ключевым отличием является предоставление общего файлового доступа. Так как работа ведется по сети — сама система хранения может быть сколько угодно далеко от потребителей (в разумных пределах разумеется), но это же является и недостатком в случае организации на предприятиях или в датацентрах, поскольку для работы утилизируется полоса пропускания основной сети — что, однако, может быть нивелировано с использованием выделенных сетевых карт для доступа к NAS. Также по сравнению с SAN упрощается работа клиентов, поскольку сервер NAS берет на себя все вопросы по общему доступу и т.п.

Unified storage

Универсальные системы, позволяющие совмещать в себе как функции NAS так и SAN. Чаще всего по реализации это SAN, в которой есть возможность активировать файловый доступ к дисковому пространству. Для этого устанавливаются дополнительные сетевые карты (или используются уже существующие, если SAN построена на их основе), после чего создается файловая система на некотором блочном устройстве — и уже она раздается по сети клиентам через некоторый файловый протокол, например NFS.

Software-defined storage — программно определяемое хранилище данных, основанное на DAS, при котором дисковые подсистемы нескольких серверов логически объединяются между собой в кластер, который дает своим клиентам доступ к общему дисковому пространству.

Наиболее яркими представителями являются GlusterFS и Ceph, но также подобные вещи можно сделать и традиционными средствами (например на основе LVM2, программной реализации iSCSI и NFS).

N.B. редактора: У вас есть возможность изучить технологию сетевого хранилища Ceph, чтобы использовать в своих проектах для повышения отказоустойчивости, на нашем практическим курсе по Ceph. В начале курса вы получите системные знания по базовым понятиям и терминам, а по окончании научитесь полноценно устанавливать, настраивать и управлять Ceph. Детали и полная программа курса здесь.

Пример SDS на основе GlusterFS

Из преимуществ SDS — можно построить отказоустойчивую производительную реплицируемую систему хранения данных с использованием обычного, возможно даже устаревшего оборудования. Если убрать зависимость от основной сети, то есть добавить выделенные сетевые карты для работы SDS, то получается решение с преимуществами больших SAN\NAS, но без присущих им недостатков. Я считаю, что за подобными системами — будущее, особенно с учетом того, что быстрая сетевая инфраструктура более универсальная (ее можно использовать и для других целей), а также дешевеет гораздо быстрее, чем специализированное оборудование для построения SAN. Недостатком можно назвать увеличение сложности по сравнению с обычным NAS, а также излишней перегруженностью (нужно больше оборудования) в условиях малых систем хранения данных.

Гиперконвергентные системы

Подавляющее большинство систем хранения данных используется для организации дисков виртуальных машин, при использовании SAN неизбежно происходит удорожание инфраструктуры. Но если объединить дисковые системы серверов с помощью SDS, а процессорные ресурсы и оперативную память с помощью гипервизоров отдавать виртуальным машинам, использующим дисковые ресурсы этой SDS — получится неплохо сэкономить. Такой подход с тесной интеграцией хранилища совместно с другими ресурсами называется гиперконвергентностью. Ключевой особенностью тут является способность почти бесконечного роста при нехватке ресурсов, поскольку если не хватает ресурсов, достаточно добавить еще один сервер с дисками к общей системе, чтобы нарастить ее. На практике обычно есть ограничения, но в целом наращивать получается гораздо проще, чем чистую SAN. Недостатком является обычно достаточно высокая стоимость подобных решений, но в целом совокупная стоимость владения обычно снижается.

Облака и эфемерные хранилища

Логическим продолжением перехода на виртуализацию является запуск сервисов в облаках. В предельном случае сервисы разбиваются на функции, запускаемые по требованию (бессерверные вычисления, serverless). Важной особенностью тут является отсутствие состояния, то есть сервисы запускаются по требованию и потенциально могут быть запущены столько экземпляров приложения, сколько требуется для текущей нагрузки. Большинство поставщиков (GCP, Azure, Amazon и прочие) облачных решений предлагают также и доступ к хранилищам, включая файловые и блочные, а также объектные. Некоторые предлагают дополнительно облачные базы, так что приложение, рассчитанное на запуск в таком облаке, легко может работать с подобными системами хранения данных. Для того, чтобы все работало, достаточно оплатить вовремя эти услуги, для небольших приложений поставщики вообще предлагают бесплатное использование ресурсов в течение некоторого срока, либо вообще навсегда.

Из недостатков: могут заблокировать аккаунт, на котором все работает, что может привести к простоям в работе. Также могут быть проблемы со связностью и\или доступностью таких сервисов по сети, поскольку такие хранилища полностью зависят от корректной и правильной работы глобальной сети.

Заключение

Надеюсь, статья была полезной не только новичкам. Предлагаю обсудить в комментариях дополнительные возможности систем хранения данных, написать о своем опыте построения систем хранения данных.

Источник

Сохранность информации

Одна из главных задач хранилищ информации — интеграция всех сведений из разнообразных источников в единую централизо­ванную структуру, которая обеспечивала бы процесс превращения «сырых» фактов в информацию, полезную для организации или ведомства.

Самый трудный вопрос в создании электронного архива за­ключается в его наполнении, ибо приходится переводить в надле­жащий вид как уже существующий массив документов, так и те­кущих поступлений. Зато электронные системы способны записы­вать колоссальные объемы информации на очень малых площадях и обеспечивать мгновенный поиск. Они также позволяют обеспе­чить санкционированным пользователям дистанционный доступ к базам данных. Правда, всегда нужно помнить об уязвимости запо­минающих устройств компьютеров и о необходимости дублирова­ния материалов путем записи их на альтернативный носитель.

Ожидаемые сроки службы различных носителей информа­ции, используемых для хранения правительственных документов, примерно следующие: магнитная лента — от 5 до 15 лет; CD-ROM — до 50 лет; пленка для микрофильмирования — до 20 лет; пленка для архивного микрофильмирования — от 100 до 200 лет; газетная бумага — от 10 до 20 лет; высококачественная бумага — до 100 лет; специальная бумага — до 500 лет.

Учет этого фактора, а также контроль данных требует нали­чия нормативов на сроки хранения и защиты информации.

Некоторые материалы могут быть уничтожены после опре­деленного времени, другие необходимо хранить в течение дли­тельного периода времени или без указания конкретного срока, ес­ли по своей природе информация представляет архивный интерес. Профессионалов нисколько не удивил случай, когда с досье одного из высокопоставленных шведских агентов отечественная разведка ознакомила широкую публику через четыреста лет после происхо­дивших событий.

Целями контроля данных являются: 1) обеспечение точной и полной информацией соответствующих должностных лиц в тре­буемые сроки; 2) эффективная обработка, введение в память ком­пьютера и распространение информации; 3) обеспечение сохранно­сти сведений с учетом критерия «стоимость — эффективность»; 4) представление максимальных информационных услуг санкциони­рованным пользователям.

Для того, чтобы одновременно обеспечить эффективность и безопасность информации, жизненно важен жесткий контроль за сохранностью документов. Отсюда необходимо также уделять внимание защите информации. Немалую помощь здесь может ока­зать знание возможных угроз компьютерной информации. Непред­намеренные ошибки, т.е. безграмотность и расхлябанность, непра­вильное введение данных, ошибки в программах, некорректная переинсталляция операционной системы с потерей данных и т.д., яв­ляются причинами 55% всех потерь. Деятельность конкурентов и шпионов, утечка информации, несанкционированный доступ, вторжение хакеров, кражи, подлоги и т.п., дают 30% всех потерь. Сбои из-за нарушения кабельной системы и низкого качества элек­тропитания приносят 13% всех потерь.

Если аналитик заметил, что стал жертвой шпионажа или имело место утечка информации, рекомендуется начинать кампа­нию дезинформации. «Служба дезинформации. — признавался В.А. Крючков, — не раз оказывала нам неоценимые услуги». Где бы ни хранилась критически важная информация, везде долж­ны предусматриваться меры защиты и жесткое наблюдение за уче­том сведений. Контроль за учетом информации является сущест­венным элементом и жизненно необходимым условием безопасно­сти информационной системы.

Важным аспектом сохранности данных являются досье, стандартное средство накапливания и распространения информа­ции. По мнению специалиста по многосторонней дипломатии и политолога В.Л. Исраэляна, их значение очень огромно. «На осно­ве досье, — утверждал он, — как правило, готовят тексты выступлений делегации, материалы для бесед с участниками конферен­ции, различные справки, документы и т.д. Само досье состоит из заявлений руководства государства, официальных документов, справок, вырезок из газет и других материалов. Составление досье — одна из основных обязанностей экспертов делегации, работа ко­торых на самой конференции в немалой степени зависит от качест­ва подготовленных ими досье. Помогают в работе делегации спи­сок специальной литературы, аннотации книг и журнальных ста­тей, диссертаций. В некоторых случаях полезно собрать и неболь­шую библиотечку. Подготовка такого рода материалов входит в обязанность эксперта».

В досье обычно содержится информация двух видов. Во-первых, непосредственно фактическая информация, т.е. докумен­ты, фотографии, отчеты, записки и т.д. Во-вторых, материалы, ха­рактеризующие и обобщающие данные. Часто различают расследо­вательские досье, в которые заносятся сведения о текущих делах. И общие досье, где хранится информация, не имеющая текущей опе­ративной ценности. Это своеобразный ресурс, складируемый на хранение. Он ценен прежде всего для какой-либо проверки, в част­ности, должностей и других деталей из биографий.

С другой стороны, досье целесообразно классифицировать на именные и тематические. Доскональное изучение состояния от­дельного человека в течение продолжительного времени называет­ся в медицине историей болезни, или изучением анамнеза. Подоб­ный метод легко применим и для изучения жизни вполне нормаль­ных людей — действующих политиков. В таком случае собирается вся доступная информация. Одним словом, метод анамнеза можно рассматривать в качестве исследовательской стратегии, направлен­ной на подробное изучение конкретного индивида.

В указанном направлении очень интересны рассуждения со­ветского дипломата П.А. Абрасимова, работавшего послом во Франции, Японии и ГДР. «Каждый раз, — замечал он, — встреча­ясь с самыми непохожими друг на друга представителями разных стран, социальных групп, испытывал ощущение постоянного поис­ка. Старался по внешнему облику, манерам, пластике, по неповто­римым индивидуальным особенностям, штрихам, деталям воссоз­дать, как говорил К. С. Станиславский, роман жизни своего собе­седника. Такого рода поиск очень полезен для дипломата. Он обо­стряет наблюдательность, оттачивает логику мышления. Становит­ся легче определять внутреннюю сущность тех, с кем сталкиваешь­ся в работе, оценивать их жизненный путь, дела предугадывать по­ступки».

Новая биографическая форма, которую Э.

Короче говоря, оценка событий и людей, причастным к ним, дело архисложное. Здесь важно избегать плоского и одномерного видения. Напротив, необходим объемный взгляд. Он возможен только при рассмотрении происшедшего с разных высот, ибо в от­ношении любого события или деятеля можно так подтасовать фак­ты, что контрреволюция становится революцией, злодей — героем, или наоборот. Интересны в приведенном контексте рассуждения американского посла Дж. Мэтлока о Б.Н. Ельцине. «Если страна,

— подчеркивал дипломат, — найдет свой путь к демократическому государству с жизнеспособной рыночной экономикой, мало кому придет в голову заниматься его недостатками. Он будет считаться основателем новой России, России двадцать первого и последую­щих веков. Но если страна и дальше будет скатываться в трясину преступности и коррупции, сопровождаемая демагогическими при­зывами к восстановлению империи, он может войти в историю как трагический царь Борис II, где пребывание на троне, сомнительное с точки зрения законности, привело к смутному времени и нацио­нальному позору». Бесспорно, что события и людей надо харак­теризовать такими, какими они были и есть, а не такими, какими их хотелось бы видеть. Это легко сказать, но трудно сделать.

Иногда в дополнение к имеющемуся материалу прибегают к сбору коллекции мини-досье. Они могут представлять собой набор соответствующим образом организованных карточек. «Картотека,

— констатировал в этой связи В.И.

Во всех случаях аналитик должен быть знаком с азами опи­сания документальной информации. Это очень сложный творческий процесс. Важнейшей частью описания является аналитико­синтетическая переработка документальной информации, вклю­чающая последовательно два этапа: информационный анализ тек­ста документа и свертывание документальной информации.

Информационный анализ представляет собой расчленение текста документа на составные элементы для их раздельного изу­чения и оценки с целью отбора наиболее существенных. При этом первичный документ должен быть адекватен вторичной информа­ции, ибо речь идет об одном факте, но рассматриваемом на разных этапах. Аналогичным приемом часто пользовался академик Н.М. Дружинин. «Я старался, — вспоминал он, — каждый отдельный документ разложить на составные неразложимые далее части — в соответствии с разными аспектами намеченной проблемы. Каждую частицу — в форме цитаты или коллективной выписки — я зано­сил на особую карточку, имея в виду последующую систематиза­цию материала. Когда на основе сложившейся концепции и выра­ботанного плана монографии я начинал комбинировать материал по главам и разделам, я мог свободно оперировать подготовленны­ми карточками, располагая их в группы и придавая им ту или иную последовательность. Если весь документ в целом составлял нераз­ложенную часть источника, он приобретал роль отдельной карточ­ки: подложенный в определенном месте, он составлял такую же неделимую единицу в общей сумме материала. Иногда приходи­лось делить на части снятую машинописную копию документа, со­храняя на отдельном листе сжатое изложение его содержания в це­лях контроля. Я убедился на опыте, что подобный технический прием не только облегчает систематизацию собранных данных и литературное оформление монографии, но также обеспечивает полное и стройное использование всех источников».

Свертывание документальной информации заключается в уменьшении исходного объема первичной документальной инфор­мации при сохранении существенных элементов ее содержания. Итогом действия могут быть аннотация документа или обзорная статья. Одновременно не надо забывать, что информация при свертывании не должна быть избыточной, но и нельзя ее делать непол­ной. Свертывание информации на этапе составления аннотации можно рассматривать на трех уровнях текста: составление текста аннотации в целом; составление фраз или предложений аннотации; использование терминов. Следует не забывать, что на уровне тек­ста применяются семантическое и лексическое свертывание. Окон­чательный продукт должен быть четким, точным и лаконичным.

Источник