Глава 10 Возможности подсистемы хранения данных в различных версиях Windows NT В предыдущих главах рассматривалась архитектура Windows в рамках определенных возможностей подсистемы хранения данных. Эта глава предназначена для профессионалов, использующих подсистемы хранения

Глава 4 Поиск информации – Поисковые системы.– Каталоги.– Помощь пользователей Интернета в поискеТрое из четырех пользователей, отвечая на вопрос: «Для чего вы используете Интернет?», называют поиск информации. И это не мудрено – в Сети, без преувеличения, есть

Глава 13. Тонкости хранения данных: массивы и коллекции. В этой главе...~ Использование массивов для управления наборами элементов одного и того же типа~ Многомерные массивы~ Объект Collection как альтернатива массивам~ Создание своих собственных типов данных для работы с

Глава 1 Принципы использования двумерных редакторов С помощью двумерных редакторов CAD-систем (Computer Aided Design - конструирование, поддержанное компьютером) создается большинство графических конструкторских документов. Учитывая, что базовые двумерные средства черчения

Случаи потери информации и принципы восстановления Отдельные главы книги посвящены восстановлению информации с различных типов носителей. В каждой главе, кроме первой, будут рассмотрены сходные ситуации. От причин и места потери данных зависит тактика их

Принципы хранения данных на лазерных дисках На лазерных, или оптических, дисках информация записывается благодаря разной отражающей способности отдельных участков такого диска. Все оптические диски схожи тем, что носитель (диск) всегда отделен от привода, который

Лекция №6

Системы управления файлами.

Файловая система HPFS

Вопросы:

1. Файловая система HPFS

· Основные особенности HPFS

· Структура раздела HPFS

· Принцип размещения файлов

· Принципы хранения информации о расположении файлов

· Структура и размещение каталогов

· Надежность хранения данных в HPFS

2. Система управления файлами HPFS.IFS

3. Система управления файлами HPFS386.1FS

4. Файловая система JFS

HPFS (High Performance File System ) - вы­сокопроизводительная файловая система.

HPFS впервые появилась в OS/2 1.2 и LAN Manager. (Кстати, HPFS была первой файловой системой, поддерживающей длинные имена.)

Перечислим основные особенности HPFS.

· Главное отличие - базовые принципы размещения файлов на диске и принципы хранения информации о местоположении файлов. Благодаря этим принципам HPFS имеет высокую производительность и отказоустойчивость, является надежной файловой системой.

· Дисковое пространство в HPFS выделяется не кластерами (как в FAT ) , а блоками. В современной реализации размер блока взят равным одному сектору, но в принципе он мог бы быть и иного размера. (По сути дела, блок - это и есть кластер, только кластер всегда равен одному сектору). Размещениефайлов в таких небольших блоках позволяет более эффектив­но использовать пространство диска , так как непроизводительные потери сво­бодного места составляют в среднем всего (полсектора) 256 байт на каждый файл. Вспомним, что чем больше размер кластера, тем больше места на диске расходуется напрас­но.

· Система HPFS стремится расположить файл в смежных блоках, или, если такой возможности нет, разместить его на диске таким образом, чтобы экстенты (фрагменты) файла физически были как можно ближе друг к другу. Такой подход существенно уменьшает время позиционирова­ния головок записи/чтения жесткого диска и время ожидания (задержка между установкой головки чтения/записи на нужную дорожку). Напомним, что в FAT файлу просто выделяется первый свободный кластер.

Экстенты (extent) - фрагменты файла, располагающиеся в смежных секторах диска. Файл имеет по крайней мере один экстент, если он не фрагментирован, а в противномслучае - несколько экстентов.

· Используется метод сбалансированных двоичных деревьев для хранения и поиска ин­формации о местонахождении файлов (каталоги хранятся в центре диска, кроме того, предусмотрена автоматиче­ская сортировка каталогов), что существенно повышает производительность HPFS (в сравнении с FAT ).

· В HPFS предусмотрены специальные расширенные атрибуты файлов, позволяющие управлять доступом к файлам и каталогам .

Расширенные атрибуты (extended attributes, EAs) позволяют хранить дополнительную информацию о файле. Например, каждому файлу может быть сопоставлено его уникаль­ное графическое изображение (значок), описание файла, коммента­рий, сведения о владельце файла и т. д.

C труктура раздела HPFS

В начале раздела с установленной HPFS расположено три управляющих блока:

· загрузочный блок (boot block),

· дополнительный блок (super block) и

· запас­ной (резервный) блок (spare block).

Они занимают 18 секторов.

Все остальное дис­ковое пространство в HPFS разбито на части из смежных секторов - полосы (band - полоса, лента ). Каждая полоса занимает на диске 8 Мбайт.

Каждая полоса и имеет свою собственную битовую карту распределе­ния секторов .Битовая карта показывает, какие секторы данной полосы за­няты, а какие - свободны. Каждому сектору полосы данных соответствует один бит в ее битовой карте. Если бит = 1, то сектор занят, если 0 - свободен.

Битовые карты двух полос располагаются на диске рядом, так же располагаются и сами полосы. То есть последовательность полос и карт выглядит как на рис.

Сравним с FAT . Там на весь диск только одна “битовая карта” (таблица FAT) . И для работы с ней приходится перемещать головки чте­ния/записи в среднем через половину диска.

Именно для того, чтобы сократить время позиционирования головок чтения/записи жесткого диска в HPFS диск разбит на полосы.

Рассмотрим управляющие блоки .

Загрузочный блок (boot block )

Содержит имя тома, его серийный номер, блок парамет­ров BIOS и программу начальной загрузки.

Программа начальной загрузки на­ходит файл OS2LDR, считывает его в память и передает управление этой про­грамме загрузки ОС, которая, в свою очередь, загружает с диска в память ядро OS/2 - OS2KRNL. И уже OS2KRIML с помощью сведений из файла CONFIG.SYS за­гружает в память все остальные необходимые программные модули и блоки дан­ных.

Загрузочный блок располагается в секторах с 0 по 15.

Супер Блок (super block )

Содержит

· указатель на список битовых карт (bitmap block list). В этом списке перечислены все блоки на диске, в которых расположены би­товые карты, используемые для обнаружения свободных секторов;

· указатель на список дефектных блоков (bad block list). Когда система обнаруживает поврежденный блок, он вносится в этот список и для хранения информации больше не используется;

· указатель на группу каталогов (directory band),

· указатель на файловый узел (F-node) корневого каталога,

· дату последней проверки раздела програм­мой CHKDSK;

· информацию о размере полосы (в текущей реализации HPFS - 8 Мбайт).

Super block размещается в 16 секторе.

Резервный блок (spare block)

Содержит

· указатель на карту аварийного замеще­ния (hotfix map или hotfix-areas);

· указатель на список свободных запасных бло­ков (directory emergency free block list);

· ряд системных флагов и дескрипторов.

Этот блок разме­щается в 17 секторе диска.

Резервный блок обеспечивает высокую отказоустойчивость файловой системы HPFS и позволяет восстанавливать поврежденные данные на диске.

Принцип размещения файлов

Экстенты (extent) - фрагменты файла, располагающиеся в смежных секторах диска. Файл имеет по крайней мере один экстент, если он не фрагментирован, а в противномслучае - несколько экстентов.

Для сокращения времени позиционирования головок чтения/записи жесткого диска система HPFS стремится

1) расположить файл в смежных блоках;

2) если такой возможности нет, то разместить экстенты фрагментированного файла как можно ближе друг к другу,

Для этого HPFS использует статистику, а также старается условно резервировать хотя бы 4 килобайта места в конце файлов, которые растут.

Когда данные дописыва­ются в существующий файл, HPFS сразу же резервирует как минимум 4 Кбайт непрерывного пространства на диске. Если же часть этого пространства не по­требовалась, то после закрытия файла она высвобождается для дальнейшего использования. Если же файл не может быть увеличен без нару­шения его непрерывности, HPFS опять-таки резервирует 4 Кбайт смежных блоков как можно ближе к основной части файла.

Очевидно, что степень фрагментации файлов на диске зависит как от числа фай­лов, расположенных на нем, их размеров и размеров самого диска, так и от ха­рактера и интенсивности самих дисковых операций. Незначительная фрагмента­ция файлов практически не сказывается на быстродействии операций с файлами. Файлы, состоящие из двух-трех экстентов, практически не снижают производи­тельность HPFS, так как эта файловая система следит за тем, чтобы области дан­ных, принадлежащие одному и тому же файлу, располагались как можно ближе друг к другу.

Программы (утилиты) дефрагментации , имеющиеся для этой файловой системы, по умолчанию считают наличие двух-трех экстен­тов у файла нормой.

Например, программа HPFSOPT из набора утилит GammaTech по умолчанию не дефрагментирует файлы, состоящие из трех и менее экс­тентов, а файлы, которые имеют большее количестве экстентов, приводятся к 2 или 3 экстентам, если это возможно.

Практика показывает, что в среднем на диске имеется не более 2% файлов, имеющих три и бо­лее экстентов. Даже общее количество фрагментированных файлов, как пра­вило, не превышает 3%. Такая ничтожная фрагментация оказывает пре­небрежимо малое влияние на общую производительность системы.

Еще один способ уменьшения фрагментирования файлов - это расположение файлов, растущих навстречу друг другу, или файлов, открытых разными тредами или процессами, в разных полосах диска.

Принципы хранения информации о расположении файлов

Каждый файл и каталог диска имеет свой файловый узел F-Node . Это структура, в которой содержится информация о располо­жении файла и о его расширенных атрибутах.

Замечание. Файловая система FAT аналога файлового узла не имеет.

Каждый F-Node занимает один сектор и всегда располагается поблизости от своего файла или каталога (обычно - непосредственно перед файлом или ка­талогом). Объект F-Node содержит

· длину,

· первые 15 символов имени файла,

· специальную служебную информацию,

· статистику по доступу к файлу,

· расши­ренные атрибуты файла,

· список прав доступа (или только часть этого списка, если он очень большой); если расширен­ные атрибуты слишком велики для файлового узла, то в него записывается ука­затель на них.

· ассоциативную информацию о расположении и подчине­нии файла и т. д.

Если файл непрерывен, то его размещение на диске описывается двумя 32-битными числами. Первое число представляет собой указатель на первый блок файла, а второе - длину экстента (число следующих друг за другом бло­ков, принадлежащих файлу).

Замечание. Из этого следует, что максимальный объем диска может составлять (2 32 -1)*512 = 2 Тбайта.

Если файл фрагментирован, то размещение его экстентов описывается в файловом узле дополнительными парами 32-битных чисел.

В файловом узле можно разместить информацию максимум о восьми экстентах файла. Если файл имеет больше экстентов, то в его файловый узел записывается указатель на блок размещения (allocation block), который может содержать до 40 указателей на экстенты или, по аналогии с блоком дерева каталогов, на другие блоки размещения.

Таким образом, двухуровневая структура блоков размеще­ния может хранить информацию о 480 секторах, что позволяет работать с файлами размером до 7,68 Гбайт. На практике размер файла не может превышать 2 Гбайт, но это обусловлено текущей реализацией интерфейса прикладного программи­рования.

Структура и размещение каталогов

Для хранения каталогов используется полоса, находящаяся в центре диска .

Эта полоса называется directory band .

Если она полностью заполнена, HPFS начинает располагать каталоги файлов в других полосах.

Расположение этой информаци­онной структуры в середине диска значительно сокращает среднее время пози­ционирования головок чтения/записи. Действительно, для перемещения голо­вок чтения/записи из произвольного места диска в его центр требуется в два раза меньше времени, чем для перемещения к краю диска, где находится корне­вой каталог в случае файловой системы FAT. Уже только одно это обеспечивает более высокую производительность файловой системы HPFS по сравнению с FAT. Аналогичное замечание справедливо и для NTFS, которая тоже располага­ет свой master file table в начале дискового пространства, а не в его середине.

Однако существенно больший (по сравнению с размещением Directory Band в середине логического диска) вклад в производительность HPFS дает использо­вание метода сбалансированных двоичных деревьев для хранения и поиска ин­формации о местонахождении файлов.

Вспомним, что в файловой системе FAT каталог имеет линейную структуру, специальным образом не упорядоченную, поэтому при поиске файла требуется последовательно просматривать его с само­го начала.

В HPFS структура каталога представляет собой сбалансированное де­рево с записями, расположенными в алфавитном порядке.

Каждая за­пись, входящая в состав дерева, содержит

· атрибуты файла,

· указатель на соответствующий файловый узел,

· информацию о времени и дате создания фай­ла, времени и дате последнего обновления и обращения,

· длине данных, содержа­щих расширенные атрибуты,

· счетчик обращений к файлу,

· длине имени файла

· само имя,

· и другую информацию.

Файловая система HPFS при поиске файла в каталоге просматривает только не­обходимые ветви двоичного дерева (В-Тгее). Такой метод во много раз эффек­тивнее, чем последовательное чтение всех записей в каталоге, что имеет место в системе FAT.

Размер каждого из блоков, в терминах которых выделяются каталоги в текущей реализации HPFS, равен 2 Кбайт. Размер записи, описывающей файл, зависит от размера имени файла. Если имя занимает 13 байтов (для формата 8.3), то блок из 2 Кбайт вмещает до 40 описателей файлов. Блоки связаны друг с другом по­средством списка.

Проблемы

При переименовании файлов может возникнуть так называемая перебаланси­ровка дерева. Создание файла, переименование или стирание может приводить к каскадированию блоков каталогов . Фактически, переименование может потер­петь неудачу из-за недостатка дискового пространства, даже если файл непо­средственно в размерах не увеличился. Во избежание этого “бедствия” HPFS поддерживает небольшой пул свободных блоков, которые могут использовать­ся при “аварии”. Эта операция может потребовать выделения дополнительных блоков на заполненном диске. Указатель на этот пул свободных блоков сохраня­ется в SpareBlock,

РЕЗЮМЕ

Принципы размещения файлов и каталогов на диске в HPFS :

· информация о местоположении файлов рассредоточена по всему дис­ку, при этом записи каждого конкретного файла размещаются (по возможно­сти) в смежных секторах и поблизости от данных об их местоположении;

· каталоги размещаются в середине дискового пространства;

· каталоги хранятся в виде бинарного сбалансированного дерева с записями, расположенными в алфавитном порядке.

Надежность хранения данных в HPFS

Любая файловая система должна обладать средствами исправления ошибок, возникаю­щих при записи информации на диск. Система HPFS для этого использует меха­низм аварийного замещения (hotfix).

Если файловая система HPFS сталкивается с проблемой в процессе записи дан­ных на диск, она выводит на экран соответствующее сообщение об ошибке. Затем HPFS сохраняет информацию, которая должна была быть записана в дефектный сектор, в одном из запасных секторов, заранее зарезервированных на этот слу­чай. Список свободных запасных блоков хранится в резервном блоке HPFS. При обнаружении ошибки во время записи данных в нормальный блок HPFS выби­рает один из свободных запасных блоков и сохраняет эти данные в нем. Затем файловая система обновляет карту аварийного замещения в резервном блоке.

Эта карта представляет собой просто пары двойных слов, каждое из которых является 32-битным номером сектора.

Первый номер указывает на дефектный сек­тор, а второй - на тот сектор среди имеющихся запасных секторов, который был выбран для его замены.

После замены дефектного сектора запасным карта ава­рийного замещения записывается на диск, и на экране появляется всплывающее окно, информирующее пользователя о произошедшей ошибке записи на диск. Каждый раз, когда система выполняет запись или чтение сектора диска, она просматривает карту аварийного замещения и подменяет все номера дефектных секторов номерами запасных секторов с соответствующими данными.

Следует заметить, что это преобразование номеров существенно не влияет на производительность системы, так как оно выполняется только при физическом обращении к диску, но не при чтении данных из дискового кэша.

Очистка карты аварийного замещения автоматически выполняется программой CHKDSK при проверке дис­ка HPFS. Для каждого замещенного блока (сектора) программа CHKDSK выде­ляет новый сектор в наиболее подходящем для файла (которому принадлежат данные) месте жесткого диска. Затем программа перемещает данные из запасно­го блока в этот сектор и обновляет информацию о положении файла, что может потребовать новой балансировки дерева блоков размещения. После этого CHKDSK вносит поврежденный сектор в список дефектных блоков, который хранится в дополнительном блоке HPFS, и возвращает освобожденный сектор в список свободных запасных секторов резервного блока. Затем удаляет запись из карты аварийного замещения и записывает отредактированную карту на диск.

Все основные файловые объекты в HPFS, в том числе файловые узлы, блоки размещения и блоки каталогов, имеют уникальные 32-битные идентификаторы и указатели на свои родительские и дочерние блоки. Файловые узлы, кроме того, содержат сокращенное имя своего файла или каталога. Избыточность и взаимосвязь файловых структур HPFS позволяют программе CHKDSK полно­стью восстанавливать файловую структуру диска, последовательно анализируя все файловые узлы, блоки размещения и блоки каталогов. Руководствуясь соб­ранной информацией, CHKDSK реконструирует файлы и каталоги, а затем заново создает битовые карты свободных секторов диска. Запуск программы CHKDSK следует осуществлять с соответствующими ключами. Так, например, один из вариантов работы этой программы позволяет найти и восстановить удаленные файлы.

Система управления файлами HPFS.IFS

HPFS относится к так называемым монтируемым файловым системам -IFS (installable file system - устанавливаемая, монтируемая система управления файлами ) . Это оз­начает, что она не встроена в операционную систему, а добавляется к ней при не­обходимости.

Устанавливаемые файловые системы представляют собой специальные “драйверы” для доступа к разделам, отформатированным под другую файловую систему. Это очень удобный и мощный механизм добавления в ОС новых файловых систем и замены одной системы управления файлами на другую.

Сегодня, например, для OS/2 уже реально существуют IFS-модули для файловой системы VFAT , FAT32, Ext2FS (файловая система Linux), NTFS (правда, пока только для чтения). Для работы с данными на CD-ROM имеется CDFS.IFS. Есть и FTP.IFS, позволяющая монтировать ftp-архивы как локальные диски.

Файловая система HPFS устанавливается оператором IFS в файле CONFIG.SYS.

Этот оператор всегда помещается в первой строке данного конфи­гурационного файла. Пример.

IFS-E:\OS2\HPFS.IFS /САСНЕ:2048 /CRECL:4/AUTOCHECK : CD

Здесь оператор IFS устанавливает файловую систему HPFS с кэшем в 2 Мбайт, длиной записи кэша в 8 Кбайт и ав­томатической процедурой проверки дисков С и D:

Замечание . Подробности установки параметров и возможные значения клю­чей имеются в HELP-файлах, устанавливаемых вместе с операционной систе­мой OS/2 Warp (или см. в книге Гордеева, Молчанова “Системное программное обеспечение” на стр. 175.

C истема управления файлами HPFS386.1FS

Это реализации HPFS для работы на серверах, функционирующих под управ­лением OS/2.

Ее принципиальное отличие от системы HPFS.IFS

· HPFS386.1FS позволяет (посредством более полного использования техноло­гии расширенных атрибутов) организовать ограничения на доступ к файлам и каталогам с помощью соответствующих списков доступа - ACL (access control list). (Эта же технология используется в файловой системе NTFS ) .

· в системе HPFS386.1FS нет ограничений на объем памяти, выделяемой для кэширования файловых записей. Иными словами, при наличии достаточного объема оперативной памяти объем файлового кэша может быть в несколько десятков мегабайт, в то время как для обычной HPFS.IFS этот объем не может превышать 2 Мбайт, что по сегодняшним меркам безусловно мало.

· При установке режимов работы файлового кэша HPFS386.1PS есть возможность явным образом указать алгоритм кэширования.

Наиболее эффек­тивным алгоритмом можно считать так называемый “элеваторный”, когда при записи данных из кэша на диск они предварительно упорядочиваются таким об­разом, чтобы минимизировать время, отводимое на позиционирование головок чтения/ записи. Головки чтения/записи при этом перемещаются от внешних ци­линдров к внутренним и по ходу своего движения осуществляют запись и чтение данных в соответствии со специальным образом упорядочиваемым списком за­просов на дисковые операции.

Пример записи строк в конфигурационном файле CONFIG.SYS, кото­рые устанавливают систему HPFS386.1FS и определяют параметры работы ее под­системы кэширования можно посмотреть в книге Гордеева, Молчанова “Системное программное обеспечение” на стр. 176-178

Файловая система JFS

Для серверной операционной системы OS/2 Warp 4.5 была создана новая журнализирующая файловая система JFS (Journaling file system) .

Новая серверная ОС компании IBM под названием OS/2 WarpServer for e-Business вышла в 1999 г.

JFS имеет большую безопасность в структурах данных благодаря технике, разработанной для СУБД.

Работа с файловой системой происходит в режиме транзакций с ведением журнала транзакций. В случае системных сбоев есть возможность обработать журнал транзакций с целью внести или сбросить какие-либо изменения, произведенные во время системного сбоя.

В этой системе увеличена скорость восстановления файловой системы после сбоя.

Но, сохраняя целостность файловой системы, система управления файлами не гарантирует восстановление данных пользователя.

Файловая система JFS обеспечивает самую высокую скорость работы с файлами из всех известных систем, созданных для ПК (это очень важно для серверной ОС).

3. Система хранения данных

Ключевой задачей файлового сервера является хранение больших объемов информации. Эффективность и возможности системы хранения данных сервера определяются совокупностью и согласованностью аппаратных средств хранения данных и возможностями операционной системы.

3.1 Аппаратные средства хранения данных

К аппаратным средствам системы хранения данных относятся собственно накопители с носителями информации и контроллеры их интерфейсов. Устройства хранения классифицируются по различным признакам:

Метод доступа:

• Устройства произвольного доступа (Random-Access Devices) — накопители на гибких, жестких, магнитных, оптических, магнитооптических дисках.
• Устройства последовательного доступа, обычно ленточные (Tape Devices) — стримеры, кассетные или бобинные. Для них характерна большая емкость относительно недорогих сменных носителей и большое время доступа.

Тип доступа:

• Чтение/запись (Read/Write) — дисковые устройства оперативного доступа, для которых характерно небольшое время выполнения операций как считывания, так и записи.
• Только чтение (Read Only) — CD-ROM или магнитные диски с защитой от записи.
• Устройства с быстрым чтением и относительно долгим процессом записи — например, магнитооптические устройства, требующие предварительного стирания информации.
• Устройства с последовательной записью — многие типы стримеров позволяют дописывать информацию только в конец занятой области носителя (ранее записанная информация, расположенная за текущей областью записи, становится недоступной).

Сменяемость носителя:

• Фиксированный диск — винчестер, не предполагающий оперативной смены.
• Накопители со сменными носителями — CD-ROM, стримеры, магнитооптические устройства и тому подобные. Смена носителя может быть как ручной, так и автоматизированной (устройства Jukebox).

Данные на сервере хранятся в виде файлов, для которых характерен большой разброс частоты использования, размеров и требований по ограничениям на время ожидания доступа. По совокупности этих признаков можно выделить три основные категории устройств хранения файлов:

• On-line — "всегда готов", устройства хранения часто используемых файлов на фиксированных дисках. Объем хранимых данных ограничен возможностями подключения дисков (внутренних и внешних) к серверу.
• Off-line — устройства хранения файлов на магнитных лентах или сменных дисках, которые могут быть установлены и смонтированы оператором по требованию клиента. Объем хранимых данных практически неограничен, но главный недостаток — необходимость присутствия оператора и большое время ожидания доступа.
• Near-line — "всегда поблизости", устройства хранения на автоматически сменяемых и монтируемых носителях (ленточные карусели, Jukebox и прочие), занимающие среднее положение по времени доступа и объему (довольно дорогое решение).

Хорошая сетевая операционная система должна иметь возможности для обеспечения автоматической миграции данных (Data Migration) с устройств On-line на Off-line или Near-line и обратно с учетом их объема и частоты использования.

Novell публикует следующие стандарты на хранение и миграцию файлов:

Real Time Data Migration (RTDM): — автоматическая миграция данных с жестких дисков On-line на системы Near-line.

High-Capacity Storage System (HCSS): — поддержка оптических Jukeboxes.

Mass Storage Services (MSS): — координация распределенных иерархических систем хранения.

Противоречащие друг другу требования к объему хранимой информации, скорости доступа, надежности и цене могут удовлетворяться сочетанием различных классов устройств.

Интерфейсы

SCSI

SCSI (Small Computer System Interface, произносится "скази") — стандартный интерфейс шины системного уровня. Он используется для подключения различных периферийных устройств — винчестеров, CD-ROM, стримеров, магнитооптических и других, внутреннего и внешнего исполнения — к компьютерам с различной архитектурой. Первоначальная 8-битная версия SCSI сменилась более эффективным интерфейсом SCSI-2, включающем 16/32-битные расширения (WIDE SCSI-2), скоростные (в FAST SCSI-2 пропускная способность шины поднята с 4 до 10 Мбайт/с, менее популярный ULTRA — 20 Мбайт/с) и их комбинации (FAST-WIDE SCSI-2 с максимальной пропускной способностью 20/40 Мбайт/с и ULTRA-WIDE — 40/80 Мбайт/с). Внедряется и SCSI-3 с параллельным, последовательным и оптоволоконным интерфейсами, обеспечивающий высокие скорости обмена и широкие функциональные возможности. В настоящее время наиболее популярны контроллеры и устройства 8- и 16-битного SCSI-2, и в дальнейшем речь пойдет именно о них. В принципе, эти устройства совместимы и со старым SCSI-1, но их совместное использование на одной шине неэффективно.
Дисковая подсистема с интерфейсом SCSI состоит из хост-адаптера, связывающего шину SCSI с системной или локальной шиной компьютера, и SCSI-устройств, соединенных с хост-адаптером кабельным шлейфом. В сервере может быть установлено до четырех хост-адаптеров. На каждой шине SCSI может присутствовать до 8 устройств, считая и хост-адаптер. Каждое устройство имеет уникальный идентификатор (SCSI ID 0-7): хост-адаптер обычно имеет ID7, первый (загрузочный) жесткий диск — ID0. Сложные устройства могут иметь до восьми подустройств со своими номерами LUN (Logical Unit Number).
SCSI-устройства выпускаются как внутреннего, так и внешнего исполнения. Внутренние устройства соединяются с хост-адаптером 50-проводным (Wide SCSI — 68-проводным) плоским кабелем, внешние — экранированным кабелем с 50-контактным разъемом "CENTRONICS" для 8-битного или 68-контактным миниатюрным разъемом для 8/16-битного SCSI-2. Существует две версии SCSI, различающиеся по типу электрических сигналов: линейные (Single ended) — обычные для PC-техники — и дифференциальные (Differential) — малораспространенные, допускающие большую суммарную длину шлейфа. Их кабели и разъемы внешне одинаковы, но взаимной совместимости устройств нет.
Обычно внутренний и внешний шлейфы адаптера являются двумя частями одной SCSI-шины.На крайних устройствах шины (и только на них) должны быть установлены и включены терминаторы (внутренние или внешние), в противном случае работа устройств будет неустойчивой. На хост-адаптере терминаторы должны включаться при использовании только одного (внутреннего или внешнего) шлейфа, современные адаптеры обычно имеют автоматическое управление терминаторами.
SCSI-2 предусматривает возможность самостоятельной работы устройств: полученные цепочки команд они могу выполнять в предварительно оптимизированном порядке, отключившись от шины, используя собственные внутренние буферы. Два устройства на одной SCSI-шине могут обмениваться массивами данных без загрузки системной шины и процессора.
Все SCSI-устройства должны предварительно конфигурироваться. Параметры конфигурирования включают:

• SCSI ID — адрес 0-7, уникальный для каждого устройства на шине.
• SCSI Parity — контроль паритета: если хоть одно устройство на шине его не поддерживает, следует отключить на всех устройствах.
• Termination — включение терминаторов (только на крайних устройствах шлейфа).
• Terminator Power — питание активных терминаторов, должно быть включено хотя бы на одном устройстве.
• SCSI Synchronous Negotiation — согласование скорости синхронного обмена, обеспечивающего более высокую производительность. Если хоть одно устройство на шине не поддерживает синхронный обмен, на хост-адаптере согласование необходимо запретить. При этом, если обмен будет инициирован синхронным устройством, хост-адаптер поддержит этот режим.
• Start on Command (Delayed Start) — разрешение запуска двигателя только по команде от хост-адаптера. Позволяет снизить пик нагрузки блока питания, поскольку устройства будут запускаться последовательно.
• Enable Disconnection — позволяет устройствам отключаться от шины при неготовности данных, освобождая ее для других операций (используется при нескольких периферийных устройствах на шине).

IDE (Integrated Device Electronics) — интерфейс устройств со встроенным контроллером, используется для подключения устройств внутреннего исполнения: дисковых накопителей и CD-ROM. Наибольшее распространение получила 16-битная версия, называемая также ATA (AT Attachment) или AT-Bus. Новые версии — EIDE (Enhanced IDE), Fast ATA , Fast ATA-2 допускают более высокие скорости обмена (свыше 10 Мбайт.с) и отодвигают ограничение на максимальный объем диска с 504 Мбайт до 7.88 Гбайт.
Малораспространные варианты: XT-IDE — 8-битный интерфейс с 40-проводным шлейфом, с ATA несовместим; MCA IDE — 72-проводной интерфейс для 16-битной шины MCA.
К одной шине IDE может подключаться не более двух устройств, одно из которых с помощью переключателей (джамперов) назначается ведущим (Master), другое — ведомым (Slave). В отличие от SCSI, устройства на одной шине могут работать только поочередно. В системе может быть до двух шин IDE, доступных для подключения жестких дисков. Дополнительный IDE-интерфейс, имеющийся на звуковых картах, обычно может использоваться только для подключения CD-ROM (жесткие диски BIOS на нем искать не будет, хотя возможно настроить драйвер NetWare и на его использование; целесообразность установки звуковой карты на выделенном сервере весьма сомнительна).
Скорость передачи данных по шине может ограничиваться как накопителем, так и контроллером. Для обмена обычно используется PIO (Programming Input/Output). PIO Mode 3 допускает скорость до 11.1 Мбайт/с, PIO Mode 4 — 16.6 Мбайт/с. Для сервера желательна поддержка высокоскоростных режимов.
Контроллер IDE в современных платформах обычно встраивается в системную плату и подключается к высокопроизводительной локальной шине. Существуют также и контроллеры для шин ISA, EISA, VLB, PCI, некоторые модели имеют аппаратный кэш и средства дублирования (отражения) дисков. Применение ISA-адаптеров для сервера нежелательно по причине их низкой пропускной способности.
Делая выбор между интерфейсами дисковой системы SCSI и IDE, следует принимать во внимание следующие факторы:

• цена SCSI-диска теперь несущественно превышает цену аналогичного IDE-устройства, однако надо учитывать внушительную цену SCSI-контроллера (хост-адаптера);
• производительность одиночных устройств IDE и SCSI практически одинакова, но при одновременном использовании нескольких устройств суммарная производительность SCSI-системы существенно выше;
• высокая эффективность дисковой системы в сервере (как в многозадачной системе) обеспечивается использованием DMA (и Bus Mastering) и интеллектуальностью адаптера, что типично для SCSI и редко встречается в IDE-системах;
• ассортимент устройств IDE ограничен жесткими дисками и накопителями CD-ROM, только внутреннего исполнения и только для IBM PC-совместимых компьютеров. Интерфейс SCSI имеют винчестеры, стримеры, магнитооптические устройства, CD-ROM, дисковые массивы и другие устройства как внутреннего, так и внешнего исполнения, производимые для компьютеров любых архитектур;
• наращиваемость системы с IDE ограничена четырьмя жесткими дисками, вместе с CD-ROM число устройств не может превышать шести. Для SCSI возможно подключение до 4x7=28 устройств, в число которых могут входить и сложные устройства с подустройствами;
• теоретически возможно сосуществование SCSI и IDE в одном сервере, но при этом вероятны и некоторые сюрпризы несовместимости (конфликты) конкретных моделей контроллеров.

Устройства хранения информации

Накопители на жестких магнитных дисках (Hard Disk Drive, HDD) являются основными устройствами оперативного хранения информации. Для современных одиночных накопителей характерны объемы от сотен мегабайт до нескольких гигабайт при времени доступа 5-15 мс и скорости передачи данных 1-10 Мбайт/с.
Относительно корпуса сервера различают внутренние и внешние накопители.
Внутренние накопители существенно дешевле, но их максимальное количество ограничивается числом свободных отсеков корпуса, мощностью и количеством соответствующих разъемов блока питания сервера. Установка и замена обычных внутренних накопителей требует выключения сервера, что в некоторых случаях недопустимо.
Внутренние накопители с возможностью "горячей" замены (Hot Swap) представляют собой обычные винчестеры, установленные в специальные кассеты с разъемами. Кассеты обычно вставляются в специальные отсеки со стороны лицевой панели корпуса, конструкция позволяет вынимать и вставлять дисководы при включенном питании сервера. Для стандартных корпусов существуют недорогие приспособления (Mobile Rack), обеспечивающие оперативную съемность стандартных винчестеров.
Внешние накопители имеют собственные корпуса и блоки питания, их максимальное количество определяется возможностями интерфейса. Обслуживание внешних накопителей может производиться и при работающем сервере, хотя может требовать прекращения доступа к части дисков сервера.
Для больших объемов хранимых данных применяются блоки внешних накопителей — дисковые массивы и стойки, представляющие собой сложные устройства с собственными интеллектуальными контроллерами, обеспечивающими, кроме обычных режимов работы, диагностику и тестирование своих накопителей.
Более сложными и надежными устройствами хранения являются RAID-массивы (Redundant Array of Inexpensive Disks — избыточный массив недорогих дисков). Для пользователя RAID представляет собой один (обычно SCSI) диск, в котором производится одновременная распределенная избыточная запись (считывание) данных на несколько физических накопителей (типично 4-5) по правилам, определяемым уровнем реализации (0-10). Например, RAID Level 5 позволяет при считывании исправлять ошибки и осуществлять замену любого диска без остановки обращения к данным.

CD-ROM

Устройства считывания компакт-дисков CD-ROM расширяют возможности системы хранения данных NetWare. Существующие накопители обеспечивают скорость считывания от 150 кбайт/с до 300/600/900/1500 Кбайт/c для 2-,4-,6- и 10-скоростных моделей при времени доступа 200-500 мс. NetWare позволяет монтировать компакт-диск как сетевой том, доступный пользователям для чтения. Объем тома может достигать 682 Мбайт (780 Мбайт для Mode 2).
Устройства CD-ROM выпускаются с различными интерфейсами, как специфическими (Sony, Panasonic, Mitsumi), так и общего применения: IDE и SCSI. Сервер NetWare обслуживает только CD-ROM с интерфейсами SCSI, новые драйверы существуют и для IDE; устройства со специфическими интерфейсами могут использоваться только в DOS для инсталляции системы. С точки зрения повышения производительности предпочтительнее использование CD-ROM SCSI, однако они существенно дороже аналогичных IDE-устройств. В сервере с дисками SCSI применение CD-ROM с интерфейсом IDE может оказаться невозможным из-за конфликтов адаптеров.

Во избежание зависания процесса инсталляции сервера с CD, его привод нежелательно подключать к тому же контроллеру, который будет обслуживать диск с системным томом SYS:. CD-ROM внутреннего исполнения не рекомендуется устанавливать непосредственно над жестким диском из-за сильного магнитного поля, способного разрушить данные на винчестере, которое возникает при считывании CD.

Стримеры

Устройства хранения данных на магнитной ленте (Tape Drive) — стримеры — являются распространенными средствами архивации данных. Они относятся к категории устройств хранения Off-Line, для них характерно очень большое время доступа, обусловленное последовательным методом доступа, средняя скорость обмена и большая емкость носителя — от сотен мегабайт до нескольких гигабайт. Носителем информации обычно являются картриджи с лентой шириной 1/4 дюйма (6.25 мм) — Quarter-Inch Cartridge, QIC. Широко распространены стандарты QIC 40 и QIC 80, имеющие продольную плотность записи 10000 бит/дюйм на 20 дорожках и 14700 бит/дюм на 28 дорожках соответственно, позволяющие хранить сотни Мбайт на одной ленте. Большие объемы обеспечивают стандарты QIC 1350 и QIC 2100 — 1.35 и 2.1 Гбайт соответственно. Девятидорожечные ленты шириной 1/2 дюйма (12,7 мм) типичны для накопителей мини- и больших (Mainframe) компьютеров.
Стримеры могут иметь специфические интерфейсы, требующие специальных адаптеров; некоторые дешевые модели подключаются к стандартному контроллеру накопителей на гибких дисках вместе с дисководами; существуют устройства, подключаемые к паралельному порту. NetWare поддерживает только стримеры с интерфейсом SCSI, что объясняется его преимуществом в производительности системы в целом. Использование стримеров с другими интерфейсами может оказаться невозможным из-за отсутствия соответствующих драйверов.
NetWare поддерживает ленточные устройства как средства архивирования и востановления данных, на их использование ориентирована серверная утилита SBACKUP.
Ленточные устройства имеют существенный недостаток — большие затраты времени на обслуживание:

• подготовка картриджа к использованию — тестирование поверхности и форматирование ленточных томов — весьма длительная процедура, занимающая время, исчисляемое часами. Приобретение предварительно отформатированных картриджей (Preformatted) позволяет экономить время (конечно, при условии совпадения форматов);
• процесс записи и считывания длителен из-за последовательного доступа и невысоких скоростей движения носителя;
• при длительном хранении ленты требуют периодической перемотки для снятия внутренних напряжений. Кроме того, при хранении необходимо выдерживать нормальные условия по температуре и влажности;
• основное преимущество стримеров — низкая удельная стоимость хранения больших массивов информации.

Магнитооптические устройства

Магнитооптические устройства — Magneto-Optical Drives, MOD, — используют лазерный луч для записи информации на сменный магнитный носитель, весьма устойчивый к воздействию внешних магнитных полей и некритичный к температуре и влажности. Емкость одного носителя составляет от сотен мегабайт до нескольких гигабайт. Устройства обеспечивают скорость считывания и время доступа, приближающиеся к параметрам винчестера, но существенно более длительный процесс записи. Магнитооптические устройства могут монтироваться как сменяемый том или использоваться в качестве устройств архивации (альтернатива стримерам) или миграции данных (HCSS). Приводы с автоматической сменой носителя (Jukebox) являются примером устройств хранения класса Near-Line и могут с успехом использоваться для создания массивов данных с объемом, достигающим терабайта, а также для автоматизированного резервного архивирования сетевых дисков. Общепринятым интерфейсом MOD для серверов является SCSI, применение устройств, подключаемых к параллельным портам для сервера нежелательно из-за большой загрузки процессора при обмене с ними и может оказаться невозможным из-за отсутствия драйверов NetWare.

3.2 Дисковая подсистема сервера NetWare

NetWare использует собственные методы организации дисков, создавая на них разделы, отличающиеся от разделов DOS. ОС имеет специальные средства для повышения надежности хранения и суммарной эффективности параллельного обслуживания множества запросов клиентов, приложений и внутренних процессов системы.

Средства повышения надежности хранения.

• Контрольное считывание может быть реализовано аппаратно (средствами дискового контроллера) или программно. Аппаратный контроль с точки зрения производительности предпочтительнее, однако при этом остается уязвимым тракт память — контроллер. Для специальных дисков, реализующих верификацию аппаратно на уровне устройства, включение системной верификации обычно излишне.
• Горячее резервирование использует область Hot Fix Area, определяемую при создании раздела NetWare. Дефектные участки поверхности носителя, выявленные по возникновении ошибки при считывании или верификации после записи, переназначаются в резервную область и в дальнейшем до переформатирования диска не используются.
• Дублирование дисков, точнее — разделов одинакового размера, подразделяется на отражение (Disk Mirroring) и дуплексирование (Disk Duplexing). При использовании дублирования запись производится одновременно на два и более (максимум — 8) физических накопителя, подключенных в случае отражения к одному контроллеру, в случае дуплексирования — к различным контроллерам. При чтении запросы распределяются между отраженными дисками, что попутно сокращает время доступа к данным. Согласованность данных (синхронность) на дублированных носителях проверяется при монтировании их томов. B NetWare 4.x синхронность дисков проверяется еще и периодически во время обычной работы сервера. Отражение спасает данные только в случае отказа самого накопителя, дуплексирование резервирует весь дисковый тракт. Дуплексированные диски работают производительнее отраженных за счет параллельной работы каналов при записи. Для оператора консоли оба вида дублирования дисков называются отражением.
• Применение накопителей RAID разгружает процессор сервера от задач повышения надежности хранения информации, во многих случаях снимая актуальность применения отражения дисков (RAID Level 1 эквивалентен отражению двух дисков).

Средства повышения эффективности доступа.

• Для ускорения доступа к файлам и каталогам в оперативной памяти сервера отводится пул кэш-буферов, в которые помещаются данные, считанные с диска или предназначенные для записи на диск. Большой объем пула обеспечивает достаточно высокую вероятность нахождения требуемых данных в кэш-буфере при весьма вероятном повторном обращении. При последовательном чтении соседних блоков файлов система может выполнять упреждающее считывание (Read Ahead), помещая в кэш данные "про запас". Менеджер кэша следит за использованием буферов, освобождая блоки, к которым давно не было обращений, управляет записью данных из модифицированных кэш-буферов (Dirty Cache Buffers) на диск, передает запросы на обращения к дискам в лифтовую систему поиска.
• Для ускорения доступа к большим файлам ОС автоматически индексирует любой файл прямого доступа, имеющий более 64 элементов в таблице размещения, строя индекс турбо-FAT. Поскольку это построение занимает определенное время, а турбо-FAT может впоследствии пригодиться для нового доступа к тому же файлу, существует время жизни индекса после закрытия индексированного файла, по исчерпании которого занимаемая им память может быть выделена для другого файла.
• Для ускорения поиска файла в каталоге применяется хеширование каталогов (Directory Hashing) — метод индексирования каталога, позволяющий находить требуемое вхождение с первой попытки с вероятностью 0.95 (в отличие от обычного последовательного перебора таблицы вхождений каталога).
• Лифтовый поиск (Elevator Seeking) минимизирует затраты времени на перемещение головок дисковода, вносящие наибольшую задержку в суммарное время доступа к данным. Запросы к диску от множества процессов, обслуживаемых сервером, выстраиваются в очередь и обслуживаются по мере приближения головок к требуемым участкам, подобно лифту, подбирающему и выпускающему пассажиров по пути на разных этажах.

Организация дисковой системы

fname[.ext]

где server_name и vol_name — имена сервера и тома, dir_n — имена каталогов и подкаталогов, fname и ext — имя и расширение файла. В качестве разделителя элементов имени обычно допускается равноправное использование символов / и \ (в файлах процедур регистрации символ \ используется как управляющий).
По умолчанию том поддерживает только имена файлов, удовлетворяющие соглашениям DOS. Для поддержки пространства имен других систем (Macintosh, OS/2, UNIX и FTAM) предусмотрена загрузка дополнительных модулей MAC.NAM, OS2.NAM, NFS.NAM и FTAM.NAM соответственно.
Информация о размещении данных на томе хранится в таблицах каталогов (DET) и размещения файлов (FAT), которые всегда дублируются на разных участках диска. В случае разрушения основной копии таблицы восстанавливаются с резервной. Проверка обеих копий производится каждый раз во время монтирования тома при загрузке, "легкие" ошибки исправляются автоматически.
Для устранения более серьезных проблем монтирования используется утилита VREPAIR.NLM, позволяющая проверять и восстанавливать предварительно размонтированные тома, а также удалять дополнительное пространство имен. Копию VREPAIR.NLM полезно иметь в загрузочном каталоге диска DOS (если возникнут проблемы с томом SYS:).
В корневом каталоге каждого тома система создает ASCII-файл VOL$LOG.ERR, в который записывается диагностическая информация о работе тома. При нормальной работе системы в нем присутствуют только сообщения о монтировании и размонтировании.

• скорость доступа: декомпрессия файла, в зависимости от его размера и производительности процессора, может занимать от десятков секунд до десятков минут;
• архивация: системные архивы (Backup) томов с разрешенной компрессией могут восстанавливаться только на тома с разрешенной компрессией. Вдобавок, файлы восстанавливаются в декомпрессированном виде и будут автоматически сжаты только через несколько дней. Следовательно, размер тома для восстановления архива может потребоваться существенно большим, чем размер архивированного тома;
• производительность сервера: компрессия и декомпрессия требуют ресурсов процессора, однако поиск файлов-кандидатов и их компрессию можно запретить на время большой активности пользователей в сети.

Управление доступом к файлам и каталогам

• предоставление определенных прав доступа конкретным пользователям и группам;
• задание свойств файлов и каталогов их атрибутами;
• реализация разделяемого доступа к файлам, механизма захвата (блокировки) файлов и записей при множественном доступе;
• восстановление и очистка удаленных файлов;
• контроль завершенности транзакций.

Эффективные права пользователя складываются из всех прав, доверенных ему лично и как члену групп, а также из прав пользователей и групп, которым он имеет эквивалентность по защите. Если права доверены только в вышестоящем каталоге, то по пути к данному каталогу они проходят через фильтры наследуемых прав доверенного и промежуточных каталогов, а для файла — еще и через его IRF. При наследовании, естественно, права могут только ограничиваться (за исключением права супервизора). Непосредственное опекунское назначение отменяет наследование прав.

При просмотре каталогов пользователь увидит дерево каталогов от самого корня тома, но только те ветви, которые ведут в доверенные ему каталоги и только те файлы, в которых он имеет эффективное право сканирования (F).

Установкой опекунских назначений можно предоставить любой набор прав (или, наоборот, ограничить доступ) в любом фрагменте дерева каталогов и файлов.

Атрибуты каталогов и файлов предназначены для ограничения действий пользователей, разрешенных их эффективными правами, а также задания некоторых свойств, учитываемых системой при обслуживании. Изменение атрибутов разрешается пользователям, обладающим правом модификации.

Атрибуты I, Cc, M устанавливаются операционной системой.

При копирование файлов сетевыми утилитами (NCOPY) между сетевыми каталогами файл сохраняет все атрибуты, кроме P (немедленно очищаемый). Копирование файла на локальный диск, а также любое копирование средствами DOS, сохраняет только атрибуты S и Ro.

При разделяемом доступе к файлам целостность данных при одновременном доступе с нескольких станций обеспечивается механизмом захвата файлов и физических записей. Множественный доступ разрешается только к файлам, имеющим атрибут разделяемости (S). Прикладная программа может потребовать захвата файла или физической записи — области файла. При попытке другого клиента обратиться к захваченному файлу или записи система блокирует эту операцию.

ОС имеет средства восстановления удаленных файлов: при удалении файла сначала делается только пометка в его описателе, содержимое файла и занимаемое пространство на томе сохраняется до его необратимой очистки (Purge), выполняемой системой автоматически через некоторое время, или пользователем, имеющем в удаленных файлах право удаления D, с помощью утилиты PURGE. Файлы с атрибутом P очищаются немедленно.

Система позволяет сохранять удаленные файлы даже с совпадающими именами. Неочищенный (восстановимый) файл из удаленного каталога переносится в скрытый каталог DELETED.SAV, автоматически создающийся в корневом каталоге каждого тома. Для обслуживания восстановимых файлов служит утилита SALVAGE.EXE, которая имеет средства для поиска и выбора восстановимых файлов, в том числе и из удаленных каталогов.

Система отслеживания транзакций TTS защищает файлы баз данных с установленным атрибутом транзакционности (T). Система следит за тем, чтобы каждая транзакция — цепочка захвата, модификации и освобождения записи — выполнялась до конца.

Если по внешним причинам, связанным с сервером, сетью или станцией, транзакция прервалась, то TTS произведет откат транзакции — вернет файл в состояние, в котором он был до ее начала. В корневом каталоге тома SYS: система создает текстовый файл TTS$LOG.ERR, в котором накапливается отчет о работе TTS. Подключение сервера к системе бесперебойного питания позволяет повысить надежность TTS.