Sistemas de Archivos Distribuidos

Unidad 3
❑ SISTEMAS DE ARCHIVOS DISTRIBUIDOS .

❑ ARQUITECTURAS .
❑ SISTEMAS DE ARCHIVOS EN RED .
❑ AVANCES EN SISTEMAS DE ARCHIVOS DISTRIBUIDOS.
❑ TOLERANCIA A FALLOS.
Universidad de Guayaquil,la universidad del cambio…

http://www.ug.edu.ec/
Introducción
Los sistemas de ficheros y bases de datos son quizás los primeros recursos
candidatos a distribuirse y compartirse en un sistema en red. De hecho,
existen productos comerciales para redes locales, como es el caso de NFS.
Más actualmente se han desarrollado también sistemas de ficheros
distribuidos sobre redes de área amplia.
La gestión del sistemas de archivos se soporta mediante dos funciones:
• Servicio de nombres o directorios
• Servicio de ficheros
Es fundamental garantizar:
Disponibilidad local: para disminuir los costes de comunicación mediante
(caching y distribución).
Consistencia: La semántica que muestran los accesos compartidos.

Introducción

Introducción

Introducción

Conceptos básicos Sistema de archivos distribuido
(SAD)
Sistema de archivos distribuido (SAD)
• Objetivo principal: compartir datos entre usuarios
ofreciendo transparencia.
• Objetivos secundarios:
• Almacenamiento de informacion permanente
• Disponibilidad
• Rendimiento (debería ser comparable al de un sistema
tradicional)
• Tolerancia a fallos
• Identifica ficheros en un espacio de nombres
• Acceso concurrente entre varios procesos.

Conceptos básicos (SAD)
Modelo cliente-servidor
Servicios del sistema de archivos. Operaciones proporcionadas a los
clientes
Servidores del sistema de archivos. Procesos de usuario o del sistema que
ofrecen los servicios correspondientes (servidores multithread)
Transparencia
Mismas operaciones para acceso locales y remotos.
Imagen única del sistema de archivos.
Rendimiento. Un SAD tiene sobrecargas adicionales.
Red de comunicación, protocolos, posible necesidad de realizar más
copias, etc.
Facilidad de crecimiento. Eliminar los cuellos de botella
Tolerancia a fallos: replicación, funcionamiento degrado.

¿QUÉ ES UN SISTEMA DE ARCHIVOS DISTRIBUIDOS?
• Los sistemas de archivos distribuidos se refieren a cualquier sistema de

archivos que permita el acceso a los datos desde múltiples maquinas por
medio de la red.
• Las maquinas clientes no tienen en general acceso a los bloques de
almacenamiento de forma directa si no que pueden acceder a los datos
a través de la red por medio de algún protocolo de red
• Los sistemas de archivos distribuidos almacena archivos en una o más
maquinas denominadas servidores y los hace accesibles a otros
maquinas denominadas clientes, donde se manipulan como si fueran
locales.

DISEÑO DE LOS SISTEMAS DISTRIBUIDOS DE ARCHIVOS
• Por lo general, un sistema distribuido de archivos tiene dos componentes

razonablemente distintos: el verdadero servicio de archivos y el servicio de
directorios. El primero se encarga de las operaciones en los archivos
individuales, como la lectura, escritura y adición, mientras que el segundo se
encarga de crear, leer, eliminar, de los directorios, etc.
Servicio de archivos:
Mantiene el contenido de los ficheros (y directorios) y los atributos de los
ficheros: tiempos de creación, último acceso y última modificación; longitud;
cuenta de referencias. Un fichero se identifica en el servicio de ficheros
mediante un identificador único de fichero, UFID. Las operaciones sobre un
fichero se refieren explícitamente a su UFID. La interfaz del servicio de ficheros
con el cliente ofrece operaciones como leer, escribir, crear,borrar,
obtener_atributos y modificar_atributos.
Servicio de directorios:
Es el encargado de proporcionar transparencia en la ubicación. En general, es
una base de datos con elementos (nombre, UFID), donde se crean, se
modifican y se buscan entradas. El nombre viene especificado por el string de
caracteres que describe el path. La interfaz del servicio de nombres ofrece al
cliente operaciones de buscar_nombre, añadir_nombre y borrar_nombre.
Algunos atributos del fichero se mantienen por el servicio de nombres: tipo de
fichero (ordinario o directorio); identificador del usuario propietario del fichero;
derechos de acceso.
Identificación de ficheros:
El cliente especifica un fichero al servidor de ficheros mediante el
identificador único de ficheros, UFID, expedido por el servidor de ficheros
cuando se crea un fichero. En principio, el UFID requiere identificar:
• El servidor del fichero, S.
• El fichero dentro del servidor, F.
• Los derechos de acceso sobre el fichero, R
S(Server) y C (Cliente) : Son
identificadores especiales
generados, por el cliente y el
servidor para su
autenticacion.
D (Derechos de accesos)

La interfaz del servicio de archivos
• El aspecto fundamental para cualquier servicio de archivos, ya sea para
un procesador o un sistema distribuido, es la pregunta:
• "¿Qué es un archivo?" En muchos sistemas, como UNIX y Ms-DOS, un
archivo es una secuencia de bytes sin interpretación alguna.
• El significado y estructura de la información en los archivos queda a
cargo de los programas de aplicación; esto no es de interés para el
sistema operativo.

Atributos en archivos
• Un archivo puede tener atributos, partes
de información relativas a él pero que no
son parte del archivo propiamente dicho.
• Los atributos típicos son el propietario, el
tamaño, la fecha de creación y el permiso
de acceso.
• Por lo general, el servicio de archivos
proporciona primitivas para leer y escribir
en alguno de los atributos. Por ejemplo, se
pueden modificar los permisos de acceso
pero no el tamaño (a menos que se
agreguen datos al archivo). En unos
cuantos sistemas avanzados, se podrían
crear y administrar atributos definidos por
el usuario además de los usuales.

La interfaz del servicio de archivos
• Otro aspecto importante del modelo de archivo es si los archivos se

pueden modificar después de su creación.
• Lo normal es que si se puedan modificar, pero en algunos sistemas
distribuidos, las únicas operaciones de archivo son CREATE and READ.
• Una vez creado un archivo, no puede ser modificado. Se dice que tal
archivo es inmutable.
• El hecho de contar con archivos inmutables facilita el soporte de
ocultamiento y duplicación de archivos, puesto que esto elimina todos
los problemas asociados con la actualización de todas las copias de un
archivo cada vez que éste se modifique.

La interfaz del servidor de directorios
• La otra parte del servicio de

archivos es el servicio de
directorios.
• El cual proporciona las
operaciones para crear y eliminar
directorios, nombrar o cambiar el
nombre de archivos y mover éstos
de un directorio a otro.
• La naturaleza del servicio de
directorios no depende del hecho
de que los archivos individuales se
transfieran en su totalidad o que
se tenga un acceso remoto a ellos.
• El servicio de directorios define un alfabeto y una sintaxis para formar
los nombres de archivos (y directorios).
• Lo usual es que los nombres de archivos tengan de 1 hasta un cierto
número máximo de letras, números y ciertos caracteres especiales.
• Algunos sistemas dividen los nombres de archivo en dos partes, a
menudo separadas mediante un punto, prog.c para un programa en C o
man. txt para un archivo de texto.
• La segunda parte del nombre, llamada la extensión de archivo, identifica
el tipo de éste. Otros sistemas utilizan un atributo explicito para este fin,
en vez de utilizar una extensión dentro del nombre.

• Todos los sistemas distribuidos permiten que los directorios contengan
subdirectorios, para que los usuarios puedan agrupar los archivos
relacionados entre sí.
• De acuerdo con esto, se dispone de operaciones para la creación y
eliminación de directorios, así como para introducir, eliminar y buscar
archivos en ellos.
• Por lo general, cada subdirectorio contiene todos los archivos de un
proyecto, como un programa o documento de gran tamaño (por
ejemplo, un libro). Los subdirectorios pueden contener sus propios
subdirectorios y así en lo sucesivo, lo que conduce a un árbol de
directorios, el cual se conoce como sistema jerárquico de archivos. La
figura siguiente (a) muestra un árbol con cinco directorios.

• En la gráfica anterior se muestra un ejemplo de cómo se pueden tener
directorios que abarquen más de un servidor de archivos.
• Cada servidor tiene una estructura de directorios local que se enlaza con
la estructura de otro servidor.
• Uno de los principales problemas de este tipo de estructura es que no se
tiene una transparencia referencial o de nombres, ya que es necesario
conocer el nombre del servidor para poder alcanzar un archivo, lo que
impide que el servidor pueda migrarse dinámicamente.

Archivos compartidos
• Uno de los principales problemas al manejar archivos en forma
distribuida se refiere a cómo se reflejan los eventos de lectura y
escritura en un archivo a todos los clientes (semántica de la lectura y
escritura).
• Podemos considerar cuatro formas básicas de compartir archivos en un
sistema distribuido:

Ocultamiento
• Para facilitar el desempeño en el acceso a los archivos distribuidos
pueden utilizarse técnicas que permitan ocultar los retrasos normales en
la transferencia de archivos entre las diferentes máquinas. Este
ocultamiento se logra con el uso de cachés en sus diferentes formas.
• Existen cuatro lugares donde se pueden almacenar archivos o partes de
archivos:

Ocultamiento - Características

Aspectos Fundamentales
• La consistencia, es decir,
diferentes máquinas que
quieran acceder a un mismo
archivo, deben de ver el
mismo contenido en él, a
pesar de que otro usuario
haya realizado
modificaciones.
• El rendimiento. Si se desea
un mayor nivel de
consistencia, el rendimiento
se verá penalizado.

NFS (Network File System)
• Está diseñado para ser utilizado con
sistemas UNIX.
• Posee un sistema de archivos virtual (VFS),
el cuál está integrado en el núcleo de Unix.
Su función será determinar si las llamadas
que realiza una aplicación para la petición
de un archivo son locales, remotas o se
encuentran en otro sistema de archivos.
• Cuando accedemos a un archivo remoto, es
necesario saber la ruta en la que se
encuentra remotamente. Si la sabemos, lo
que se realiza es un montaje (orden mount),
de tal manera que ya podemos acceder a
ese archivo.

NFS (Network File System)

¿Por qué NFS?

Instalación de NFS
• Instalar el paquete del servidor NFS.

• Lo normal es que todos los PCs dispongan del paquetes servidor de NFS ya que en
cualquier momento puede existir la necesidad de tener que compartir una carpeta
desde cualquier PC.
• Que un PC de un usuario tenga instalado el paquete del servidor NFS, no significa
que automáticamente esté compartiendo su sistema de archivos en la red. Para
ello es necesario configurar y arrancar el servicio.
# apt-get install nfs-common nfs-kernel-server

Configuración del servidor NFS
• Antes de arrancar el servicio NFS, es necesario indicar qué carpetas

deseamos compartir y si queremos que los usuarios accedan con
permisos de solo lectura o de lectura y escritura. También existe la
posibilidad de establecer desde qué PCs es posible conectarse.
• Estas opciones se configuran en el archivo /etc/exports.
• En cada línea del archivo de configuración del servidor NFS /etc/exports,
se puede especificar:
• La carpeta que se quiere compartir
• El modo en que se comparte (solo lectura 'ro' o lectura y escritura 'rw' )
• Desde qué PC o PCs se permite el acceso (nombre o IP del PC o rango de IPs)


• Los permisos de compartición por NFS no excluyen a los permisos del
sistema unix sino que prevalecen los más restrictivos.
• Si una carpeta está compartida con permiso NFS de lectura y escritura
pero en los permisos del sistema solo disponemos de permiso de
lectura, no podremos escribir.
• Si una carpeta está compartida con permisos NFS de lectura y
disponemos de permisos de lectura y escritura en el sistema, tampoco
podremos escribir.
• Para poder escribir necesitaremos disponer permiso de lectura y
escritura tanto en los permisos del sistema como en los permisos de
compartición NFS.
• De igual forma, si compartimos la carpeta /home con permisos de
lectura y escritura pero el usuario pepe solo tiene acceso a la carpeta
/home/pepe, no podrá acceder a ninguna otra carpeta dentro de /home
ya que los permisos del sistema se lo impedirán.

• Cuando se comparte por NFS, se recomienda restringir al máximo los
permisos.
• Si los usuarios no tienen la necesidad de escribir, debemos compartir
con permiso de 'solo lectura'.
• Si los usuarios solo se conectan desde nuestra red 172.16.15.0/24,
debemos permitir el acceso sólo desde dicha red.

Arranque y parada de NFS
• Para que el servidor NFS funcione, es necesario que esté arrancado el

servicio portmap, por lo tanto, la primera acción será iniciar portmap
por si no estuviera arrancado:
// Iniciar portmap
# /etc/init.d/portmap start
• Para poner en marcha el servicio NFS, o cada vez que modifiquemos el

archivo /etc/exports, debemos reiniciar el servidor NFS, mediante el
comando:
// Reinicio del servidor NFS
# /etc/init.d/nfs-kernel-server
restart
Acceso a carpetas compartidas por NFS
• Hemos de asegurarnos de que tenemos los paquetes necesarios para

conectarnos como clientes del sistema NFS, en el cliente ejecutaremos:
# apt-get install
nfs-common
• Para poder acceder desde un PC a una carpeta compartida por NFS en

un servidor, es necesario montar la carpeta compartida en nuestro
sistema de archivos. De ésta manera, el acceso a la carpeta compartida
es exactamente igual que el acceso a cualquier otra carpeta de nuestro
disco duro.

Ejemplo
• Ejemplo, supongamos que un servidor comparte por NFS una carpeta llamada
/fotos.
• En el PC cliente podemos crear una carpeta llamada /fotos-servidor y montar
sobre ella la carpeta compartida en el servidor. Para ello, en el cliente y como
root ejecutaríamos el siguiente comando:
//Mostrar las carpetas exportadas por el servidor NFS
# showmount -e ip-del-servidor
// Montar carpeta compartida por NFS

# mount -t nfs ip-del-servidor:/home
/mnt/home-servidor
• A partir de éste momento, podemos comprobar que nuestra carpeta
/home-servidor contiene la información de la carpeta /home del servidor. Si
disponemos de permisos de lectura y escritura, podemos incluso crear o
modificar los archivos dentro de nuestra carpeta /home-servidor y los cambios
se estarán guardando realmente en la carpeta /home del servidor.

Montaje Automático
• Si deseamos que nuestro PC monte siempre de forma automática una

carpeta compartida por NFS cuando iniciemos nuestro Linux, existe la
posibilidad de añadir en el archivo /etc/fstab una línea como por
ejemplo:
# Montaje automático al iniciar el PC

#Añadir en /etc/fstab
ip-del-servidor:/home /mnt/home-servidor nfs

Recomendaciones
• Es conveniente que los datos de los usuarios se almacenen de forma
centralizada en el servidor en lugar de hacerlo en los PCs de los usuarios.
• Esto permite al usuario acceder a sus archivos aunque utilice un PC
diferente al habitual
• Además, será más sencillo realizar copias de seguridad y si el PC del usuario
se estropea, no perderá información.
• Lo ideal es que los PCs de usuario no almacenen la carpeta home de cada
usuario sino que dicha carpeta esté compartida en el servidor.
• El servidor así mismo deberá centralizar las cuentas de usuario mediante
NIS o LDAP y los PCs clientes deberán estar configurados para montar el
home de forma remota y autentificar a los usuarios mediante LDAP.

Principales Características de un SAD
• Virtualización del espacio de nombres de los ficheros. Se requiere un
mecanismo de acceso a los ficheros que abstraiga la necesidad de conocer la
ubicación física en que se alojan los ficheros.
• Balanceo del espacio de almacenamiento entre todos los nodos que
componen el sistema distribuido.
• Replicación de ficheros. Proporcionando redundancia de los ficheros se evita
posibles pérdidas a la vez que se ofrece un acceso más rápido a los ficheros.
Este aspecto, permite aumentar el ancho de banda que tienen las
aplicaciones en el acceso a los datos.
• Coherencia del sistema de replicación. Un fichero en el sistema puede poseer
múltiples réplicas, pero el acceso simultáneo a cada una de ellas desde
distintas ubicaciones y durante todo el tiempo debe ser coherente. Esto
implica el desarrollo de un sistema de actualización de réplicas en tiempo
real.

Principales Características de un SAD
• Descentralización del sistema de catálogo. Debe existir un sistema de
catalogación que registre la información asociada al conjunto de ficheros
almacenado en el sistema. Se debe evitar disponer de un único servidor
que se ocupe de centralizar todo el sistema de catalogación puesto que
un número elevado de peticiones podría provocar fallos en el acceso a la
información.
• Tolerancia a fallos. El sistema de ficheros debería continuar
funcionando a pesar de que se produzcan fallos en algunos nodos o
tramos de red, en ocasiones se precisa una tolerancia a fallos a tiempo
real, lo que significa que cuando falla un componente del sistema los
ficheros deben permanecer accesibles y sin requerir una intervención
manual por parte de los administradores del sistema.
• Facilidad de acceso. Una interfaz simple debe permitir realizar las
operaciones básicas de escritura / lectura con los ficheros tal y como se
operaría en un sistema de almacenamiento local.

Principales sistemas de almacenamiento distribuido
LCG File Catalog:

• es el servicio de replicación de ficheros desarrollado por el proyecto LCG
para proporcionar una visión única del sistema de ficheros del Grid.
• Cada fichero posee un identificador único llamado GUI (Grid Unique
Identifier) que puede ser referenciado por medio del identificador LFN
(Logical File Name).
• Cada LFN puede tener asociadas una o múltiples réplicas físicas del
fichero.
• A cada réplica almacenada en un dispositivo físico se le asocia un
identificador llamado SURL (Storage URL). El acceso a los ficheros se
realiza por medio de un conjunto de comandos similares a los utilizados
en una máquina UNIX para acceder al sistema de almacenamiento local.
Globus Replica Location Service:

• El servicio de localización de réplicas de Globus proporciona un
mecanismo de mapeo entre nombres de ficheros lógicos y la localización
de sus respectivas replicas.
• Por sí solo, no permite asegurar la coherencia de la información
mantenida por los diferentes directorios de mapeo de réplicas que existen
y se requiere que las aplicaciones que usan el servicio realicen esa tarea.

Hadoop:
• Se trata de un proyecto Apache en código abierto que agrupa un
conjunto de herramientas con diferente funcionalidad como puede ser
el almacenamiento distribuido de ficheros y el cálculo distribuido
mediante técnicas de mapeo y reducción.
• En concreto cuenta con un componente de almacenamiento llamado
HDFS (Hadoop Distributed File System) que ofrece redundancia en el
almacenamiento de los ficheros por medio del envío de bloques entre
varios nodos en el sistema.
• Cada fichero en Hadoop se divide en bloques de igual tamaño y cada
uno de esos bloques es distribuido en nodos de almacenamiento
diferentes.

HDFS (Hadoop Distributed File System)
• Además existe un sistema de replicación que permite realizar copias de
cada bloque sobre diferentes dispositivos, por lo que la replicación se
realiza a dos niveles (replica de fichero y bloque).

• Existe un único nodo de catálogo llamado NameNode, que contiene el
listado completo de ficheros en el sistema junto con las referencias a la
ubicación.
• Los nodos llamados DataNode son nodos de almacenamiento de
bloques de ficheros y pueden agruparse en dominios de red (racks).


Wuala
• Se trata un software semipropietario de almacenamiento online que
permite a los usuarios subir ficheros desde su escritorio de trabajo y
acceder a ellos posteriormente.
• Wuala utiliza una arquitectura P2P (peer to peer) para distribuir y
compartir los ficheros entre pares de nodos.
• Desde el punto de vista de la clasificación del sistema, se trata de una
herramienta P2P estructurada con un grado de centralización híbrido,
puesto que existe un servidor central encargado de almacenar el
catálogo completo de ficheros junto con sus claves de encriptación.
• Una vez el cliente obtiene la referencia a los nodos de almacenamiento
del fichero, la transferencia completa del fichero se realiza entre pares
de nodos.

• Dropbox: básicamente posee la misma funcionalidad que Wuala ya que

se trata de un sistema de almacenamiento y sincronización de ficheros
online que proporciona también cifrado aunque únicamente a nivel de
la transmisión de los ficheros.
• Microsoft’s DFS:
• Es un sistema de ficheros distribuido que ha sido implementado por Microsoft con
el objetivo de proporcionar redundancia y transparencia en el acceso a los
ficheros.
• Para conseguir esto, el sistema registra el conjunto de ficheros y
directorios que comparten los usuarios en sus máquinas y los hace accesibles al
resto de usuarios a través de un árbol de directorios virtual.
• Lógicamente se trata de un sistema centralizado poco tolerante a fallos y con
posibles problemas de inconsistencia del sistema de ficheros, además de estar
orientado a un volumen de almacenamiento limitado.

• mount -o anon,nolock,rw,casesensitive
\\192.168.211.128\carpeta_compartida *
• umount z:


Sistemas de Archivos Distribuidos

Cargado por

Copyright:

Formatos disponibles

Sistemas de Archivos Distribuidos

Cargado por

Información del documento

Descripción original:

Título original

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

Sistemas de Archivos Distribuidos

Cargado por

Copyright:

Formatos disponibles

Unidad 3

❑ SISTEMAS DE ARCHIVOS DISTRIBUIDOS .

Universidad de Guayaquil,la universidad del cambio…

Universidad de Guayaquil,la universidad del cambio…

Universidad de Guayaquil,la universidad del cambio…

Universidad de Guayaquil,la universidad del cambio…

Universidad de Guayaquil,la universidad del cambio…

Universidad de Guayaquil,la universidad del cambio…

Universidad de Guayaquil,la universidad del cambio…

• Los sistemas de archivos distribuidos se refieren a cualquier sistema de

Universidad de Guayaquil,la universidad del cambio…

• Por lo general, un sistema distribuido de archivos tiene dos componentes

Universidad de Guayaquil,la universidad del cambio…

Universidad de Guayaquil,la universidad del cambio…

Universidad de Guayaquil,la universidad del cambio…

• Otro aspecto importante del modelo de archivo es si los archivos se

Universidad de Guayaquil,la universidad del cambio…

• La otra parte del servicio de

Universidad de Guayaquil,la universidad del cambio…

Universidad de Guayaquil,la universidad del cambio…

Universidad de Guayaquil,la universidad del cambio…

Universidad de Guayaquil,la universidad del cambio…

Universidad de Guayaquil,la universidad del cambio…

Universidad de Guayaquil,la universidad del cambio…

Universidad de Guayaquil,la universidad del cambio…

Universidad de Guayaquil,la universidad del cambio…

Universidad de Guayaquil,la universidad del cambio…

Universidad de Guayaquil,la universidad del cambio…

• Instalar el paquete del servidor NFS.

# apt-get install nfs-common nfs-kernel-server

Universidad de Guayaquil,la universidad del cambio…

• Antes de arrancar el servicio NFS, es necesario indicar qué carpetas

Universidad de Guayaquil,la universidad del cambio…

Universidad de Guayaquil,la universidad del cambio…

Universidad de Guayaquil,la universidad del cambio…

Universidad de Guayaquil,la universidad del cambio…

• Para que el servidor NFS funcione, es necesario que esté arrancado el

• Para poner en marcha el servicio NFS, o cada vez que modifiquemos el

• Hemos de asegurarnos de que tenemos los paquetes necesarios para

• Para poder acceder desde un PC a una carpeta compartida por NFS en

Universidad de Guayaquil,la universidad del cambio…

// Montar carpeta compartida por NFS

Universidad de Guayaquil,la universidad del cambio…

• Si deseamos que nuestro PC monte siempre de forma automática una

# Montaje automático al iniciar el PC

Universidad de Guayaquil,la universidad del cambio…

Universidad de Guayaquil,la universidad del cambio…

Universidad de Guayaquil,la universidad del cambio…

Universidad de Guayaquil,la universidad del cambio…

LCG File Catalog:

Globus Replica Location Service:

Universidad de Guayaquil,la universidad del cambio…

Universidad de Guayaquil,la universidad del cambio…

Universidad de Guayaquil,la universidad del cambio…

Universidad de Guayaquil,la universidad del cambio…

Universidad de Guayaquil,la universidad del cambio…

Universidad de Guayaquil,la universidad del cambio…

• Dropbox: básicamente posee la misma funcionalidad que Wuala ya que