Amazon S3 - Amazon S3

Amazon S3 o Amazon Simple Storage Service es un servicio ofrecido por Amazon Web Services (AWS) que proporciona almacenamiento de objetos a través de una interfaz de servicio web . Amazon S3 utiliza la misma infraestructura de almacenamiento escalable que utiliza Amazon.com para ejecutar su red global de comercio electrónico. Amazon S3 se puede emplear para almacenar cualquier tipo de objeto, lo que permite usos como almacenamiento para aplicaciones de Internet, respaldo y recuperación, recuperación ante desastres, archivos de datos , lagos de datos para análisis y almacenamiento en la nube híbrida .

AWS lanzó Amazon S3 en los Estados Unidos el 14 de marzo de 2006 y luego en Europa en noviembre de 2007.

Diseño

Aunque Amazon Web Services (AWS) no proporciona públicamente los detalles del diseño técnico de S3, Amazon S3 administra los datos con una arquitectura de almacenamiento de objetos que tiene como objetivo proporcionar escalabilidad , alta disponibilidad y baja latencia con 99,999999999% de durabilidad y entre 99,95% y 99,99%. disponibilidad (aunque no existe un acuerdo de nivel de servicio para la durabilidad).

Las unidades de almacenamiento básicas de Amazon S3 son objetos que se organizan en depósitos. Cada objeto se identifica mediante una clave única asignada por el usuario. Los buckets se pueden administrar mediante la consola proporcionada por Amazon S3, mediante programación mediante el AWS SDK o con la interfaz de programación de aplicaciones (API) REST de Amazon S3 . Los objetos se pueden administrar mediante AWS SDK o con la API REST de Amazon S3 y pueden tener un tamaño de hasta cinco terabytes con dos kilobytes de metadatos . Además, los objetos se pueden descargar utilizando la interfaz HTTP GET y el protocolo BitTorrent .

Las solicitudes se autorizan mediante una lista de control de acceso asociada con cada depósito de objetos y el control de versiones de soporte, que está deshabilitado de forma predeterminada. Dado que los depósitos suelen tener el tamaño de un montaje de sistema de archivos completo en otros sistemas, este esquema de control de acceso es muy detallado. En otras palabras, los controles de acceso únicos no se pueden asociar con archivos individuales. Los nombres de depósito y las claves se eligen para que los objetos sean direccionables mediante URL HTTP :

• http://s3.amazonaws.com/bucket/key (para un depósito creado en la región de EE.UU.Este (Norte de Virginia))
• https://s3.amazonaws.com/bucket/key
• http://s3-region.amazonaws.com/bucket/key
• https://s3-region.amazonaws.com/bucket/key
• http://s3.region.amazonaws.com/bucket/key
• https://s3.region.amazonaws.com/bucket/key
• http://s3.dualstack.region.amazonaws.com/bucket/key (para solicitudes que utilizan IPv4 o IPv6)
• https://s3.dualstack.region.amazonaws.com/bucket/key
• http://bucket.s3.amazonaws.com/key
• http://bucket.s3-region.amazonaws.com/key
• http://bucket.s3.region.amazonaws.com/key
• http://bucket.s3.dualstack.region.amazonaws.com/key (para solicitudes que utilizan IPv4 o IPv6)
• http://bucket.s3-website.region.amazonaws.com/key (si el alojamiento de sitios web estáticos está habilitado en el depósito)
• http://bucket.s3-accelerate.amazonaws.com/key (donde la transferencia de archivos sale de la red Amazons en el último momento posible para brindar la velocidad de transferencia más rápida posible y la latencia más baja)
• http://bucket.s3-accelerate.dualstack.amazonaws.com/key
• http://bucket/key(donde el depósito es un registro CNAME de DNS al que apunta )bucket.s3.amazonaws.com
• https://access_point_name-account ID.s3-accesspoint.region.amazonaws.com (para solicitudes a través de un punto de acceso que otorga acceso restringido a un depósito)

Amazon S3 se puede utilizar para reemplazar una importante infraestructura de alojamiento web (estática) existente con objetos accesibles para el cliente HTTP. El mecanismo de autenticación de Amazon AWS permite al propietario del bucket crear una URL autenticada que sea válida durante un período de tiempo específico.

Cada elemento de un cubo también se puede servir como un feed de BitTorrent . La tienda Amazon S3 puede actuar como un host semilla para un torrent y cualquier cliente BitTorrent puede recuperar el archivo. Esto puede reducir drásticamente el costo de ancho de banda para la descarga de objetos populares. Si bien el uso de BitTorrent reduce el ancho de banda, AWS no proporciona limitación de ancho de banda nativa y, como tal, los usuarios no tienen acceso al control de costos automatizado. Esto puede llevar a que los usuarios del nivel gratuito de Amazon S3, o pequeños usuarios aficionados, acumulen facturas dramáticas. Los representantes de AWS han declarado que una función de limitación de ancho de banda estuvo en la mesa de diseño de 2006 a 2010, pero en 2011 la función ya no está en desarrollo.

Se puede configurar un depósito para guardar información de registro HTTP en un depósito hermano; esto se puede utilizar en operaciones de minería de datos .

Hay varios sistemas de archivos basados ​​en User Mode File System (FUSE) para sistemas operativos similares a Unix (Linux, etc.) que se pueden usar para montar un bucket de S3 como un sistema de archivos como S3QL. La semántica del sistema de archivos de Amazon S3 no es la de un sistema de archivos POSIX , por lo que es posible que el sistema de archivos no se comporte del todo como se esperaba.

Alojamiento de sitios web

Amazon S3 ofrece la opción de alojar sitios web HTML estáticos con soporte para documentos de índice y soporte para documentos de error. Los sitios web alojados en S3 pueden designar una página predeterminada para mostrar y otra página para mostrar en caso de una URL parcialmente no válida, como un error 404 , que proporciona contenido útil a los visitantes de una URL que contiene un nombre de host de registro CNAME en lugar de un Amazon directo. Referencia de bucket de S3 cuando la URL no contiene una clave de objeto de S3 válida, como cuando un usuario ocasional visita inicialmente una URL que es un nombre de host que no es de Amazon.

Registros de Amazon S3

Amazon S3 permite a los usuarios habilitar o deshabilitar el registro. Si está habilitado, los registros se almacenan en buckets de Amazon S3 que luego se pueden analizar. Estos registros contienen información útil como:

• Fecha y hora de acceso al contenido solicitado
• Protocolo utilizado ( HTTP , FTP , etc.)
• Códigos de estado HTTP
• Tiempo de respuesta
• Mensaje de solicitud HTTP

Herramientas de Amazon S3

Amazon S3 proporciona una API para desarrolladores. La consola de AWS proporciona herramientas para administrar y cargar archivos, pero no es capaz de administrar grandes depósitos ni editar archivos. Sitios web o software de terceros: algunos programas tienen la capacidad de editar archivos en Amazon S3.

Clases de almacenamiento de Amazon S3

Amazon S3 ofrece cuatro clases de almacenamiento diferentes que ofrecen diferentes niveles de durabilidad , disponibilidad y requisitos de rendimiento.

• Amazon S3 Standard es la clase predeterminada.
• El acceso poco frecuente (IA) estándar de Amazon S3 está diseñado para datos a los que se accede con menos frecuencia. Los casos de uso típicos son las soluciones de respaldo y recuperación ante desastres.
• Amazon S3 One Zone-Infrequent Access está diseñado para datos que no se necesitan con frecuencia pero que, cuando se requieren, se deben acceder rápidamente. Los datos se almacenan en una zona y si esa zona se destruye, todos los datos se pierden.
• Amazon Glacier está diseñado para el almacenamiento a largo plazo de datos a los que se accede con poca frecuencia y donde la latencia de recuperación de minutos u horas es aceptable. "Glacier Deep Archive" es una alternativa con un tiempo de recuperación de al menos 12 horas, pero 1/4 del precio. Está pensado como una alternativa a las bibliotecas de cintas magnéticas y está diseñado para la retención de datos a largo plazo de 7 a 10 años.

Usuarios notables

• El servicio de alojamiento de fotografías SmugMug ha utilizado Amazon S3 desde abril de 2006. Experimentaron una serie de interrupciones y ralentizaciones iniciales, pero después de un año lo describieron como "considerablemente más confiable que nuestro propio almacenamiento interno" y afirmaron haber ahorrado casi $ 1 millón en costos de almacenamiento.
• Netflix usa Amazon S3 como su sistema de registro . Netflix implementó una herramienta, S3mper, para abordar las limitaciones de Amazon S3 de eventual consistencia . S3mper almacena los metadatos del sistema de archivos: nombres de archivo, estructura de directorios y permisos en Amazon DynamoDB .
• reddit está alojado en Amazon S3.
• Bitcasa y Tahoe-LAFS -on-S3, entre otros, utilizan Amazon S3 para servicios de copia de seguridad y sincronización en línea. En 2016, Dropbox dejó de utilizar los servicios de Amazon S3 y desarrolló su propio servidor en la nube.
• Mojang aloja actualizaciones de juegos de Minecraft y máscaras de jugadores en Amazon S3.
• Tumblr , Formspring y Pinterest alojan imágenes en Amazon S3.
• El CEO de Swiftype ha mencionado que la empresa usa Amazon S3.
• Algunas empresas utilizaron Amazon S3 como una solución de archivo a largo plazo hasta que se lanzó Amazon Glacier en agosto de 2012.
• La API se ha convertido en un método popular para almacenar objetos. Como resultado, se han creado muchas aplicaciones para admitir de forma nativa la API de Amazon S3, que incluye aplicaciones que escriben datos en Amazon S3 y almacenes de objetos compatibles con Amazon S3:

API S3 y servicios de la competencia

La amplia adopción de Amazon S3 y las herramientas relacionadas ha dado lugar a servicios competitivos basados ​​en la API de S3 . Estos servicios utilizan la interfaz de programación estándar; sin embargo, se diferencian por sus tecnologías subyacentes y modelos comerciales de apoyo. Un estándar de almacenamiento en la nube (como los estándares eléctricos y de redes) permite a los proveedores de servicios de la competencia diseñar sus servicios y clientes utilizando diferentes partes de diferentes maneras y, al mismo tiempo, comunicarse y brindar los siguientes beneficios:

1. Incrementar la competencia proporcionando un conjunto de reglas y un campo de juego nivelado , fomentando la entrada al mercado de empresas más pequeñas que de otro modo podrían estar excluidas.
2. Fomente la innovación por parte de los proveedores y desarrolladores de herramientas y almacenamiento en la nube, ya que pueden centrarse en mejorar sus propios productos y servicios en lugar de centrarse en la compatibilidad.
3. Permitir economías de escala en la implementación (es decir, si un proveedor de servicios se encuentra con una interrupción o cuando los clientes superan sus herramientas y necesitan herramientas o sistemas operativos más rápidos, pueden intercambiar soluciones fácilmente).
4. Brindar soluciones oportunas para brindar funcionalidad en respuesta a las demandas del mercado (es decir, a medida que el crecimiento comercial en nuevas ubicaciones aumenta la demanda, los clientes pueden cambiar o agregar proveedores de servicios fácilmente simplemente suscribiéndose al nuevo servicio).

Historia

En AWS Summit 2013 NYC, el director de tecnología Werner Vogels anuncia 2 billones de objetos almacenados en S3.

Amazon Web Services presentó Amazon S3 en 2006.

Se informa que Amazon S3 almacena más de 100 billones de objetos en marzo de 2021. Esto representa un aumento de 10 mil millones de objetos en octubre de 2007, 14 mil millones de objetos en enero de 2008, 29 mil millones de objetos en octubre de 2008, 52 mil millones de objetos en marzo de 2009, 64 mil millones de objetos en agosto de 2009, 102 mil millones de objetos en marzo de 2010 y 2 billones de objetos en abril de 2013. En noviembre de 2017, AWS agregó capacidades de cifrado predeterminadas a nivel de depósito.

Ver también

• Amazon Elastic Block Storage (EBS)
• Cronología de los servicios web de Amazon

Referencias

Citas

Fuentes