Amazon S3: когда-нибудь теряли данные безвозвратно?

Делиться заботой!

Вот все о безвозвратной потере данных Amazon S3:

Да, Amazon S3 безвозвратно потерял данные.

По собственным данным Amazon, сервис, вероятно, теряет небольшие объемы данных каждый день.

Тем не менее, S3 обеспечивает надежную защиту данных, которая превосходит подавляющее большинство аналогичных сервисов, а скорость потери данных чрезвычайно мала для любого пользователя.

Так что, если вы хотите узнать все о безопасности данных Amazon S3, вы попали по адресу.

Продолжай читать!

Что Amazon говорит о потерях данных Amazon S3?

В FAQ по S3 Amazon делает очень сильные заявления о надежности и защите данных.

В частности, компания утверждает, что S3 Glacier Deep Archive (опция для обеспечения целостности данных S3) надежен на 99,999999999% в течение всего года.

Как говорит Амазон«Если вы храните 10 000 000 объектов с помощью Amazon S3, в среднем вы можете ожидать потери одного объекта каждые 10 000 лет».

Это смелое утверждение, и оно предполагает, что потеря данных на S3 в основном не является проблемой.

Давайте посмотрим на это по-другому.

Сколько данных необходимо хранить S3, чтобы каждый год ожидать появления одного потерянного файла?

Получается 100 000 000 000 (100 миллиардов) объектов.

Это очень много объектов, и намного больше, чем мог бы хранить там любой пользователь или компания.

Но если в S3 хранится достаточно вещей, потеря данных может стать обычным явлением.

По словам Джеффа Бара (вице-президент и главный евангелист Amazon Web Services), S3 хранил 100 триллионов объектов в марте 2021 года.

Этого более чем достаточно, чтобы ожидать потери данных каждый год.

На самом деле этого достаточно, чтобы рассчитывать на тысячу потерянных объектов каждый год во всей системе.

Вы можете разбить это примерно на три потерянных объекта каждый день.

Таким образом, даже с использованием заявленных показателей Amazon, S3 определенно теряет данные, даже безвозвратно.

Тем не менее, если рассматривать эти цифры в перспективе, S3 предлагает чрезвычайно высокий уровень защиты данных.

Любой пользователь, хранящий менее 100 миллионов объектов, может разумно ожидать, что не потеряет абсолютно никаких данных за время своего существования.

Что говорят пользователи Amazon S3?

Но все это основано только на заявлениях Amazon.

Соответствуют ли этой гарантии реальные приложения и варианты использования?

Один из способов, с помощью которого мы можем найти ответы на этот вопрос, состоит в том, чтобы просмотреть взаимодействия пользователей и посмотреть, не потеряли ли они данные.

Глубоко погрузившись в обзоры и форумы, вы можете обнаружить, что этот вопрос задавался много раз.

Было бы непросто полностью изучить каждый обзор и пост, но беглый взгляд обнаруживает нечто важное.

С помощью этого поиска можно легко найти только один случай случайной потери данных (см. ниже).

Вы могли бы найти больше, если бы искали усерднее, но тот факт, что это требует так много усилий, уже говорит сам за себя.

Если бы потеря данных происходила значительно чаще, чем утверждает Amazon, вы, вероятно, получили бы больше жалоб.

Один яркий пример потери данных на Amazon S3

Давайте посмотрим на этот один яркий пример.

Это было опубликовано Скоттом Бондсом на Quora довольно давно.

Согласно этому сообщению, Amazon действительно безвозвратно потерял некоторые данные.

В декабре 2012 года пользователю сообщили, что четыре файла были утеряны.

Amazon сослался на ошибку ошибки, и из этих четырех файлов два были безвозвратно утеряны, а два были безвозвратно усечены (потеряны некоторые, но не все данные в каждом файле).

Этот пользователь утверждает, что на S3 хранятся сотни миллионов файлов, и это единственный явный случай, который легко найти.

Это говорит о том, что, судя по отзывам пользователей, Amazon оправдывает свои требования.

Как Amazon S3 защищает данные?

S3 на самом деле не изобретает велосипед, когда дело доходит до хранения данных.

Он придерживается основного принципа избыточности.

Каждый файл в системе резервируется на нескольких устройствах.

Таким образом, если у какого-либо одного устройства есть проблема, другие по-прежнему содержат информацию.

Когда неисправное устройство заменяется, резервные устройства перезаписывают файлы на новое устройство.

Таким образом, чтобы вы потеряли данные, каждое устройство должно выйти из строя одновременно.

Это только первый шаг для S3.

Видите ли, большинство центров обработки данных работают по тому же принципу.

Из-за этого большинство центров обработки данных теряют информацию только тогда, когда возникает проблема во всем центре.

S3 также имеет избыточность для решения этой проблемы.

Каждый файл на S3 копируется на несколько устройств в разных физических местах.

Таким образом, если бы в одном центре обработки данных произошла катастрофа, и он потерял бы все, S3 не потерял бы безвозвратно ни одного файла, который был в этом центре обработки данных, потому что все последние фрагменты данных резервируются в других центрах.

Это уровень надежной конструкции, который небольшие компании могут себе позволить.

Amazon, будучи такой крупной организацией, могла свободно делать эти невероятные инвестиции в защиту данных, и это помогло сделать S3 одним из самых надежных вариантов хранения данных в мире.

Действительно ли Amazon соответствует гарантии для Amazon S3?

Помимо отзывов пользователей, мы можем использовать еще несколько подходов, чтобы увидеть, выполняет ли Amazon свои обещания в отношении целостности данных.

Одна вещь, которую мы можем изучить, — это возврат средств, связанный с AWS.

Это немного сложно.

Amazon — это публичная компания, поэтому вы можете отслеживать значительную сумму денег, когда она поступает в компанию и выходит из нее, но обычный человек не имеет доступа к подробному анализу всех возмещений, которые происходят внутри организации.

Что можно сказать, так это то, что возвраты S3 недостаточно значительны, чтобы отражаться в публичных бухгалтерских записях Amazon.

У компании есть четкая политика возврата средств для S3, поэтому, если проблемы будут многочисленными, это может привести к значительным выводам в финансовых отчетах Amazon.

Таких выводов нет в отчетах, поэтому мы можем сделать обоснованный вывод, что возмещение S3 не является обычным явлением.

Другой подход, который имеет смысл, заключается в том, чтобы посмотреть, какие крупные компании и пользователи данных доверяют S3.

Amazon предоставляет список известных пользователейи в их число входят такие компании, как Sysco и GE Healthcare.

Это огромные организации, в которых многое поставлено на карту.

Когда вы просматриваете весь список, становится ясно, что компании, которым есть что терять, доверяют Amazon S3.

Это указывает на то, что Amazon, вероятно, сдержит свои обещания в отношении целостности данных.

Ни один из этих методов сам по себе не может доказать, что S3 настолько надежен, как утверждает Amazon, но по мере того, как вы добавляете к этой куче все больше и больше исследований, вывод не меняется.

Каковы риски Amazon S3? (2 задачи)

Несмотря на надежные гарантии и очевидные реальные возможности S3, это не идеальная система.

Как вы видели, несколько файлов, вероятно, теряются каждый день.

Вдобавок ко всему, возможна потеря данных без серьезной поломки S3.

Итак, какие риски существуют для ваших данных, хранящихся на S3?

То, из-за чего файлы пропадают каждый день, можно списать на программные ошибки.

S3 — сложная система, и проблемы, возникающие в программном обеспечении, могут привести к потере файлов.

Это стоит учитывать, но, как вы видели в предыдущих разделах, скорость, с которой это происходит, чрезвычайно низка.

Любой отдельный файл на S3 вполне защищен от ошибок.

Есть еще две потенциальные проблемы: удаление пользователей и «стихийные бедствия».

#1 Удаление пользователя

Удаление пользователя — самый большой риск для данных, хранящихся на S3.

Хранилище данных — это услуга, и вы имеете право удалять файлы, которые храните на S3.

Это вполне нормально.

Но если вы удалите что-то случайно или позже поймете, что не должны были это удалять, оно все равно исчезнет.

S3 предлагает несколько уровней восстановления данных, но в этом отношении они ограничены.

Система предназначена для того, чтобы вы могли удалять файлы по своему усмотрению, и их тайное резервное копирование не очень хорошо удовлетворит эту потребность.

Еще одна распространенная проблема возникает с крупными организациями.

Когда несколько человек имеют доступ к одной и той же учетной записи S3, возрастает риск ошибочного удаления.

Недопонимание внутри организации может привести к тому, что кто-то удалит файлы, которые должны были быть сохранены.

Это один из самых распространенных способов потери данных пользователями на S3, и он, безусловно, случается чаще, чем случайные ошибки.

№ 2 «Деяния Божьи»

Самый большой страх некоторых людей в отношении удаленного хранения данных — это крупномасштабная катастрофа.

Это может быть стихийное бедствие, такое как ураган или землетрясение.

Это также может быть связано с техногенными катастрофами, такими как война или экономическая депрессия.

В любом из этих случаев S3 действительно становится уязвимой, но в этом отношении она все же лучше, чем большинство других систем.

Поскольку все данные резервируются в нескольких местах, маловероятно, что одно стихийное бедствие приведет к безвозвратной потере данных.

Потеря местоположения может замедлить работу S3 и на некоторое время затруднить ее использование, но в этом случае данные по-прежнему надежны.

Даже в случае геополитических проблем, Серверы S3 существуют на нескольких континентах.

Таким образом, избыточность все еще может выдержать серьезные последствия в стране размещения одного сервера.

Единственным так называемым стихийным бедствием, представляющим реальный риск для данных S3, является отмена сервиса Amazon.

Если бы компания решила отключить серверы, все данные были бы потеряны, но нет причин подозревать, что это произойдет в ближайшее время.

Серверы работают уже около 15 лет, и никаких объявленных планов по их изменению нет.