Сегодня основополагающий вопрос – как
справиться с растущими объёмами информации и как с учётом этого приготовиться к
будущему.
Не скажу ничего нового, если отмечу, что рост объемов данных большей частью обеспечивается машинами, а не
людьми. В качестве примера задумаемся над тем, сколько информации может
сгенерировать всего одна камера видеонаблюдения с высокой разрешающей
способностью. Если добавить к этому весь объём, созданный ИТ-системой исходя из
требований безопасности или других действующих нормативов, то можно легко
прийти к выводу, что работа с таким объемом данных - неразрешимая проблема.
Кроме того, сегодня многие предприятия
всерьёз взялись за искусственный интеллект, и он столько нагенерировал, что
становится ясно - нужна новая стратегия, масштабируемая и
гибкая.
В этом контексте интересно отметить
растущее понимание того, что данные, генерируемые человеком, играют важнейшую
роль в обучении новых моделей искусственного интеллекта и предотвращении так
называемого коллапса модели.
Качество информации, созданной человеком, выше, чем информации, созданной
машиной.
ОРИГИНАЛЬНЫЙ ТЕКСТ НАХОДИТСЯ ЗДЕСЬ.
Рост
объемов информации и его значение.
Появилась цифра, что 90% информации,
доступной в нашем мире, было получено в последние два года. Отсюда следует, что
объём информации, полученной в несколько ближайших следующих лет, быстро
превзойдёт всё то, что доступно сегодня. Такой экспоненциальный рост криком
кричит о том, что пора позаботиться о средствах для размещения, хранения и
защиты информации, поскольку со временем связанные с этим проблемы будут только
возрастать.
Информационная гравитация означает не только то, что чем больше базы данных, тем сложнее их перемещать, но и то, что они будут «притягивать» базы меньших размеров, тем более что они, скорее всего, будут связаны между собой на уровне приложения. Это еще больше усугубляет проблему, поскольку возникают гигантские
информационные кластеры, с которыми приложениям будет труднее работать.
Как
же с этим справиться?
Для решения проблем, связанных с ростом объема
данных, можно порекомендовать несколько стратегий.
СТРАТЕГИЯ 1
Гибридные
решения: используются большинством крупных организаций, часть данных находится на
локальных носителях, а часть – в общем облаке. Однако в контексте хранения данных крайне важно
понимать последствия этой ситуации с точки зрения стоимости, безопасности и
устойчивости данных, а также иметь возможность вносить изменения сразу же после
выявления проблемы. С
увеличением размеров баз этих проблем будет всё больше и больше. Человек,
ответственный за принятие решений, должен постоянно спрашивать себя: «Будет ли
моё решение работать и тогда, когда размер базы увеличится в десять раз?». Это
только кажется, что много, но при росте в 40% для десятикратного увеличения
требуются какие-то несчастные семь лет. Также важно, чтобы при необходимости
перемещения данных операцию можно было выполнить максимально просто — без
необходимости внесения дополнительных изменений в программное обеспечение и
инфраструктуру.
СТРАТЕГИЯ 2
Гибкое потребление ресурсов для новых запросов: Режим on‑demand локальных систем хранения позволяет не только справляться с непредвиденными запросами, но и лучше понимать текущие потребности, а также прогнозировать рост баз данных для новых приложений. Кроме того, это облегчает плавный переход на инфраструктурные платформы, находящиеся в собственности организации, по мере прояснения задач.
СТРАТЕГИЯ 3
Не отставать от растущих требований к безопасности и устойчивости данных: это связано с ростом числа атак программ-вымогателей и ужесточением нормативных требований. Это может привести к ещё большему разбуханию баз данных, поскольку большая устойчивость обычно сводится к увеличению числа копий и появлению дополнительных систем для их мониторинга и управления. Поэтому ищите решения, которые обеспечивают хранение данных с низкими накладными расходами, а также обеспечивающие быстрое восстановление – требования к скорости восстановления тоже постоянно растут.
СТРАТЕГИЯ 4
Устойчивость: расходы на неё также
необходимо учитывать. Эти требования включают мониторинг
энергоэффективности, а также «углеродный след» систем. Энергоэффективность в
данном случае - производительность,
приходящаяся на один ватт мощности. Экологические затраты должны быть на
протяжении всего жизненного цикла оборудования, включая установку, работу и
вывод из эксплуатации.
СТРАТЕГИЯ 5
Долгосрочное архивирование: При выборе решения для архивирования и длительного хранения данных
(локально или в облаке) важно учитывать, что затраты будут сильно зависеть от
того, используются ли в данные в настоящий момент или являются полностью
«холодными» (например, старые архивы или бэкапы). Оценивайте совокупные
расходы, исходя из реального соотношения доступных и холодных данных. Это
включает не только стоимость поиска в облачных объектных хранилищах, но и
платежи за внешние хранилища, а также затраты на поиск, транспортировку и время
восстановления данных с таких носителей, как ленточные архивы.
СТРАТЕГИЯ 6
Особенности работы с видео: сегодня доля видеоматериалов в
информационных ресурсах мира оценивается в 50 %, поэтому определенно
имеет смысл использовать специальные стратегии для работы с ним. Прогресс в области архивирования данных, хранения только нужных выборок и оптимизации
архитектуры хранения в целом помогли максимально снизить
требования к хранению этих данных, однако требования к доступу к данным также
изменились. Большие объемы видеоданных логично архивировать, но достижения в области
компьютерного зрения и систем искусственного интеллекта привели к тому, что
люди захотели анализировать и понимать их. Это означает, что теперь требуется
хранилище, разработанное для хранения огромных объемов данных и поддерживающее
одновременный доступ большого количества пользователей. Флэш-хранилище,
вмещающее большой объём данных, может удовлетворить как требования к
экономически эффективному хранению, так и обеспечить доступ к данным с
требуемым уровнем производительности.
Многие сетуют на то, что
после крушения Советской власти бюрократов стало не меньше, а ещё больше. А
ведь ларчик открывается просто — объём обрабатываемой информации
экспоненциально растёт по мере роста экономики. Поэтому рост числа бюрократов —
типичный случай массового явления, когда проблему с информацией решают
экстенсивным методом, наращивая штат учётчиков вместо внедрения эффективных
технологий. Подобные попытки «залить проблему людьми» наблюдаются во многих
отраслях. Однако экстенсивный подход имеет пределы и становится дорогостоящим,
в то время как интенсивные методы — правильная архитектура данных, автоматизация
— позволяют справляться с растущими объёмами информации эффективно.
Организации, откладывающие переход к современным подходам управления данными,
рискуют оказаться в ситуации, когда проблема станет критической. Сколько ещё
есть времени для принятия, пока информационная лавина поддаётся контролю, мы
все узнаем очень скоро.
ЧТОБЫ БЫТЬ В
КУРСЕ ПОСЛЕДНИХ НОВОСТЕЙ, ПОДПИСЫВАЙТЕСЬ НА Telegram-канал
«КАРЬЕРА ИТ-МЕНЕДЖЕРА».