На базе Томского политехнического института создано специальное научное подразделение, задача которого – создать систему хранения данных для Европейской организации по ядерным исследованиям (CERN). Она необходима для работы с огромным массивом информации, которая собирается во время экспериментов на Большом адронном коллайдере. Впрочем, новейшая система будет универсальной и окажется полезной в других отраслях промышленности. Разработка займет около двух лет.
Данные, собираемые физиками в ходе работы одного из самых больших научных инструментов коллайдера – детектора ATLAS, равны примерно 160 Пбайт. Для их сбора и обработки, а также хранения необходима принципиально новая система. Чтобы создать ее, в Томском политехническом институте совместно с CERN основали Лабораторию обработки и анализа больших данных.
Новая архитектура хранения больших данных востребована во многих высокотехнологичных областях, но ее попросту нет. Создать ее как раз намерены сотрудники новой лаборатории. Сейчас в проекте задействованы порядка 10 специалистов.
На данный момент известно, что система может быть основана на двух известных принципах хранения такого рода данных. Один из них – табличная структура. Но она не масштабируется. Масштабируемую же технологию используют при создании соцсетей в интернете. Но и она не совершенна – файлы хранятся так, словно они разрознены. Система хранения информации, разрабатываемая в Томске, имея черты описанных систем, должна быть лишена их недостатков.
В качестве альтернативы в лаборатории предложили использовать двухуровневый "горизонтальный" способ хранения данных. На первом уровне система будет хранить данные, которые не требуют изменений. Второй уровень будет задействован для хранения динамической информации. И что очень важно, новейшая система будет рассчитана на то, чтобы доступ к информации, на получение которой уходили часы, открывался в считанные секунды.
Тестирование системы пройдет в CERN, на уже упомянутом детекторе Atlas. После этого она станет доступной для компаний, нуждающихся в ней.
Источник: Информационный ресурс «innogest.ru»