кейс
Проектирование и запуск в эксплуатацию сети отраслевых дата-центров
Создание сети из трех территориально распределенных дата-центров с высокой степенью конфиденциальности для обработки и хранения информации.
О проекте
Регион с населением около 5 млн человек был выбран правительством в качестве пилотного региона для тестирования систем для сельского хозяйства на основе Искусственного Интеллекта.
Размещение трех дата-центров предполагалось в уже существующих помещениях. Наша компания выступила генеральным подрядчиком и активно принимала участие в формировании архитектуры и оснащении. Мы выступали в роли генерального интегратора, контролируя проектирование и оснащение дата-центров.
Технологический стек
vSphere
vSAN
VMware NSX
Индустрия
Агротех, Bigdata
Команда
5 человек
Продолжительность работы
11 месяцев
Мощности трех дата-центров позволяли бы:
- Быстро строить модели урожаев и прогнозировать негативные ситуации в животноводстве
- Постоянно улучшать метрики нейронных сетей
- Надежно хранить информацию и обеспечивать многократное резервирование данных
Вызовы проекта
Необходимость обеспечения высокой степени защищенности и надежности
Наличие оборудования на современных графических процессорах для постоянный работы с нейронными сетями
Наша работа
Этап 1
Описание дата-центров
Этап 2
Выбор сервера
Этап 3
Архитектура дата-центров
Этап 4
Защищенность данных
Этап 5
Выбор оборудования
1 этап
Описание дата-центров
Проектная мощность каждого дата-центра составила 800кВт — примерно по 4 кВт на серверную стойку. Каждый центр имел четыре независимых линии питания: две линии от городской сети, одну от дизель-генератора и одну линию от солнечных батарей. При хорошей погоде возобновляемые источники экономили 20-27% электроэнергии. Системы охлаждения были спроектированы по схеме чиллер-фанкойл с двукратным резервированием по холодопроизводительности. Архитектура UPS системы была представлена масштабируемыми модулями, которые позволяли оперативно реагировать на инциденты.
Площадь серверных помещений составила 700-800 кв.м, где размещалось 200-220 серверных стоек.
Схема энергопотребления дата-центров
2 этап
Выбор сервера
Мы использовали сервера на платформе Intel Xenon Gold 6240 с различными вариациями по количеству графических карт: Tesla T4, А30, A100 до 320 Гб RAM
Intel Xenon Gold 6240
Intel Xenon Gold 6240
3 этап
Архитектура дата-центров
В качестве базы была выбрана архитектура Mesh Point of Delivery (PoD), которая содержит несколько листовых коммутаторов, соединенных между собой в PoD. Это повторяемый шаблон проектирования, и его компоненты обеспечивают максимальную модульность, масштабируемость и управляемость дата-центров. Кроме того, эта архитектура может реализовать эффективное соединение между несколькими PoD и уровнем super-spinne. Таким образом, менеджеры могут легко добавить новую архитектуру к своей существующей трехуровневой топологии с малой задержкой обновления для новых облачных приложений.
Схема: Архитектура Mesh Point of Delivery (PoD)
4 этап
Защищенность данных
Особое внимание при проектировании и развертывании уделялось вопросам безопасности как на программном, так и на физическом уровнях. Например, мы обеспечили бесконтактный контроль за оборудованием и персоналом, а также несколько этапов биометрической идентификации. Необходимым элементом защищенности являлось бесперебойное надежное электроснабжение.
5 этап
Выбор оборудования для решения задач, связанных с обработкой
больших данных и машинным обучением
Прежде всего, при выборе серверов и GPU мы учитывали способность оборудования решать указанную задачу. На программном уровне мы запустили публичное облако на базе технологий Vmware, которое де-факто является стандартом в корпоративной виртуализации.
Эта схема представляла собой облачную инфраструктуру (IaaS) на базе платформы VMware vSphere® и VMware vCloud Director®. Она предназначена для получения вычислительных ресурсов в виде программно-определяемого дата-центра (SDDC) с удаленным доступом на базе облачной платформы VMware Cloud. Фермерам и университетам предоставлялся полный доступ к Организации и vDC через панель управления vDirector.
Облако построено на новейших технологиях VMware:
- виртуализация vSphere
- хранение данных vSAN
- сетевые сервисы VMware NSX®
Используя SSD NVMe диски Intel P4600 и P3520 и vSAN-архитектуру, мы достигли производительности 160000 IOPS на тестах Random Read/Write.
Процессоры последнего поколения Intel Xeon Gold 6240 выдают больше производительности на vCPU, чем процессоры предыдущих поколений. В публичном облаке на базе VMware мы реализовали следующие профили производительности:
- пул с быстрыми дисками – vSSD до 5000 IOPS и Fast vSSD до 25000 IOPS
- пул с гибридными дисками – vHDD до 150 IOPS и Fast vHDD до 2000 IOPS.
Результаты проекта
Подключено более 2000 предприятий и фермерских хозяйств
В итоге к дата-центрам было подключено более 2000 предприятий и фермерских хозяйств, более 120 тыс сенсоров и других источников информации.
Увеличение урожайности пшеницы на 22-25%, надоев молока – на 18%
За счет безопасного и централизованного получения и обмена информацией подключенным фермерским хозяйствам удалось увеличить урожайность пшеницы на 22-25%, а надои молока – на 18%.
Снижение расходов на топливо на 15-17%
Логистика предприятий, пользующихся ресурсами дата-центров, стала более эффективной, и это отразилось на снижении расходов на топливо на 15-17%.
Давайте обсудим ваш проект
Заполните форму или свяжитесь удобным для Вас способом
Остались вопросы?
Нажимая на кнопку, вы даете согласие на обработку персональных данных и соглашаетесь c политикой конфиденциальности