В рубрику "IP-security" | К списку рубрик | К списку авторов | К списку публикаций
Исполнительная власть в лице на тот момент премьер-министра Владимира Путина идею поддержала и расширила – в виде поручения ЦИК на "прямой линии" вопросов и ответов 15 декабря 2011 г.: "Я предлагаю и прошу Центральную избирательную комиссию установить Web-камеры на всех избирательных участках страны, их у нас 90 с лишним тысяч, на всех. И пусть они работают там круглосуточно – днем и ночью – чтобы страна видела. Вывести все в Интернет, и чтобы страна видела, что происходит возле конкретного ящика". Так был дан официальный старт не имеющего аналогов в мире проекта под названием "Видеонаблюдение в помещении для голосования на выборах Президента Российской Федерации 4 марта 2012 года".
Посмотрим на реализацию этого проекта с профессиональной точки зрения.
Масштаб и условия проекта Запуск проекта был анонсирован 15 декабря. То есть система должна была быть полностью готова и работоспособна менее чем через квартал (с 15 декабря до 4 марта всего 79 дней), причем заметная часть этого времени приходится на Новый год с длительными каникулами. Попробуем оценить масштабы задачи, вставшей перед ЦИК, в цифрах:
Только 27 декабря ЦИК разместил на сайте постановление № 82/635-6 "О порядке видеонаблюдения в помещении для голосования на выборах Президента Российской Федерации 4 марта 2012 года". Согласно этому постановлению оснащаться видеонаблюдением должны были все избирательные участки кроме "медицинских учреждений, мест содержания под стражей, судов в плавании, учреждений в труднодоступных и отдаленных местах, представительств РФ за рубежом".
По утверждению замглавы Министерства связи и массовых коммуникаций Наума Мардера, свыше 90% магистральных сетей в стране обеспечивает "Ростелеком", а посему "логично, что на него ложится основная тяжесть этих работ". Заметим, что компания с контрольным пакетом акций, принадлежащим государству, имеет опыт организации IP-видеотрансляций с мест строительства домов для погорельцев. (В отдельных регионах каналами связи помогли МГТС, "Вымпелком" и "Энфорта".) Причем ввиду сжатых сроков компания была выбрана без обязательного конкурса по 94-ФЗ.
Точного решения об использовании Web-камер или IP-камер на тот момент еще не было принято. Компания "Ростелеком" сразу разослала запросы по всем ведущим производителям оборудования, но склады под конец года у всех пусты, а производственные мощности не позволяли оперативно обеспечить необходимое количество камер, которых, по предварительной оценке, было нужно 300 тыс. (планировалось 2–3 камеры на каждый участок).
Важный момент (и на мой взгляд, один из самых мощных гвоздей в крышку гроба аналогового видео) – использование аналоговых камер в принципе не рассматривалось. Стоял вопрос – Web или IP.
Против IP-камер сыграл (помимо отсутствия на складах мировых производителей нужного количества) тот факт, что, хотя сетевая камера может вести запись на удаленный компьютер, она очень чувствительна к каналу связи. Это приводит к необходимости осуществлять локальную обработку видеоконтента и его запись с помощью ПК, а также к заметной разнице в стоимости (однако при наличии хороших каналов связи вариант на IP получился бы более дешевым и универсальным). Все это привело к поиску поставщика и более чем 90 тыс. компьютеров.
Произвести и поставить такое количество ПАК (программно-аппаратных комплексов) в указанные сроки из всех участников конкурса смогли гарантировать Kraftway и "Ситроникс", которые в результате и выиграли ускоренный конкурс "Ростелекома". Примерно 80% заказа на поставку комплектов на основе ноутбуков досталось "Ситрониксу" и 20% заказа по производству комплектов на основе десктопов – Kraftway. Однако, например, президент "К-Системс Ирбис" Эдуард Воронецкий говорит, что с вопросом о конкурсе в его компанию никто не обращался, и как выбирались поставщики, он не знает.
Компанией, готовой оперативно произвести и поставить необходимое количество видеокамер в срок, оказалась Logitech – известный производитель компьютерных аксессуаров. (Самое забавное, что Logitech имеет свою небольшую линейку охранных камер и ПО для записи и управления видеопотоками.) Поставщиком ноутбуков выступила Lenovo, а десктопов – Fujitsu (в силу готовности запустить под этот проект производство уже со 2 января). И уже 20 января в Москву начали прибывать первые спецрейсы (всего их было 7). Так как к началу года, по заверениям Kraftway, ликвидности не хватало, что очень странно, учитывая, что все компании в России, как правило, имеют хорошее финансовое окончание года, оплата от "Ростелекома" была произведена 50 на 50 – 50% предоплаты, и 50% по завершении отгрузки последнего ПАК. Каждый спецрейс привозил почти 100 палетов оборудования (примерно 2 ж/д вагона), а общий вес поставленного оборудования по воздуху составил более 500 т. Одновременно из Аугсбурга прибывали автопоезда с десктопами. После специально оговоренного приоритетного прохождения таможни оборудование отправлялось прямо на сборочные производства. Компания Kraftway для производства своей части из 25 тыс. ПАК задействовала мощности завода в Обнинске, а "Ситроникс" – завод "Квант" в Зеленограде, где круглосуточно более 42 дней трудилось более 500 сотрудников в две 12-часовые смены, чтобы собрать комплекты из 160 тыс. камер и 80 тыс. ноутбуков.
Производили ПАК, состоящий из следующих компонентов:
По оценке Минкомсвязи, стоимость каждого комплекта ПАК составила 25,8 тыс. рублей.
В целях упрощения и удешевления системы был разработан специализированный интерфейс, который позволял даже малоквалифицированному сотруднику запустить комплекс в работу. При этом ПО имело "защиту от дурака" – в нем нельзя было ничего перенастроить или сломать.
Про само ПО известно немного, как и про его разработчика – компанию "Телемаркер" (ее ПО используют компания "Коммерсантъ" для организации Интернет-вещания канала "Коммерсантъ ТВ" и канал "Дождь").
Каждый ПАК накладывал специализированные метки, уникально идентифицирующие каждую камеру и исключающие возможность подмены видеоконтента, – на деле они представляли собой всего лишь серийный номер камеры в режиме оверлея. Система была построена таким образом, что при включении она автоматически самотестировалась, сообщая обо всех неполадках в режиме "светофора", а затем начинала запись видео.
После подключения к сети автоматически поднимался VPN-туннель, и данные транслировались в один из семи окружных ЦОД в Москве, С.-Петербурге, Самаре, Краснодаре, Екатеринбурге, Новосибирске и Хабаровске, а также параллельно записывались на HDD каждого ПК. Все магистральные каналы, серверные мощности и системы хранения данных, по заверению Ростелекома, дублировались и были отказоустойчивыми. Данные предполагается хранить не менее года с момента объявления ЦИКом результатов выборов.
Вы спросите, почему при использовании HD-камер картинка такая маленькая и не занимает даже половины экрана? Оставим этот вопрос на совести разработчиков ПО. Что же до разрешения видеокамер, хотя они, по оценкам, и HDready 720p, но трансляция и запись видео велась всего лишь в разрешении VGA (640х480).
Уже 22 февраля "Ситроникс" объявил о завершении работ по контракту и отправке последнего комплекта со склада компании. Общая сумма контракта составила чуть менее 3 млрд рублей, из которых 2,47 млрд рублей – стоимость контракта с "Ситрониксом".
По оценке заместителя министра связи и массовых коммуникаций РФ Ильи Массуха, стоимость контракта с "Телемаркер" составила порядка 1,3 млрд рублей, причем из этой суммы закупалась часть серверного оборудования ЦОД для организации трансляции (а именно более 300 Blade-серверов примерно по 1 млн рублей каждый). Получается, 1 канал ПО записи и трансляции видео обошелся государству почти в 5 тыс. рублей.
ПАК на базе Web-камер
Попробуем оценить стоимость комплектов, взяв за основу общедоступные цены с yandex.market. Учитывая, что при прямой крупной поставке от производителя величина скидки может достигать 30– 40%, а также посчитав маржинальность для подрядчиков, регламентированную государством в этом проекте в 10%, стоимость работ по сборке комплектов и стоимость услуг логистики, получаем соответствие порядка стоимости – цифре, озвученной Минкомсвязи, – 26–27 тыс. за комплект.
ПАК на базе IP-камер
Попробуем оценить стоимость подобного комплекта при использовании IP-камер. Примем поток с камеры в 1 Мбит/с, тогда для непрерывной записи 24 часов понадобилось бы примерно 11 Гбайт емкости, так что вполне можно использовать SD-карту.
Забавно, но даже на IP-камерах от всемирного лидера рынка можно было собрать систему, сопоставимую по цене с системой на базе Web-камер. При этом разрешение было бы не VGA 640х480, а как минимум SVGA 800х600. А на самих избирательных участках располагались бы только камеры и сетевое оборудование.
Кроме того, IP-камеры более универсальны, есть модели с высокоскоростным Wi-Fi 802.11n. Учитывая цену (в которую обошлось ПО), а также масштаб, можно было использовать и более профессиональное ПО со специальными функциями, (например, XProtect с функцией EDGE Storage), которая в случае обрыва связи позволяет задействовать SD-карту в камере, а после восстановления связи – автоматически перенести данные в фоновом режиме с SD-карты в правильное место на сервере.
С одной стороны, понадобилась бы более квалифицированная настройка. Но с другой – систему можно настраивать удаленно из ЦОД, а подключать, используя функционал One Click от AXIS, поддерживаемый в новой версии Corporate 5.0 от Milestone. Однако вернемся к реализованному проекту!
После получения первых комплектов в 82 региональных центрах "Ростелекома" начались работы по их инсталляции. Первый комплект был смонтирован 21 января в Великом Новгороде, последние ПАК инсталлировались 3 марта, непосредственно
перед днем голосования. Было привлечено более 20 тыс. специалистов. Обучено более 2 тыс. бригад – как сотрудников "Ростелекома", так и местных подрядчиков.
Большая часть средств по проекту была инвестирована в инфраструктуру. По оценке специалистов, общая стоимость проекта составляла около 26–29 млрд рублей (почти 1 млрд долларов), то есть фактически каждый россиянин заплатил за эту систему примерно по 7,5 доллара.
Было проложено более 53 тыс. "последних миль" и более 9 тыс. километров новых линий. Для передачи данных были задействованы емкости 10 спутников и подключено 4 тыс. абонентских спутниковых терминалов. В 7 ЦОД было установлено 595 специализированных дополнительных серверов, а на магистралях – 142 тыс. единиц телекоммуникационного оборудования.
Однако большинство населенных пунктов не имеет нормальных каналов связи для организации 1,5 Мбит/с для каждого ПАК. Зачастую все провода сданы на цветмет, и отсутствует даже телефонная линия. Примерно в 4 тыс. удаленных районов были задействованы спутниковые линии с 128 Кбит/с – картинка передавалась только с одной камеры с еще более сниженным разрешением. Примерно 11% избирательных участков вообще не имели возможности транслировать видео, там ПАК записывал только на себя.
То есть проблема "последней мили" никуда не делась. Существенно упростил задачу реализованный в 2006–2009 гг. ГК "Синтерра" нацпроект "Образование", в рамках которого все школы России (почти 50 тыс.) были подключены к Интернету. Как известно, основная часть избирательных участков располагалось как раз в школах. Однако по этому проекту городские школы подключались выделенными каналами и оптикой, а региональные – ADSL-модемами и беспроводным WiMAX, поэтому в регионах скорость была зачастую не более 128 Кбит/с, чего явно недостаточно даже для одного видеопотока.
Все данные отображались с помощью сайта www.webvybory2012.ru. Регистрация на сайте производилась до 3 марта с помощью ID-аккаунтов поисковиков Yandex, Google, Mail.ru и социальных сетей Facebook, ВКонтакте, Одноклассники и Twitter (не имевшим аккаунтов в данных сервисах предлагалось пройти стандартную регистрацию).
После регистрации вы могли составить свой "плей-лист" из участков, за которыми хотели бы наблюдать. По этим закладкам специалисты "Ростелекома" планировали нагрузку и распределяли ресурсы. В предвыборную полночь по Москве регистрация остановилась. Вероятно, таким образом администраторы решили снизить вероятность перегрузки линий в день выборов из-за DDoS-атак или чрезмерной активности пользователей.
Действительно, я без проблем зарегистрировался с помощью своего аккаунта на Mail.ru. В закладки наугад добавил несколько ближайших участков из Москвы, а также санаторий им. Герцена (Московская область), С.-Петербург – Литейный район, несколько камер в Уральском регионе – Уфа, Чишмы (Республика Башкортостан), Екатеринбург, Сухой Лог (Свердловская область), пару камер из Сибирского региона – Новосибирск, Якутск (Республика Саха (Якутия) и пару с Дальнего Востока – Владивосток, Дунай (Приморский край). Утром наблюдать ход голосования удалось только из самого Владивостока, а днем – только с центра Москвы и С.-Петербурга. До маленьких населенных пунктов и участков в Сибири достучаться не удалось – отображалась черная картинка.
Глядя на черный экран, первая мысль – канал занят и просто не позволяет дать мне еще один видеопоток, но тесты упрямо говорили обратное. Судя по всему, неполадки возникли именно на "последней миле", либо "просели" региональные сервера, отвечающие за трансляцию. Позже сообщения от "Ростелекома" о 51 DDoS-атаке, отраженной системой в день выборов.
Второй всплеск из 151 атаки произошел во время зачитывания итоговых результатов. География источников атаки была обширной – от Японии и Индии до США и Канады.
По отчетам, общее количество зарегистрировавшихся для просмотра выборов превысило 3,5 млн человек – просмотрено более 7,8 млн трансляций, что почти на порядок меньше того, на что система была рассчитана (25 млн пользователей, до 60 тыс. подключений к одной камере). В моменты пиковой нагрузки на портале Web-выборы было максимум до полумиллиона пользователей одновременно. Это удивительно, учитывая, что, по данным фонда "Общественное мнение", в 2011 г. в РФ проникновение Интернета составило 46% (52 млн пользователей). При этом суточная активность россиян составляет в среднем 33% (38,5 млн). Получается, что из всех посетивших Интернет 4 марта выборами заинтересовалось и озаботилось регистрацией всего 10% граждан России, что довольно странно, учитывая, что на выборах побывала почти половина населения страны.
Запись велась весь период голосования, до момента окончания подсчета голосов и объявления результатов (итоговые протоколы зачитывались перед камерой). Система записала более 2,6 петабайт информации – более 500 лет просмотра для одного человека. Общий объем данных, переданных и записанных за один день, составил 1/5 ежемесячного трафика всего Рунета.
По оценкам специалистов, проект для "Ростелекома" оказался убыточным: хотя из бюджета было выделено почти 13 млрд рублей, компании пришлось кардинально сократить собственную инвестпрограмму на 2012 г., чтобы высвободить средства и ресурсы. Большинство из этих денег были потрачены на организацию каналов связи. Скорее всего, инвестиции в инфраструктуру окупятся не ранее чем через 6– 7 лет.
По поводу дальнейшего использования оборудования для видеонаблюдения, оставшегося на балансе "Ростелекома", в компании дают расплывчатые ответы. Не определено также, чем загрузить модернизированные каналы связи. На мой взгляд, применение найдется – уже сейчас интерес к аренде простаивающих мощностей в ряде регионов высказали представители "большой тройки" мобильных операторов.
Мое мнение: компания "Ростелеком" организационно справилась с задачей очень хорошо, сумев мобилизовать в сжатые сроки свою команду и реализовать огромную работу по модернизации старых каналов и прокладке новых, подготовке людей, организации работы с поставщиками и инсталляторами, разработке концепции системы, ее отладке и поддержке. Важнейший момент: на проект сильно повлияли крайне сжатые сроки (на все только 79 дней), что не позволило провести более тщательную проработку технической составляющей проекта, которая могла бы превратить затраты на оборудование в актив и источник ликвидности за счет раскрытия всего функционала IP-камер и современного ПО для управления IP-видеонаблюдением, включая сдачу в аренду и реализацию концепций "Видеонаблюдение как сервис" (VSaaS) и "Видеомониторинг как сервис" (VMaaS).
Конечно, видеонаблюдение само по себе не может обеспечить легитимности выборов. Оно может лишь стать полезным дополнением к основным процедурам контроля. С другой стороны, инвестиции в инфраструктуру всегда оправданы.
Сама же система, по заявлениям ответственных лиц, для практической проверки выборо-гауссовского распределения предлагается на экспорт в США и Францию, где также скоро состоятся президентские выборы.
Однако учитывая, что Минкомсвязи объявлен открытый конкурс на лучшее решение по дальнейшему использованию оборудования Интернет-трансляции после завершения выборов (забавно, что с призом в виде ноутбука, вероятно, Lenovo), это скорее попытка выдать желаемое за действительное. А принимая во внимание, что даже в день выборов было несколько попыток кражи элементов системы, вероятнее всего, сейчас ее просто растаскивают по частям, что было бы менее интересно в случае с IP-камерами, гораздо менее применимыми в быту, чем ноутбуки.
Опубликовано: Журнал "Системы безопасности" #2, 2012
Посещений: 10229
Автор
| |||
В рубрику "IP-security" | К списку рубрик | К списку авторов | К списку публикаций
