1. Статьи
Заметки пользователей
21.03.2017 08:50
13896
11
21.03.2017 08:50
PDF
13896
11

История о том, как Facebook базовую станцию делал

Автор: Wanderer From

Не так часто получается писать действительно эксклюзивный материал. Причем, вот эта тема, про которую я хочу вам сейчас рассказать, она не только в России эксклюзивна. Это действительно первая в мире статья, в которой более-менее подробно рассказывается об одном достаточно знаковом проекте в телекоммуникациях. Возможно даже судьбоносном проекте, способном изменить отрасль…

Речь пойдет о проекте под названием "Telecom Infra Project". Коротко TIP. Ти-Ай-Пи. Я как-то даже писал о нем. Например, была вот такая "Печальная повесть о бесплатном интернете".

История о том, как Facebook базовую станцию делал

Летом прошлого года была еще вот такая короткая заметка, которая прошла не сильно-то замеченной (о, тавтология!).

А теперь я попробую объяснить, что происходит на самом деле.

Telecom Infra Project - это открытая инициатива компании Facebook, которая направлена на, ни больше ни меньше, глобальный проект по обеспечению интернетом всей Планеты. Миссия в моем кривом переводе звучит примерно так:

Проект "Инфра Телеком" (TIP) - это открытая инициатива, ориентированная на инженерные разработки. К инициативе могут присоединиться операторы связи, поставщики оборудования, системные интеграторы и другие технологические компании, которые стремятся переосмыслить традиционный подход к построению и развертыванию инфраструктуры телекоммуникационных сетей.

Собственно Facebook решил вложить в этот проект порядка 150 миллионов долларов. А результаты работ сделать совершенно открытыми и доступными для всех желающих, например, взять, и запилить собственную базовую станцию или 10-G коммутатор.

И хотя проекту нет еще и года, первые результаты массовых обследований и проектирования уже доступны. Но обо всем по порядку.

Начнем, как это водится в среде венчурных капиталистов, с денег. Нужно ответить на два простых вопроса. Первый - вот эти 150 миллионов долларов Фейсбук "платит кому"? А второй вопрос - "зачем"?

"Зачем" объясняется очень просто - абсолютно шкурные вопросы, связанные с непосредственным бизнесом компании - получить больше прибыли.

Полагаю, что бизнес-модель ФБ достаточно очевидна - социальная сеть совершенно бесплатна для миллиардов (да, счет идет уже на миллиарды - 1,8 миллиарда) ее пользователей, а весь процесс оплачивается компаниями-рекламодателями. И нужно сказать, довольно неплохо оплачивается: по последнему биржевому отчету за четвертый квартал 2016 года Facebook получил доходов на 8,8 миллиардов долларов. Это за квартал. С операционной рентабельностью порядка 50-55%. На минуточку,  выручка лидера российской экономики Газпрома за третий (за четвертый на момент написания статьи данные не были опубликованы)  квартал 2016 года  - 1,256 триллиона рублей. Или примерно 21 миллиард долларов. Опуская вопросы "материальности активов", можно прямо заявить, что цифры вполне себе сравнимы.

Однако Фейсбук начал упираться в потолок собственной абонентской (пользовательской) базы - почти все, кто мог и хотел открыть аккаунт в социальной сети уже сделали это. Рост уже не такой впечатляющий, как раньше:

История о том, как Facebook базовую станцию делал

Обращаю внимание, что в "домашнем регионе" - США&Канада рост вообще уже незаметен. Зато рост раздела "Остальной мир" еще вполне себе имеется - 3%. Но что это "всего три процента" в квартал? Почти ничего.

При этом есть данные по доходности с каждого пользователя в макрорегионах:

История о том, как Facebook базовую станцию делал

Фейсбук считает доходность с каждого пользователя привычными нам ARPU. Только не за месяц, как это принято в телекоме, а за квартал.

Хорошо заметно, что "домашний регион" приносит сильно больше доходов из расчета на одного пользователя, чем Rest of World - почти на порядок. И при этом, есть очень хороший потенциал для роста - население, которое проживает в "остальном мире" порядка двух миллиардов. То есть, проникновение пользовательской базы там достаточно небольшое.

Если взять аналогию с "домашним регионом", где Фейсбуком пользуется больше половины населения, то потолок роста клиентской базы находится где-то в районе 3,5-4 миллиарда пользователей. А это означает, что социальная сеть может вырасти еще в два раза. Что принесет еще больше денег, потому что, повторюсь, бизнес-модель ФБ заключается в том, что рекламодатели платят за контакт с потенциальным покупателем. Фейсбуку нужно ещё больше лайков. Еще больше!

И довольно логичным встает вопрос о том, как привлечь больше пользователей? Действительно, как? С учетом того, что в "остальном мире" вопрос не стоит о том, чтобы люди начали общаться. Вопрос стоит о том, что "остальной мир" просто не подключен к интернету.

Вот так это выглядит. Это процент людей, которые НЕ подключены к Сети:

История о том, как Facebook базовую станцию делал

Теперь вы понимаете, зачем Фейсбук вкладывает миллионы долларов на разработку дешевых инфраструктурных решений для телекоммуникаций? Очень просто - сделав интернет очень дешевым, очень доступным, глобальная социальная сеть привлечет больше пользователей.

И 150 миллионов инвестиций в разработку - это не столь уж и большие деньги на фоне потенциальных барышей и роста акционерного капитала. По сути, это копейки и считанные проценты от общей выручки уже сейчас, но при этом сулит гораздо больше.

Второй вопрос у нас был - кому Фейсбук платит. Здесь немного сложнее, потому что по сути TIP представляет собой достаточно большое сообщество (только что посмотрел в системе уже много разработчиков, эксплуатантов и интеграторов). И на самом деле, все  достаточно хитро - венчурный капитализм, это не про раздачу денег и не про смузи в коворкингах.

Основные затраты социальной сети на TIP - это оплата работ в установленном порядке. Причем, львиная доля приходится на зарплату инженеров и менеджмента внутри компании. Facebook тратит проектные деньги очень неожиданно - на самих себя.

Во-первых, внутри компании была создана мега-крутая лаборатория по разработке всевозможных хардверных решений. Ну, не только для целей TIP, а вообще. Но качество и разнообразие оборудования, размещенного на 22000 квадратных футах  (примерно 2000 квадратных метров) в Менло Парке - впечатляет. Лаба получила название "Area 404". Вот тут есть репортаж на Техкранче. Покажу несколько фотографий:

История о том, как Facebook базовую станцию делал

История о том, как Facebook базовую станцию делал

История о том, как Facebook базовую станцию делал

История о том, как Facebook базовую станцию делал

Результаты работы в лабе:

История о том, как Facebook базовую станцию делал

Еще Фейсбук тратит довольно неплохие средства на закупку лицензий и патентов. Очевидно, что нельзя так просто взять референс-дизайн чипмейкера, создать на нем платформу и выдать ее в открытых исходных кодах. Чипмейкер может быть не согласен. Поэтому суммы денег, забюджетированные в проекте, не выглядят столь уж и колоссальными. Но это очень тонкие материи, чтобы описать их в одном абзаце. Ну, и, признаться, я не все это четко понимаю.

И, наконец, третья строка расходов - пожалуй, она будет самой большой в обозримом будущем - это реализация живых проектов. Буквально стройка инфраструктуры.

Первый проект уже запущен в Уганде. Про телеком в Уганде я пробовал писать вот тут. Относительно остальной Африки, там еще более-менее хорошо. Но не так прекрасно, как, например, в России. И вот Фейсбук совместно с индийским оператором Airtel и местным оператором BCS начал строительство 500 миль оптических магистралей на оборудовании Open Computer Project и, соответственно - TIP. Планируется, что всего в проект интернетизации Уганды будет вложено порядка 170 миллионов долларов, из которых "примерно десять" даст именно Фейсбук. И это позволит, уже подсчитали, подключить дополнительно порядка 3 миллионов человек в ближайшие три года.

История о том, как Facebook базовую станцию делал

Если вернуться к вопросу "зачем Фейсбуку это нужно", то несложно подсчитать, что три миллиона абонентов Фейсбуку обойдется по цене примерно три доллара. А если вспомнить, что минимальный ARPU у социальной сети - один доллар в квартал, то становится понятно, что это никакой не альтруизм, а вовсе даже нормальный коммерческий проект с окупаемостью менее года.

И хочу отметить, что Фейсбук не планирует реализации проектов TIP на территории России. Почему? Да потому что Россия входит в группу стран, где интернетизацией охвачено более половины населения. И даже где-то и более 75%. Смотрите карту-схему выше.

Впрочем, достаточно уже  вводных слов - пора переходить к конкретике.

Как это работает

Участвовать в проекте TIP может решительно кто угодно. Ну, при желании и доброй воле, конечно. И кроме собственно сотрудников Facebook к проекту уже присоединилось множество участников-интересантов. Кто-то участвует в большей мере, кто-то просто наблюдает.

На страничке участников  имеются и громкие в ИТ и телекоме бренды - SK Telecom (в работе группы живейшее участие принимает аж сам CTO Dr. Alex Jinsung Cho, который назначен председателем совета всего проекта), Accenture, Deloitte Digital, Cisco, Intel и Deutsche Telekom, Tata Communications c Telefonica. То есть, со всего мира по нитке.

Работа ведется в системе совместной работы Kavi Workspace и по электронной почте. И очень странно, что не используется наработка Facebook для организации совместной работы - FB.Workplace. Впрочем, объяснение простое - инициатива TIP была объявлена в феврале 2016-го, а "Фейсбук-на-работе" появился только в октябре. Почти год разницы.

Пока в проекте создано пять восемь рабочих групп, разбитых на три подгруппы. Полагаю, логику объяснять не нужно:  

История о том, как Facebook базовую станцию делал

Понимая, что читатель не воспринимает больше трех мыслей за один раз, я очень коротко перечислю группы и их цели и задачи:

Core Network Optimization Group​

Из названия понятно, что в группе создаются схемы организации связи "на уровне ядра". Руководит группой представитель Intel, а множество обсуждаемых решений притащили из Open Computer Project. Пожалуй, в будущем стоит отдельной статьи, но пока результаты деятельности этой рабочей группы не воплощены "в железе". Но делают там очень интересные вещи, которые, повторюсь, будут доступны в чертежах, gerber-файлах и открытых исходных кодах.

Например, вот такая железка - ядерный коммутатор на 16x40GE:

История о том, как Facebook базовую станцию делал

Стоит цель достигнуть цены "ниже нижнего", при этом управление сетью должно стать сильно эффективнее.

Greenfield Telecom Networks

"Зеленые технологии" - это не cтолько модно@молодежно. Это про то, как можно экономить все на всем. Экономия электричества и энергопотребления, экономия на утилизации устаревшего оборудования, экономия на эксплуатации за счет более эффективных ИТ-решений. Это про то, как строить сети в чистом поле. Технологии, методы, клевые бизнес-процессы и конечно же оборудование "для засева зеленых полей". Группой заправляют парни из Deutsche Telekom.

Media-Friendly Solutions

Эта рабочая группа вовсе не про то, как организовать пиар-кампании рабочих групп. Это про методы повышения пропускной способности сетей - про CDN и пользовательский контент. В группе обсуждаются и разрабатываются решения, когда вычисления и хранение данных размещаются "ближе к периферии", что действительно важно для регионов, находящихся не в самых обеспеченных магистральными сетями передачи данных.

Реальных результатов там тоже пока не очень много, но, как мне кажется, достаточно перспективным является проект опять T-Systems (ох, никак не соберусь написать тайм-лайн немецкого телеком-гиганта) под названием AURA.

Суть архитектуры в одной схеме:

История о том, как Facebook базовую станцию делал

Блоки и ответственность за их реализацию расписаны по участникам, а собственно AURA представляет собой набор аппаратных и программных средств для так называемых Context Based Communication. Тема сама по себе весьма обширна, поэтому не стану углубляться, но интересующимся трендами развития телекомов стоит взять на заметку для наблюдения.

Open Optical Packet Transport

Назначение этой рабочей группы тоже очевидно из названия. Основные направления исследований - DWDM и атмосферная оптика. Есть очень интересные решения, например, связанные с атмосферными оптическими линиями передачи данных, для которых не требуется точная юстировка приемо-передатчиков. Тот, кто хоть раз пытался эксплуатировать такие приборы, полагаю, должны заинтересоваться этими наработками.

People and Process Group

Поскольку современный телеком - это не только (и даже больше не столько) про технику и железки, а про людей, их отношения и способы взаимодействия, то наличие рабочей группы про "процессы" никого не удивит.

Но поскольку собственно TIP находится еще в очень юном для открытого комьюнити возрасте, меньше года, то особых успехов в P&P тоже не накоплено. Но, я уверен, все, что обсуждается в группе, очень понравится тем, кто знает такие слова, как "эджайл" и "холократия".

От себя добавлю, меня искренне поразило то, что в группах категорически дружелюбная атмосфера, где запрещено говорить такие слова, как "это не взлетит" и "так никто не делает". То есть, наложен эдакий мораторий примерно на 95% комментариев под моими статьями.

Вот так выглядит описание шести правил работы в проекте:

История о том, как Facebook базовую станцию делал

Не стану переводить, оставлю разговор для КРОСа, например.

Solutions Integration

Рабочая группа по интеграции решений - одна из важнейших, если вы хотите, чтобы решения не только разрабатывались, но и внедрялись. Причем, внедрялись как можно шире, для чего нужно сделать решения как можно более дружелюбными к внедренцам и эксплуатантам. Тем более что "решения" предназначены для не самых подготовленных инженеров из стран третьего мира - назовите самый известный технический университет Центральной Африки, например?

Группа пока не накопила критической массы, но обсуждение вращается вокруг сетей "пятого поколения" и решений класса "облачного радио", "виртуальных операторов" и SDN. Примерно вот такое видение упрощенных сетей доступа в будущем:

История о том, как Facebook базовую станцию делал

System Integration and Site Optimization

Весьма интересна тем, что рассуждения в группе крутятся вокруг "сельской связи". И не просто "сельской" (rural), а действительно в отдаленных районах. Предлагаются и обсуждаются решения класса: "как бы нам сделать так, чтоб интернеты стоили не сильно дорого, управлялись не очень сложно, но качество было бы на высоте". Тоже необходим отдельный обзор, но пока ограничусь схемой решения "деревенской базовой станции":

История о том, как Facebook базовую станцию делал

… которая бы работала совершенно автономно, но если нужно, то можно "звонить" по спутнику.

Решения по повсеместной раздаче Wi-Fi также обсуждаются и довольно серьезно, вплоть до создания отдельной рабочей группы.

OpenCellular – Wireless Access Platform Design

Одна из самых продуктивных групп. Речь идет о создании принципиально нового класса базовых станций мобильной связи, причем, сразу во всех действующих стандартах и поколений - от GSM, до LTE advanced. И с прицелом на сети 5G.

И это не только "базовая станция", которую можно было бы отнести к классу "пико/фемто-сота". Это должно быть законченное решение, которое способно работать автономно, даже без подключения к инфраструктуре мобильного оператора, то есть обеспечивать радиосвязью абонентов в локации между собой без прочей инфраструктуры - всех этих HLR и прочих "контроллеров радиосети". При этом решение должно уметь и взаимодействовать с инфраструктурой "большого оператора" и организовывать полносвязанные mesh-сети на сайтах. И использовать любую физику связности,  кроме радио еще и Ethernet по меди или оптике.

И самое удивительное, что в достаточно бурном обсуждении звучал призыв "сделать это по цене в пределах двухсот долларов".

Ну, до стоимости в двести долларов за прибор доступа пока еще далеко (никто даже не берется пока оценить, сколько будет стоить текущее решение), но прототип такого устройства уже создан "в железе":

История о том, как Facebook базовую станцию делал

… хотя софт для нее еще не написан. В процессе.

Вот так эта сота выглядит "схематически" (я не особо старался перерисовать и перевести термины конструкции - исключительно для понимания):

История о том, как Facebook базовую станцию делал

Не стану заострять внимание на технико-технических характеристиках устройства - все спеки, чертежи доступны вот тут. Любопытные могут ознакомиться.

Отмечу только, что прибор проектировался с тем условием, что все радиопараметры, включая частоты и модуляции/манипуляции, могли бы изменяться программным методом (SDR - Software Defined Radio), для чего необходим довольно мощный "бортовой компьютер", который на схеме обозначен GBC - General Purpose Baseband Controller.

А еще - это не законченное решение, а только проектная версия. Все еще может сильно измениться, и вот почему:

Как тестировать железку

Как уже, наверное, раз десять говорилось, весь проект рассчитан на то, что в конечном итоге вся конструкторская, пользовательская и программная документация будет опубликована. То есть, цель TIP заключается не в том, чтобы сконструировать совершенное и очень дешевое оборудование, запустить производство, а потом зарабатывать на продаже оного, а в том, чтобы сделать интернет доступнее, дешевле и качественнее.

Это действительно нечто новое на рынке телеком-оборудования и комплексных решений, и своего рода социальный эксперимент. Поэтому  к разработке предъявлены очень серьезные требования. Проектируемый телекоммуникационный прибор должен иметь даже некоторые взаимоисключающие свойства:

  • Дешевым в производстве.
  • Легко монтируемым и эксплуатируемым.
  • Надежным.

Особенно надежным.

Для чего в проекте были сразу заложены основополагающие принципы исследования надежности устройства и его свойств.

Вот давайте задумаемся, как мы (я имею в виду операторов связи и эксплуатирующие организации) тестируем оборудование для принятия решения о закупе большой партии? Что мы для этого делаем?

В лучшем случае принимаем документ с говорящим названием "программа и методика испытаний", где готовое решение подвергается неким тестам, которые должны ответить на вопрос: "а будет ли оно вообще работать?". Или, в худшем случае, осуществляется прогон неких тестов на предмет соответствия входных данных и прогнозируемому результату.

Обычно такие тесты основаны на опыте эксплуатации инженерного состава компании и призваны хоть немного снизить риски отказа оборудования в критических местах сложной системы. И на технических условиях эксплуатации, заданных вендором, и регулируемых каким-нибудь стандартом.

Иногда даже проводятся выборочные испытания "работы на отказ", случайно выбранных в партии экземпляров оборудования.

И все эти "тесты", на самом деле, необходимы и достаточны, если имеется четкое понимание соотношения "стоимость оборудования против риска потерь в случае выхода из строя".

В данном случае  есть понимание, что эксплуатироваться прибор будет в очень жестких outdoor-условиях и обслуживающий персонал будет не особо подготовленным. И то, что требований по электромагнитной совместимости будет масса (на всех точно не угодишь), а качество подключаемого энергоснабжения предсказуемо плохое. Питание может быть и от солнечных батарей, например. И все это под тропическим ливнем.

И все это при целевой цене 200 долларов. И чтобы работало.

Следовательно, необходимо всестороннее тестирование, начиная с ЭМС и "стойкости" схем к броскам напряжения, заканчивая юзабилити и проверку по IP6X (влаго-пыле-защищенность, устойчивость к вибрациям).

Ибо сказано, что: "В разработке это стоит цент, десять центов в производстве, и доллар, если оборудование уже установлено в поле".

В TIP по этому поводу мелочиться не стали, а провели полноценный DVT - Design Verification Test, который включал четыре больших блока:

  1. Тестирование "механического решения" - Environment Test;
  2. Тестирование электрических свойств GBC;
  3. Тестирование на электромагнитную совместимость модуля SDR;
  4. Общий тест работоспособности - Connect System.

Документы с результатами опять же в соответствующей папке.

Вообще же, по правилам проведения полноценных испытаний по методикам DVT несколько больше. Необходимо:

  • Полное функциональное тестирование (в том числе и юзабилити);
  • Тест производительности;
  • Климатические испытания;
  • Тестирование надежности;
  • Экологические испытания;
  • Механические испытания;
  • Время наработки на отказ (в том числе, прогнозирование отказов);
  • Аттестационное тестирование (система в сборе) и опытная эксплуатация;
  • Электромагнитная совместимость - тестирование и сертификация;
  • Сертификация  безопасности (в том числе, информационной безопасности).

Очевидно, что пока прибор не готов в полной мере, то некоторые пункты бессмысленны. С другой стороны, при разработке нового устройства разумно будет сначала довести до степени соответствия механическую сторону устройства и понять принципиальную возможность функционирования устройства в данной конфигурации. И только потом уже заниматься доводкой на надежность и стойкость к хакерам.

Что и было сделано.

Причем, Open Cellular эти испытания не прошел. В частности, были завалены тесты на влагозащищенность, устойчивость к пыли, устойчивость к воздействию химически-агрессивным средам ("солевой туман"). И был завален тест по ЭМИ - предложенное решение "не держит частоту" в блоках SDR. Это печально, но не смертельно. Прибор интенсивно дорабатывается.

Покажу несколько фотографий, как проходили испытания.

История о том, как Facebook базовую станцию делал
Климатические испытания - влажность.

История о том, как Facebook базовую станцию делал
Обильно поливается водой.

История о том, как Facebook базовую станцию делал
Термошкаф - перепады температуры.

История о том, как Facebook базовую станцию делал
Результаты воздействия среды хорошо заметны - предварительно поверхность всех деталей конструкции
обработали специальным составом, который синеет при попадании на него влаги.

История о том, как Facebook базовую станцию делал
Замочило не только материнскую плату, но и батарейный отсек.
По параметрам "влагозащищенность" прибор тест не прошел.

История о том, как Facebook базовую станцию делал

Прибор неделю находился в "запыленном помещении".

История о том, как Facebook базовую станцию делал
Теперь испытание дождем.

История о том, как Facebook базовую станцию делал
И в результате вода была обнаружена внутри. Это плохо.

История о том, как Facebook базовую станцию делал
Испытания на случай землетрясения.

История о том, как Facebook базовую станцию делал
Испытания в "соленом тумане" тоже провалены - четко видно коррозию на крепежных элементах.

История о том, как Facebook базовую станцию делал

Взглянем поближе. Да. Ржавчина.

История о том, как Facebook базовую станцию делал
Испытания на механическую прочность принципиально прошли нормально. Но кое-что все же удалось сломать.

История о том, как Facebook базовую станцию делал
Вибростенд. Если трясти достаточно долго, то всегда что-то, да и отвалится.

История о том, как Facebook базовую станцию делал
Не забыли проверить и на нагрев собственно радиоэлементов устройства. Тут (теоретически) все хорошо.

Продолжение следует...

11 комментариев
Оставлять комментарии могут только авторизованные пользователи
Robot_NagNews
Robot_NagNews

Материал:

Не так часто получается писать действительно эксклюзивный материал. Причем, вот эта тема, про которую я хочу вам сейчас рассказать, она не только в России эксклюзивна. Это действительно первая в мире статья, в которой более-менее подробно рассказывается об одном достаточно знаковом проекте в телекоммуникациях. Возможно даже судьбоносном проекте, способным изменить отрасль…

 

Полный текст

wanderer_from
wanderer_from

Косяк в переводе у меня обнаружился - в ФБ попеняли. Рабочая группа "Greenfield Network" - это не совсем про зеленые технологии, а вовсе про деплоймент сети с нуля, например, там, где никаких сетей не было, или при внедрении новой технологии, никак не связанной с используемой оператором в данный момент. Исправлю позже.

wanderer_from
wanderer_from

Исправил этот абзац.

SergoINFOLAN
SergoINFOLAN

Интересный материал.

Saab95
Saab95

А зачем все это?

zoro
zoro

А зачем все это?

Это все сделано чтобы микротик не попал на этот рынок...

Sergey Gilfanov
Sergey Gilfanov

Это все сделано чтобы микротик не попал на этот рынок...

А он разве стремился? Судя по корпусам - нет. Сдохнет на солнышке и под дождиком.

wanderer_from
wanderer_from

А зачем все это?

я знал, что эта фраза будет произнесена!

zoro
zoro

А зачем все это?

я знал, что эта фраза будет произнесена!

Так чукча не читатель- а смотретиль картинок...

wanderer_from
wanderer_from

Спешиали фо смотрителей картинок:

 

17457698_1801033973255978_4750686778346863813_n.jpg?oh=fd7899bd8cfd99eecd90bc091481066a&oe=59697880