Как делают панорамы Яндекса
Мы уже давно следим за развитием очень удобного сервиса Яндекса Панорамы улиц. В свое время мы даже специально нашли на панорамах забавные несуразности и приколы, случайно попавшие в объектив.
В эти выходные нашей редакции выдалась уникальная возможность поездить со съемочной группой, поснимать процесс со стороны и изнутри машины, а также просто пообщаться и узнать много интересных технических деталей и закадровых подробностей.
Многие жители Москвы и Санкт-Петербурга уже видели эту машину, неспешно проезжающую по каждой улице. Съемочная группа, как видите, не шифруется. Машина в наклейках. Саму машину тоже часто фотографируют прохожие. Да и когда едешь внутри понимаешь, что все на тебя оборачиваются.
В эти выходные мы катались по Свиблово. В планах компании стоит покрытие 90% улиц Москвы.
Съемка ведется одновременно на несколько обыкновенных зеркалок с широкоугольным объективом. Само собой, одним из самых сложных моментов здесь является точнейшая синхронизация срабатывания затворов. В отличие от Street View компании Google, здесь снимается не видео, а фотографии в хорошем качестве. Склейка в панорамы потом ведется в автоматическом режиме с помощью специально разработанного программного обеспечения.
Все фотографии содержат информацию с точными координатами места съемки для последующей привязки к карте. При этом одних данных с GPS недостаточно, т.к. эта система может немного запаздывать и не давать координаты с точностью до метра, поэтому дополнительно учитывается скорость. Окончательно точное местоположение вычисляется с учетом данных о скорости, снимаемых непосредственно с колес автомобиля. Съемку можно производить на скорости до 60 км/ч.
Установка постоянно дорабатывается, что можно видеть наглядно на примере качества более старых панорам центра Москвы и более новых на окраинах.
Конечно же, съемка проводится либо в выходные дни утром, либо в будние дни, когда движение по улицам минимально.
В Москве местами пыльно и грязно, поэтому при каждой остановке линзы приходится протирать.
Съемка ведется только по сухому асфальту в хорошую погоду, поскольку при езде по мокрому поднимаются мелкие брызги и взвесь, которые сразу же оседают на объективах.
Самым большим злом в этом случае выступают поливальные машины…
Вот так процесс съемки выглядит изнутри. На телефоне Яндекс карты с GPS. На ноутбуке сама система.
Куча проводов, под ногами лежит блок, обрабатывающий сигналы от камер, GPS, информацию с колес и т.п.
В руке у оператора пульт, которым он может принудительно сделать кадр одновременно всеми камерами в нужный момент. Например, когда критично, чтобы панорама была ровно в середине перекрестка или если машина проезжает мимо чего-то интересного.
Управление системой на ноутбуке выглядит так.
Зеленые линии – то что надо отснять по плану, красная линия – текущая съемка, черные линии – уже отснятое.
Оператор говорит водителю, с какой скоростью ехать, где останавливаться, куда поворачивать.
С ноутбука задаются параметры съемки, интервал автоматической съемки (в метрах, в данном случае стоит 50 м, на узких улицах может быть и 10 м, а на трассе и 100 м достаточно), коррекция экспозиции и прочая информация о местоположении, длительности текущей съемки и т.п. Показываются последние сделанные камерами кадры.
Параметры регулируются таким образом, чтобы не было сильных перепадов яркости между небом и домами.
Яндекс-панорамы сильно помогают актуализировать карты. За тот час пока мы катались в районе Свиблова целых два раза мы натыкались на неточности в картах: либо переулок закрыли железобетонным блоком и сквозного проезда нет, либо въезд в переулок находится не в том месте, где показан на карте.
Хотя погода была сухая и на улицах грязи не было, линзы все равно приходилось постоянно чистить.
На машину люди реагируют в основном позитивно. Фотографируют и фотографируются с ней часто. Охрана порой смотрит настороженно. Иногда останавливают работники ГИБДД, но в основном из любопытства.
Иногда бывает, что люди возмущаются. И действительно, Google на своих панорамах замазывает все лица и номера, а Яндекс нет.
Почему?
Дело в том, что американские законы требуют замазывать номера и лица без каких либо оговорок, а в российском законодательстве есть оговорка: в принципе человека также снимать нельзя, это также считается вторжением в личную жизнь, но при этом если человек не является основным объектом съемки, то можно.
В данном случае снимаются не люди, а улицы.
Это в отличие от случайных приколов, конечно, было подстроено специально.
В планах делать подобные «пасхальные яйца” и в дальнейшем.
Google вообще создал целое сообщество, где выкладывает план съемок и маршруты, а уж интересующиеся люди на местах сами выделывают перед машиной сценки.
Во время одной из съемок на бензоколонке разговорились с мотоциклистом, который предложил «показать класс”. Когда машина поехала снимать дальше мотоциклист пронесся мимо нее на огромной скорости стоя на заднем колесе.
Недавно во время съемки в районе Ходынского поля оператор заметил, что на самом поле происходит какое-то мероприятие. Подъехали, поговорили, получили «добро” и в результате отсняли Фестиваль аэрографии на машинах.
Все это будет на Яндекс картах в новом сезоне.
Я специально спросил, замазать ли номера, на что получил ответ, что машину уже столько раз фотографировали, что смысла просто нет.
На этой машине проводили съемки в Москве и Питере. В планах запустить несколько машин.
Что интересно, в Киеве пришлось ставить оборудование на другую машину. Только по одной причине: в тот момент на Украине проходили выборы и машина с российскими номерами и «шпионской аппаратурой” неизбежно привлекала бы к себе повышенное внимание, поэтому использовалась местная машина.
Спасибо Яндексу и компании Neq4 за возможность сделать этот репортаж и интересный рассказ о тонкостях работы.
Как снимаются панорамы Google Street View?
Теперь, чтобы посмотреть график работы ближайшего магазина, можно даже не вставать из-за стола: просто открыть Google-панорамы, найти нужное здание и постараться разобрать буквы на вывеске. А как происходят съёмки этих панорам?
Кое-что можно узнать в официальном разделе «Под капотом» на сайте Google. Но пользователям Quora в своё время стало мало этой информации, и они поделились друг с другом своими знаниями. Основная часть информации предоставлена пользователем Арши де Круз, дизайнером и писателем: он сделал сводку ответов водителя автомобиля Google Street View на Reddit и дополнил данные материалом из интервью журнала TechCrunch с занимающими управляющие инженерные должности в Google Maps.
Что находится внутри машины?
Самая видимая часть съёмочного оборудования находится на крыше автомобилей Google Street View — это оборудование, регистрирующее данные. Оно включает в себя 15 камер и три лазерных сканера, надёжно закреплённых на высоте приблизительно 2,5 метра. Также автомобили оснащены 4G-доступом в интернет.
С помощью лазерных сканеров система получает данные о габаритах фотографируемых объектов: скорость, с которой лазерные лучи отражаются от поверхности, говорит об удалённости здания или объекта. Потом эта информация используется для построения 3D-моделей.
В камерах нет никаких механических элементов, даже затвора. Вместо этого в них используются CMOS-датчики изображения (на основе технологии КМОП комплементарный металл-оксидный полупроводник) и электронный затвор. Камеры соединены с панелью управления внутри автомобиля, а данные записываются на SSD-диски.
По словам водителя автомобиля, процесс записи проще быть просто не может: «Я просто нажимаю на кнопку, а камеры делают своё дело».
Какого объёма SSD-диски? Как хранятся данные? Как и когда они загружаются на сервер?
На борту автомобиля самые стандартные SSD-диски — общим объёмом памяти 50-100 ТБ. Этого хватает на неделю записи. Все записываемые данные автоматически резервируются на втором SSD-диске.
Регистрация данных о среднестатистическом городском здании занимает приблизительно 2-3 ГБ. В течение одного дня расходуется 50-100 ГБ места на диске (в зависимости от уровня населённости пункта). Но, скажем, на один день записи в Нью-Йорке уходит около 800 ГБ.
Одна из задач водителя — следить за заполненностью дисков; после того как заполнятся все пять дисков, водитель отвозит их в офис Google.
Что происходит в перерывах между съёмками?
В конце рабочего дня водители снимают съёмочное оборудование с крыши и кладут его в багажник. При длительной поездке водители останавливаются на ночь в отеле, автомобиль паркуют на местной стоянке. В некоторых крупных городах у Google есть гаражи для съёмочных автомобилей. Водителям не разрешается оставлять машину на ночь у своего дома.
Если же в пути случается поломка, съёмка просто приостанавливается, а на подмогу высылаются коллеги с нужными запчастями.
Насколько быстро движется автомобиль? Какова максимально допустимая скорость?
Камеры успевают фиксировать данные на любой скорости, разрешённой правилами дорожного движения в США (120 км/час). Тем не менее, если у водителя есть возможность двигаться чуть медленнее, им рекомендуется замедлять движение. Чем медленнее едет автомобиль, тем выше качество полученных изображений.
В плохую погоду съёмки не ведутся. Дождь и сильный ветер могут повредить камеры и также отрицательно сказываются на качестве картинки.
Какие камеры используются?
Камеры разработаны специально для проекта Google Street View. Первые версии съемочной установки (под названием R2) использовали восемь CCD-датчиков разрешением 11 мегапикселей и широкоугольные объективы. В следующих версиях (R5) использовалось 8 CMOS-датчиков, объективы с антибликовым покрытием и объективы «fisheye» для захвата многоэтажных зданий. В версии R7 использовалось уже 15 CMOS-датчиков, и объектива «fisheye» уже не понадобилось.
Откуда водитель знает, куда ехать или не ехать?
На основе анализа высокочастотных поисковых запросов специалисты Google решают, какие области планеты стоит покрыть панорамами прежде всего.
Когда водитель заступает на смену, ему выдаётся информация о начальном и конечном пункте, а также ключевые пункты на пути. Несмотря на то, что водителю даётся достаточно инструкций, он волен выбирать для себя более удобный маршрут следования между ключевыми пунктами.
Именно по этой причине вы иногда не можете попасть в виртуальную прогулку по маленьким незаметным переулкам. Недостающие данные об этих пропущенных местах могут появиться после следующей поездки в эту зону. В этом случае разница между новым и старым изображениями, а также разница в освещении нивелируется программными средствами.
Что происходит с изображением до его появления в готовой панораме?
Водителям автомобиля Google Street View нужно быть начеку: следить за тем, чтобы в обозрение камеры не попало то, что не нужно, например, дорожной аварии или уличной драки.
Если всё-таки в кадр попало что-то не слишком достойное, водитель должен удалить запись, вернуться и перезаписать фрагмент. Водителям предоставляется специальное программное обеспечение, с помощью которого они просматривают и совершают простую редактуру полученных изображений. На один день езды приходится в среднем по два дня редактирования. Данные GPS встраиваются в каждое фото автоматически.
После редактуры водителя диски поставляются в дата-центр, где информация загружается в базу данных и там же обрабатывается. Обработка включает в себя замыливание лиц и номерных автомобильных знаков.
Тем не менее, не всегда алгоритмы замыливания справляются с задачей, и на панорамах Google часто встречаются забавные ляпы. На ресурсе StreetViewFun собирают подобные оплошности и недоделки.
Для каждого фрагмента панорамы делается 15 изображений; программное обеспечение Google сводит эти изображения вместе, регулирует уровень экспозиции, светотени, цветовые различия и яркость.
С момента совершения водителем поездки до появления готовой панорамы проходит около шести месяцев.
Если интересно, посмотрите на автомобиль Google Street View вблизи:
Интересно ли крутить баранку и снимать панорамы для «Яндекс.Карт»? Водитель «панорамомобиля» рассказал про ремесло
Город постоянно меняется, его инфраструктура не застыла отлитой в янтаре, что ярко демонстрирует минский проспект Дзержинского, значительно изменившийся за последнее десятилетие. А потому панорамы на «Яндекс.Картах» нуждаются в регулярном обновлении. О том, как снимают эти панорамы, появляются ли профессиональные болячки и кто ждет почти дальнобойщика дома, нам рассказал водитель «панорамомобиля» Владислав Макаров, который в мае вместе с коллегой изъездил Минск вдоль и поперек.
Решение о подготовке новых панорам сотрудники «Яндекса» принимают, как правило, прислушиваясь к народу. Они следят за проектами сервиса «Народная карта», в которые пользователи постоянно вносят изменения. Город ведь живой: строятся новые объекты, появляются свежие развязки. Со временем собирается критическая масса изменений, которые и провоцируют обновление панорам.
В этом году панорамы Минска решили обновить накануне проведения II Европейских игр. Ожидается, что в столицу приедет большое число туристов, зарубежных спортсменов. Так что для них сервис будет актуальнее.
Панорамная съемка Минска начиналась с запроса на разрешение у городских властей. После положительного ответа «панорамомобиль» приступает к обкатыванию улиц. Водитель, к которому нас посадили в машину, за три недели в Минске уже умудрился наездить более 2000 км. Примерно столько понадобилось, чтобы полностью отснять панорамы в пределах МКАД.
— Есть места, где нельзя проехать на автомобиле. Например, «кирпичи». Но если это критично, то дальше идет пешеходная съемка с фотоаппаратом и штативом, — объясняет Владислав.
Пешеходная съемка используется и для создания панорам изнутри общественно важных объектов. Например, двух крупнейших минских ледовых дворцов — «Минск-Арены» и «Чижовка-Арены».
Скорость съемки панорам зависит от качества дорог. Собеседник отмечает, что в Минске, как и в любом крупном городе, довольно хорошее покрытие дорог, а потому снимают панорамы тут быстро. Самое важное — аккуратно водить и выдерживать скоростной режим. Система гарантирует качественные фотографии при скорости не больше 65 км/ч.
— Водителем «Яндекс.Карт» работаю вот уже два года. Как-то познакомился с человеком, который рассказал про такую работу и предложил попробовать. В то время я был руководителем проектов, а эта работа привлекла тем, что связана с путешествиями. Решил что-то поменять в жизни и поездить по стране. За это время накатал уж точно больше 50 000 км. В основном по дорогам России.
Передвигается Владислав на Hyundai Creta — переднеприводном кроссовере. На заднем диване этого автомобиля особо не развернуться. Там пролегает несколько кабелей, идущих от камеры над крышей, а также находится ноутбук с открытой картой Минска. Над крышей установлен самый главный аппарат, который делает снимки. На нем красуется надпись neq4. Поверхностное гугление приводит к российской компании, которая разрабатывает «железо» и софт для создания панорам. Она еще с бородатого 2008 года является партнером «Яндекса».
В коробке над крышей установлены три камеры, которые смотрят вокруг машины, а также еще одна камера, которая смотрит в небо, дабы итоговый снимок получался более целостным.
Несколько лет назад в машине находился экипаж из двух человек, а пройденный маршрут отмечали на бумажной карте. Сегодня этот процесс максимально автоматизирован и оптимизирован, справляется и один водитель. На центральной консоли автомобиля установлен планшет, на который выведена карта Минска — вся в черных прожилках и красных точках «кирпичей». Это основной маршрут, по которому наш водитель уже проехал. Синее — это то, что ему осталось нанести на карты.
В веб-интерфейсе приложения можно заметить настройки светосилы, светочувствительности, скорости срабатывания затвора. Чуть ниже указано ограничение скорости. Этот порог нельзя превышать, если хочешь получить качественную панораму. Водить надо предельно аккуратно, а на перекрестках не забывать фотографировать по центру пересечения дорог.
Владислав вывозит нас на перекресток в глубинах Грушевки и нажимает кнопку на выносном пульте. Это сигнал для камеры. Обычно в городе она снимает окрестности автоматически каждые 15—30 метров.
Суммарное разрешение четырех снимков, которые используются для построения панорамы, составляет больше сотни мегапикселей. О мгновенной публикации при таких размерах речи не идет. Фотографии направляются в серверное хранилище прямо в автомобиле, где алгоритмы склеивают их в панораму, обрабатывают графическими фильтрами. Водитель может просмотреть отснятый материал и выбрать те участки, которые стоит заменить. Редко, но случается брак, когда камера загрязнена или не вовремя подкрадывается большой автобус. Он может перекрыть вид на важное место. Даже несмотря на то, что камера находится на высоте 2,5 метра от земли, стоит быть внимательным.
Отснятый материал хранится на SSD-накопителях в машине. Ежедневно его дублируют, чтобы ничего не потерялось. И в зависимости от того, сколько его накопилось и есть ли рядом высокоскоростной интернет, принимается решение: либо везти накопители в офис самостоятельно после командировки, либо отправлять специализированными курьерскими службами.
— В среднем в день собирается от 200 до 500 ГБ информации, — подчеркивает Владислав.
Если в какой-то город выпадает долгая командировка, то водителю снимают квартиру посуточно. В случае особо длительных поездок бронируются отели. Семьей парень пока не обзавелся, а потому по максимуму наслаждается романтикой дорог. Правда, далеко за границу не уедешь. Три года назад снимали в Турции, но наш собеседник в том проекте не участвовал. А так география поездок — это в основном европейская часть России и ближнее зарубежье: Беларусь, Армения, Казахстан, Украина (с недавних пор панорамы там не обновляются) и т. д. Дальше всего водитель добирался до Урала, крайней точкой был Магнитогорск.
На вопрос, колоритный ли был город, Владислав ответить затрудняется.
— Знаете, вся Россия, кроме двух столиц, практически одинаковая: одинаковые дороги, одинаковые люди, города.
Прошлой осенью впервые для панорам снимали Махачкалу. В интернете у этого города благодаря блогеру Илье Варламову сложилась репутация мусорной столицы России. Владислав как человек, объехавший его вдоль и поперек, придерживается немного другого мнения.
— Самого мусора в Махачкале не видно, хотя мусорки бывают переполнены. Но стоит отъехать от города, как становится хуже. Правда, все это не так критично… Во многих городах России такая же ситуация.
— Какое самое грязное место за 2000 км пробега встретили в Минске?
— В Минске вообще нет мусора. Каждый раз, когда мне надо выбросить мусор, я вижу рядом урну.
На заправку Владислав заезжает каждые два-три дня. Примерно на столько хватает 55-литрового бака «Креты». Полезного километража за сутки получается примерно 50% от накатанного.
— Чтобы отснять все улицы, приходится ездить по трекам, которые я уже отснял, разворачиваться, кружить. Работа и построение маршрута заключаются в том, чтобы максимально оптимизировать эти моменты, то есть чтобы большинство времени я проезжал по неотснятым улицам. Построение маршрута происходит в динамике. Город ведь живой, на дорогах случаются ДТП и ремонтные работы, а потому жесткого планирования по дням у меня нет. За рулем уже смотрю на три-четыре улицы вперед.
Также каждые полчаса-час надо забираться на крышу и протирать камеры от пыли или насекомых. Ведь из-за критичных загрязнений придется проезжать участок еще раз.
В летнее время, когда солнечный день длинный, а непогода не донимает, рабочий день Владислава начинается в районе 8:30 и продолжается до 17:30. Если же за окном дождь, то можно погулять по городу в свое удовольствие.
— В отпуск предпочитаю ездить в горы. Иногда работу и отпуск удается совмещать. Мой коллега прошлой зимой таким образом ездил в Сочи. Мы катались, а он работал, — смеется парень.
При довольно интенсивной водительской нагрузке (20 000 км с начала солнечного сезона в этом году) наш собеседник ни на какие профессиональные болячки не жалуется. Последние восемь лет он практически каждый день находится за рулем, закален московскими пробками.
— Я люблю водить. Меня к этому тянет, и я не устаю за рулем. В прошлом году ездили на Skoda Yeti, Kia Soul. В этом сезоне пересели на Hyundai Creta. Меня характеристики комфорта беспокоят меньше, чем динамика и полный привод. В Закавказье, например, есть старые города, где улицы находятся под наклоном 30 градусов. Пробираться по ним на моноприводной машине довольно сложно.
Наш водитель рассказывает, что люди по-разному реагируют на «панорамомобиль». Часто мешают проехать, засматриваются, но в целом относятся с пониманием.
— Многие хотят попасть на панорамы. Пару мотоциклистов меня буквально догоняли, махали руками. И если мне нужно было снимать в этот момент, то они в кадр попадали. Ну а если просто переезжал с локации на локацию или ехал на базу отснятый, то не снимал.
Сколько штрафов прилетает водителю, который снимает панорамы для «Яндекс.Карт»? На самом деле совсем не много, так как в городе для качественной съемки надо выдерживать скоростной режим. А вот на трассе, признается Владислав, грешки случаются.
— В Минске нет столько камер, как в городах России. А потому соблюдать ПДД несложно. Да и смысла нарушать их нет, ведь при съемках некуда торопиться.
Панорамы уже обновлены. Специалисты «Яндекс.Карт» называют это обновление самым масштабным с момента их появления в 2010 году. Зона покрытия ими в окрестностях города была расширена, отсняты новые поселки — Мачулищи, Колодище, Замосточье.
На панорамах городских улиц теперь можно наблюдать построенные за последние несколько лет здания. Например, Верховный суд на Орловской улице, обновленный стадион «Динамо».