Google поглотит разработчика камер светового поля Lytro

Будущее фотографии

Управление 3D-сценой и дополненная реальность

Время поразмышлять. Судя по происходящему в крупных технологических компаниях, наши ближайшие десять лет будут плотно посвящены дополненной реальности. Это сейчас AR выглядит как игрушка — как способ примерить кроссовки, посмотреть, как будет выглядеть макияж, или тренировать армию США. Завтра мы и не заметим, как станем пользоваться AR постоянно. Плотные потоки бабла от Google и Nvidia уже ощущаются.

Для фотографии это означает, что в моду войдет AR-фото — возможность управлять 3D-сценой. Сканировать пространство, как это делают смартфоны с Tango, добавлять в него новые объекты, как в HoloLenz, вот это вот все. Пусть вас не смущает пока унылая графика современных AR-приложений — как только сюда придут игровые компании с мыльным кинцом, все станет куда лучше.

Помните, как эпично бомбанул Huawei с их фейковым Moon Mode? Для тех, кто пропустил, как это работало: если камера определяла, что вы хотите снять луну на небе, она вклеивала в кадр заранее подготовленную фотографию луны высокого разрешения. Так ведь и правда круче. Настоящий китайский киберпанк. Мы всем интернетом смеялись сильно громче обычного.

Life goal: уметь лить в уши как Huawei

Потом я купил себе новые легкие и задумался — а ведь дядька Ляо на сцене был прав. Он дал людям ровно то, что обещано, — луна была настоящей, камера позволяла ее ТАК снять, а остальные вопросы пишите в спортлото. Ведь если завтра смартфон будет предлагать приклеить красивый закат или синее небо вместо облаков — пять миллионов жителей Петербурга будут в восторге!

В будущем машины будут «дорисовывать» наши фотографии. Так вижу.

Уже сейчас в камерах Pixel, Galaxy и других Android-смартфонов есть какой-нибудь глупый AR-режим. В одном можно добавлять модели персонажей из мультиков, чтобы сфотографироваться с ними, во втором лепить эмодзи по всей комнате, в третьем наложить маски на лицо, как в снапчате.

Все это лишь наши первые наивные шаги. Сегодня у того же гугла в камере есть Google Lens, который гуглит для вас информацию о любом объекте, на который вы навели камеру. У Samsung то же самое умеет Bixby. Пока эти фичи сделаны, только чтобы унижать людей с айфонами, но несложно представить, как в следующий раз, когда вы будете делать селфи на фоне Эйфелевой башни, телефон скажет: «Знаешь, твое селфи — полный отстой, я вставил на фон нормальную резкую фотку башни с того же ракурса, а тебе там пофиксил прическу и замазал прыщ под губой. Лучше всего сюда подойдет фильтр VSCO L4. Не благодари».

Дальше камера начнет менять траву на более зеленую, друзей на более закадычных, а сиськи на более большие или типа того. Дивный новый мир.

Все это будет выглядеть нелепо, сначала даже ужасно. У дедов-эстетов будет дико бомбить, а борцы за натуральность пойдут по домам отбирать нейросети у населения. Массовая же аудитория будет в восторге. Потому что для нее фотография — лишь один из способов самовыражения и передачи эмоций. Каждый раз, когда появлялся инструмент, чтобы выражать их ярче и эффективнее, все начинали им пользоваться — эмодзи, фильтры, стикеры, маски, аудиосообщения. Список кому-то покажется мерзким, но его легко можно продолжать.

Фотографии «объективной реальности» будут казаться скучными, как фотки семьи за новогодним столом с оливье. Они не умрут, но станут чем-то типа бумажных книг — увлечением эстетов, которые видят в этом особый смысл. «Кому вообще может быть интересно заморачиваться с правильным светом и композицией объектов на сцене, если мой телефон дорисовывает то же самое за меня», — будут недоумевать одни. «Ко-ко-ко-ко-ко», — будут парировать другие.

Массовой аудитории плевать на объективность, им надо, чтобы алгоритмы делали их лица моложе, а отпуск круче, чем у соседа по офису. Дополненная реальность будет дорисовывать реальность за них даже с более высоким уровнем детализации, чем она есть на самом деле. Как бы смешно ни звучало, мы начнем улучшать графику в реальном мире.

И да, как всегда, все начнется с подростков с их «непонятными глупыми увлечениями для дегенератов». Так всегда все начинается. Как только вы что-то перестаете понимать — это и есть будущее. Следите за ними.

History

Ren Ng, Lytro original CEO and founder, holding a Lytro camera.

While he was a researcher at Stanford, Ren Ng was photographing a friend’s daughter and noticed, «it was incredibly difficult to focus the image properly and capture her fleeting smile in just the right way». After completing his Ph.D, Ng decided to use his experience in light field research to «start a company that would produce light-field cameras that everyone could enjoy.» The company was originally named Refocus Imaging, before launching as Lytro.

Lytro board members include Ben Horowitz, general partner at Andreessen Horowitz; Patrick Chung, partner at NEA; and TiVo cofounder Mike Ramsay, with Charles Chi of Greylock Partners serving as Executive Chairman. Advisors include Intuit cofounder Scott Cook, VMware cofounder Diane Greene, Dolby Labs chairman Peter Gotcher and Sling Media cofounder Blake Krikorian.

Lytro founder Ng was Lytro’s first CEO. Lytro’s Chief Technology Officer Kurt Akeley was a founding member of Silicon Graphics. In June 2012 Ng announced that he would be changing roles and be Lytro’s Executive Chairman focused on innovation. Charles Chi would change from Executive Chairman to interim CEO while Lytro’s board begins looking for a new CEO.

In June 2011, Apple Inc CEO Steve Jobs purportedly met with Ng to discuss improvements for the iPhone camera.

Although not a true light field camera, the HTC One (M8) mobile phone released in April 2014 mimics Lytro’s depth-sensing functionality through the use of a second camera and stereoscopic post processing.

Существующие пленоптические камеры код

В 2005 году студентами Стэнфордского университета на основе зеркального фотоаппарата «Contax 645» была создана камера, работающая по таким принципам. Перед матрицей цифрового задника была установлена пленоптическая насадка, состоящая из множества микролинз. Исследователь фотографии светового поля Рен Энджи (англ. Ren Ng) на основе этой работы написал диссертацию, а в 2006 году основал проект Lytro (первоначальное название Refocus Imaging),

В 2011 году при поддержке Стива Джобса компания объявила о приеме заказов на разработанную ею камеру, которая стала доступна в продаже в октябре того же года. При разрешающей способности 11 мегалучей камера обеспечивала физическое разрешение 1080×1080 пикселей.

Электротехнической лабораторией компании Mitsubishi разработана камера светового поля «MERL», основанная на принципе оптического гетеродина и растровой маски, расположенной перед фотоматрицей. Любой среднеформатный цифровой задник может быть трансформирован в пленоптический простой установкой такой маски перед штатным сенсором. При этом из-за принципиальных отличий маски от линзового растра удаётся избежать снижения разрешающей способности.

Компания Adobe Systems разработала альтернативный проект камеры, работающей на иных принципах. Устройство снимает на 100-мегапиксельную матрицу одновременно через 19 объективов, сфокусированных на различные дистанции. В результате на 19 участках матрицы размером 5,2 мегапикселей каждая, получаются отдельные изображения объекта съёмки с разной фокусировкой. Дальнейшая обработка массива данных позволяет выбрать изображение с нужной фокусировкой или совместить разные для расширения глубины резкости. Более того, система позволяет создавать трёхмерные фотографии, абсолютно резко отображающие объекты, находящиеся на любых расстояниях, комбинируя резкие участки разных «слоёв» снимка. Компания Nokia инвестирует в разработку миниатюрной пленоптической камеры с линзовым растром из 16 ячеек.

В апреле 2016 года анонсирован выпуск цифровой кинокамеры «Lytro Cinema» с физическим разрешением матрицы 755 мегапикселей. Разработчики утверждают, что новая камера стоимостью 125 тысяч долларов избавляет от необходимости использования технологий блуждающей маски и хромакея, поскольку возможно послойное разделение изображений, находящихся на разных расстояниях от камеры. Кроме того, снятые камерой видеоданные формата lpf пригодны для создания как «плоских» кинокартин 2D, так и стереофильмов 3D. Главным достоинством «Lytro Cinema» считается возможность отказа от профессии фокус-пуллера, неустранимые ошибки которого неизбежны при любой квалификации. Фокусировка на сюжетно важные объекты съёмки может быть выполнена на уже отснятом материале с высокой точностью и произвольной скоростью перевода.

Принцип действия код

Пример изменения дистанции фокусировки на готовом снимке

Впервые регистрация светового поля с помощью микролинзового растра предложена в 1908 году Габриэлем Липпманом. Интегральная фотография таким способом записывает свет, отражённый непосредственно от снимаемых объектов, обеспечивая многоракурсное объёмное изображение. Из-за сложностей получения ортоскопического изображения и появления голографии с аналогичными возможностями, технология не получила практического применения.

В 1992 году Эдельсон и Ван расположили микролинзовый растр в фокальной плоскости обычного объектива, регистрируя световое поле в пространстве его изображений. Камера с таким устройством получила название «пленоптической», осуществив замысел авторов по созданию стереопар единственным объективом и решению проблемы параллактического несоответствия краёв снимка. Технология стала возможна благодаря появлению цифровой фотографии, преобразующей изображение за микролинзовым растром непосредственно в данные для вычисления параметров светового поля.

ПЗС-матрица находится позади растра и каждый микрообъектив строит на её поверхности элементарное изображение выходного зрачка объектива. Из-за разницы ракурсов, элементарные изображения в разных частях кадра отличаются друг от друга, неся информацию об объёме снимаемых объектов и о направлении световых пучков. При дешифровке полученной совокупности изображений создаётся виртуальная векторная модель светового поля, описывающая направление и интенсивность световых пучков в пространстве изображений объектива. В результате на основе этой модели может быть воссоздана картина распределения освещённости в любой из сопряжённых фокальных плоскостей.

Перефокусировка изображения | код

Таким образом, кроме задач, непосредственно поставленных разработчиками, пленоптическая камера оказалась пригодной в совершенно неожиданном качестве, позволяя осуществлять точную фокусировку на уже готовых снимках. Для этого при дешифровке достаточно задать положение сопряжённой фокальной плоскости, в которой требуется вычислить распределение освещённости.

Более того, сложение нескольких вариантов дешифровки одного и того же снимка, «сфокусированных» на разные дистанции, позволяет получать снимки с «бесконечной» глубиной резкости при полностью открытой диафрагме. Впервые «перефокусировка» готовой фотографии осуществлена в 2004 году командой из Стэнфордского университета. Для этого была использована 16 мегапиксельная камера с массивом из 90 000 микролинз. Элементарные изображения каждой микролинзы регистрировались с разрешением около 177 пикселей. Разрешение итогового изображения соответствовало количеству микролинз и составило 90 килопикселей.

Главный недостаток такой системы — низкое разрешение итогового снимка, зависящее не от характеристик матрицы, а от количества микролинз в растре. Из-за этих особенностей разрешающая способность камер светового поля описывается не в мегапикселях, а в «мегалучах». Более дешёвая конструкция предусматривает использование вместо массива микролинз теневого растра, состоящего из отверстий. Каждое из них работает, как камера-обскура, создавая элементарное изображение выходного зрачка со своего ракурса. Растровая маска исключает артефакты, получаемые из-за аберраций линзового растра, но снижает светосилу всей системы.

Личные впечатления от камеры

В руках Lytro Illum лежит достаточно удобно, хотя небольшой дискомфорт вызывает неидеальная развесовка. Благодаря прорезиненной поверхности правой части корпуса камеры и центральной – объектива, обеспечивается надёжный хват. Как уже было сказано выше, изменение фокусного расстояния осуществляется при помощи одного из колец на объективе, второе отвечает за ручную фокусировку.

Несмотря на то, что точку фокусировки можно менять постфактум, при съёмке фокусироваться на объекте всё же нужно, поскольку возможности камеры не безграничны и регулировать границы резко изображаемого пространства можно лишь в определённых рамках. Автофокус у Lytro Illum, по меркам современных камер, довольно медленный, поэтому иногда быстрее прибегнуть к ручной фокусировке, тем более что точно попадать в фокус совсем не обязательно.

Главная сложность при фотографировании – в выстраивании композиции кадра. При съёмке необходимо пытаться так построить кадр, чтобы затем при просмотре у зрителей действительно возникло желание изменить точку фокусировки и рассмотреть другую часть фотографии. Сами фотографии при переводе их в привычный формат JPEG не поражают воображения: невысокая резкость и небольшое (4 Мп) разрешение. К слову, видео камера записывать не умеет. Совсем.

Так на кого же рассчитана Lytro Illum? На увлечённых энтузиастов, готовых выложить немалую сумму за эту, без сомнения, революционную камеру. Устройство даёт большой простор для творчества. Современные цифровые камеры прошли долгий путь, поэтому требовать всего и сразу от Lytro Illum было бы неправильно. Инженеры компании Lytro заслуживают уважения хотя бы за то, что в одиночку бросили вызов всей индустрии цифровой фотографии, предложив собственный, уникальный вариант фотокамеры.

Вычислительные матрицы световые поля и пленоптика

Как мы поняли выше, наши матрицы — ужас на костылях. Мы просто привыкли и пытаемся с этим жить. По своему устройству они мало изменялись с самого начала времен. Мы лишь совершенствовали техпроцесс — уменьшали расстояние между пикселями, боролись с шумами-наводками, добавляли специальные пиксели для работы фазового автофокуса. Но стоит взять даже самую дорогую зеркалку и попытаться снять на нее бегущего кота при комнатном освещении — кот, мягко говоря, победит.

Мы уже давно пытаемся изобрести что-то получше. Много попыток и исследований в этой области гуглится по запросу «computational sensor» или «non-bayer sensor», и даже пример с Pixel Shifting выше можно отнести к попыткам улучшения матриц с помощью вычислений. Однако самые многообещающие истории в последние лет двадцать приходят к нам именно из мира так называемых пленоптических камер.

Чтобы вы не уснули от предвкушения надвигающихся сложных слов, вброшу инсайд, что камера последних Google Pixel как раз «немного» пленоптическая. Всего на два пикселя, но даже это позволяет ей вычислять честную оптическую глубину кадра и без второй камеры как у всех.

Пленоптика — мощное оружие, которое пока еще не выстрелило. Приведу ссылку на одну из моих любимых недавних статей о возможностях пленоптических камер и нашем с ними будущем, откуда я позаимствовал примеры.

Примечания

  1. , с. 36.
  2. , с. 43.
  3. E. H. Adelson и J. Y. A. Wang: Стереоснимок одной линзой при помощи пленоптической камеры. IEEE Transactions on Pattern Analysis and Machine Intelligence, Том 14, № 2, pp. 99-106, Февраль 1992 года.  (англ.)
  4. Александр Сергеев. . журнал «Наука в фокусе» (2012). Дата обращения 17 июля 2019.
  5. , с. 71.
  6. Владимир Родионов. . Камера Lytro. iXBT.com (7 сентября 2012). Дата обращения 5 июля 2014.
  7.  (англ.). Todor Georgiev. Дата обращения 5 июля 2014.
  8. . Новости. ITC (20 октября 2011). Дата обращения 5 июля 2014.
  9. Олег Нечай. . журнал «Компьютерра» (11 апреля 2013). Дата обращения 12 июля 2019.
  10. ↑ , с. 72.
  11.  (англ.) (недоступная ссылка). Unimacs. Дата обращения 5 июля 2014.
  12. Jonathon Keats.  (англ.). How It Works. Popular Science. Дата обращения 8 июля 2014.
  13. Sharif Sakr.  (англ.). News. Engadget. Дата обращения 5 июля 2014.
  14. . iXBT.com (13 апреля 2016). Дата обращения 11 июня 2017.
  15.  (англ.). Пресс-релиз. Lytro. Дата обращения 11 июня 2017.
  16.  (англ.). Lytro. Дата обращения 11 июня 2017.
  17. , с. 39.
  18. Rishi Sanyal, Jeff Keller.  (англ.). DPReview (11 April 2016). Дата обращения 11 июня 2017.

Примеры снимков

Чтобы снять хоть сколько-нибудь интересный кадр на Lytro Illum, придётся следить за тем, чтобы фотография содержала объекты не только на переднем, но и на заднем плане. Ведь если на обычных фотографиях главный интерес вызывает часть изображения в фокусе, то в случае с Lytro Illum необходимо следить, чтобы просматривающему было с чего переводить фокус, иначе пропадает весь смысл. Именно поэтому для фотографии пейзажей камера совсем не подходит – у неё вообще весьма специфическая область применения. Ночные снимки – тоже не конёк Lytro Illum – шумы с ростом светочувствительности растут весьма интенсивно.

Товары

Оригинальная камера Lytro Light Field

Оригинальный Lytro камера была разработана NewDealDesign.

Оригинальная камера является квадратной трубы меньше , чем пять дюймов в длину с отверстием объектива на одном конце и 1,52″ ЖК сенсорный экран на другом. Оригинальная камера имеет датчик 11 megaray. Объектив имеет 8 — кратное оптическое увеличение и п / 2,0 . апертура Первое поколение камеры поставляется в двух вариантах:. один с 8 Гб памяти (который может содержать 350 изображений) и один с 16 Гб (который может содержать 750 изображений) Megaray является измерением Lytro использует , чтобы описать , сколько мегапикселей в датчик под массив микролинз . Исходные данные обрабатываются для получения фотографий с разрешением 1,2 Мп.

Lytro Illum

Lytro ILLUM 2015 CP +

Lytro ILLUM имеется датчик 40 megaray (по сравнению с датчиком 11 megaray оригинального Lytro камеры), а также более мощный процессор. 30-250mm объектив имеет 8.3x оптическое увеличение, в F / 2.0 диафрагмы и 1: 3 макро способность фокусировки. Объектив был разработан , чтобы весить полфунт , чтобы сделать камеру более легкой и гибкой. Illum отличает 1152000 пикселей шарнирный 4″ ЖК дисплей с широким форматом изображения. Дисплей наложения показывает фотографу относительную направленность всех объектов в кадре, и какие элементы повторно фокусируемый. Камера имеет SD / SDHC / SDXC слот для карт памяти и нет встроенной памяти. Она также имеет USB 3.0 порт, внешний порт спуск затвора, горячий башмак, крепление для штатива , и съемный аккумулятор. The CMOS датчик измеряет изображения 1/2″ (6,4 х 4,8 мм) , а чувствительность может быть варьировала от ISO 80 до 3200.

Lytro Immerge

5 ноября 2015 года, Lytro объявила Immerge, систему от конца до конца для захвата световых полей для использования в создании виртуальной реальности (VR) содержание.

Стекинг по фокусу любая глубина резкости и рефокус в постпродакшене

Метод пришел из макросъемки, где маленькая глубина резкости всегда была проблемой. Чтобы весь объект был в фокусе, приходилось делать несколько кадров со сдвигом фокуса вперед-назад, чтобы потом сшить их в один резкий. Тем же методом часто пользовались любители съемки ландшафтов, делая передний и задний план резкими как диарея.

Стекинг по фокусу в макро. По-другому такое не снять

Все это тоже переехало и на смартфоны, правда, без особого хайпа. В 2013-м выходит Nokia Lumia 1020 с «Refocus App», а в 2014 и Samsung Galaxy S5 с режимом «Selective Focus». Работали они по одной и той же схеме: по нажатию на кнопку они быстро делали 3 фотографии — одну с «нормальным» фокусом, вторую со сдвинутым вперед и третью со сдвинутым назад. Программа выравнивала кадры и позволяла выбрать один из них, что преподносилось как «настоящее» управление фокусом в постпродакшене.

Никакой дальнейшей обработки не было, ведь даже этого простого хака было достаточно, чтобы вбить еще один гвоздь в крышку Lytro и аналогов с их честным рефокусом. Кстати, поговорим о них (мастер переходов 80 lvl).

Вычислительная оптика

Под оптикой мы с ребятами из Стенфорда имеем в виду не только линзы и объективы, но и все, что между объектом и матрицей, — даже диафрагму и затвор. Фотоснобы здесь будут в ярости.

Многокамерность

В 2014 году вышел HTC One (M8) и стал первым смартфоном с двумя камерами и весьма комичными возможностями вычислительной фотографии, типа замены фона дождем и блестками как в лучших пабликах «Одноклассников».

Началась гонка. Все стали ставить два, три, пять объективов в свои смартфоны, пытаясь попутно выяснить, что лучше, — телевик или ширик. В итоге дошли до появления Light L16, в которой было, как можно догадаться, аж 16 объективов.

Light L16

L16 уже была не смартфоном, а скорее новым видом карманной камеры. Она позиционировалась как компактная альтернатива зеркалке, в которой качество фотографий достигалось не дорогущим светосильным объективом и фуллфрейм-матрицей, а силой алгоритмов вычислительной фотографии.

Телевик-перископ, P30 Pro

Среди ее 16 объективов были ширики на 28 мм и телевики на 70 и 150 мм. Каждый телевик был перископическим, то есть свет не шел напрямую через линзу на матрицу, а отражался зеркалом вглубь корпуса. Такое расположение позволяло впихнуть достаточно длинный телевик в плоский корпус, чтобы он не торчал из него трубой. Тот же финт недавно провернули китайцы в Huawei P30 Pro.

Каждое фото L16 снималось одновременно на 10 и более объективов, а потом камера их хитро склеивала, чтобы получить 52-Мп изображение. По задумке авторов, одновременная съемка на несколько объективов позволяла поймать такое же количество света, как и в большой объектив зеркалки, но при этом хитро обойти все законы оптики и необходимость в длинной подзорной трубе.

Из программных фич в первой версии было управление глубиной резкости и фокусом после съемки фото — наличие фотографий с разных ракурсов позволяло вычислить глубину кадра и наложить неплохой программный блюр. На бумаге все звучало приятно, и до релиза у всех даже была надежда на светлое вычислительное будущее.

В марте 2018 года Light L16 вышла на рынок и… с треском провалилась. Технологически она действительно находилась в будущем, но при цене в $2 000 не имела никакой оптической стабилизации, из-за чего фотографии постоянно получались смазанными (не удивительно при линзах в 70-150 мм), автофокус был слишком медленным, склейка из нескольких кадров давала странные перепады резкости, а в темноте камера вообще была бесполезна, потому что в ней не было алгоритмов типа гугловского HDR+ или Night Sight. Современные мыльницы за $500 с поддержкой RAW уделывали ее со старта, потому продажи быстро прекратили после первой партии.

Однако компания Light на этом не закрылась, а, наоборот, подняла бабла и с удвоенной силой продолжает пилить новую версию. Например, их технологии использовались в недавней Nokia 9, которая страшный сон трипофоба. Ждем новых инноваций, потому что идея явно богатая.

Матан и инстаграм

С выходом инстаграма все помешались на фильтрах. Как человек, который в свое время реверс-инжинирил X-Pro II, Lo-Fi и Valencia в, конечно же, исследовательских (кек) целях, я все еще помню, что состояли они из трех компонентов:

  • Настроек цвета (Hue, Saturation, Lightness, Contrast, Levels и т. д.) — простых цифровых коэффициентов, в точности как в любых пресетах, которыми фотографы пользовались с древних времен.
  • Карты маппинга оттенков (Tone Mapping) — вектора значений, каждое из которых говорило нам: «Красный цвет с оттенком 128 надо превратить в оттенок 240».
  • Оверлея — полупрозрачной картинки с пылью, зерном, виньеткой, и всем остальным, что можно наложить сверху для получения нисколько не банального эффекта старой пленки. Присутствовал далеко не всегда.   

Современные фильтры недалеко ушли от этой тройки, лишь стали чуть сложнее по математике. С появлением аппаратных шейдеров и OpenCL на смартфонах их быстро переписали под GPU, и это считалось дико круто. Для 2012 года, конечно. Сегодня любой школьник может сделать такое же на CSS, и ему все равно не перепадет на выпускном.

Однако прогресс фильтров сегодня не остановился. Ребята из Дехансера, например, отлично упарываются по нелинейным фильтрам — вместо пролетарского тон-маппинга они используют более сложные нелинейные преобразования, что, по их словам, открывает куда больше возможностей.

Нелинейными преобразованиями можно натворить много дел, но они невероятно сложны, а мы, человеки, невероятно тупы. Как только в науке дело доходит до нелинейных преобразований, мы предпочитаем идти в численные методы и напихивать везде нейросетей, чтобы те писали шедевры за нас. То же было и здесь.

Программируемая вспышка

Старые нокии обожали пощеголять вспышками на ксеноне, выжирающими по проценту батарейки с каждой фотографией. Сегодня жизнь стала скучнее и везде ставят простой энергоэффективный LED. Со светодиодом особо не разгуляешься, но мы все равно попытались.

Для начала все перешли на Dual LED-вспышки — сочетание оранжевого и синего светодиодов, яркость которых пытается подстроиться под цветовую температуру кадра. В айфонах это зовут True Tone и управляет им небольшой кусок кода по хитрой формуле. Даже разработчикам не дают ими управлять.

Когда в смартфонах появились датчики глубины и нейросети, мы захотели решить ими главную проблему всех вспышек — пересвеченные лица и вообще передний план. Каждый сделал это по-своему. В айфонах появился Slow Sync Flash — камера искусственно увеличивала выдержку в темноте. В Google Pixel и других андроидах — алгоритм объединения кадров со вспышкой и без. Телефон быстро делает две фотографии — со вспышкой и без. Части кадра, находящиеся близко к камере, берутся из кадра без вспышки, а подсвеченные детали фона из кадра со вспышкой. Получается примерно равномерное освещение.

Дальнейшее применение программируемых мультивспышек весьма туманно. Интересное применение нашли разве что в областях компьютерного зрения, где нужно было с большей четкостью определять границы объектов. Например, так можно сделать схему по сборке шкафа из икеи.

Обработка снимков

Lytro сохраняет снимки в собственном формате LFP (light field picture, изображение светового поля). Каждый файл «весит» в среднем по 16 мегабайт. Чтобы просмотреть фотографии, их необходимо залить на компьютер и обработать для дальнейшего просмотра. Эта задача возложена на программу Lytro Desktop, которая поставляется вместе с фотоаппаратом.

Lytro Desktop долгое время работала только на «маках». В июле 2012 года вышла, наконец, и версия для Windows, но с весьма серьезными ограничениями. Программе нравятся только 64-разрядные версии Windows 7 и Windows 8, да и то в последнем случае необходимо прибегать к режиму совместимости — без него утилита в Release Preview запускаться не желает.

Импорт фотографий в Lytro Desktop начинается после подключения камеры к компьютеру. Программа «пережевывает» снимки медленно. Очень медленно. На перенос 170 фотографий на компьютере с процессором Core i5 второго поколения и четырьмя гигабайтами оперативной памяти ушло больше часа.

«Кликните» на объект, чтобы сделать его резким

После того, как операция переноса завершена, пользователь наконец-то получает возможность просмотреть в Lytro Desktop сделанные на фотоаппарат снимки. И тут начинается магия. Ты становишься повелителем фокуса: по клику курсора люди и предметы на снимке то приобретают резкие очертания, то превращаются в размытые контуры.

Фокус с фокусом, впрочем, проходит не всегда. Чтобы все получилось, композиция снимка должна быть выстроена по-особому: один из снимаемых объектов должен быть непременно размещен на переднем плане, вблизи объектива, иначе эффект сходит почти на нет. Фотографии, все объекты на которых удалены от камеры, выходят «плоскими», игра с фокусом на них выглядит не так завораживающе.

«Кликните» на объект, чтобы сделать его резким

Качество фото далеко от идеала — на снимках встречаются искажения (некоторые — самого неожиданного характера: например, при съемке против солнца можно увидеть на фото «сеточку» — возможно, ее создает тот самый массив микролинз), а при съемке в потемках — шумы. Собственной вспышки у Lytro нет, равно как нет и возможности подключить внешнюю.

«Сеточка» на фото

Lytro Desktop позволяет преобразовать «живую фотографию» (в терминологии создателей камеры — «living picture», то есть снимок, на котором можно выбрать точку фокусировки) в обычное изображение в формате JPEG. Разрешение картинки при этом составит 1080 на 1080 точек, то есть примерно 1,2 мегапикселя.

«Кликните» на объект, чтобы сделать его резким

Снимки, сделанные на Lytro, можно опубликовать в или встроить плеер Lytro в блог, предоставив зрителям возможность перемещать точку фокусировки. Кроме того, разработчики камеры дают пользователям возможность «залить» фотографии на сайт lytro.com (объем пространства пока не ограничен) и делиться ссылками на снимки с друзьями.

Выводы

Главная проблема компании Lytro – излишняя спешка. Технология все еще новая, непривычная и не самая – скажем прямо – нужная сегодня. Дебютная модель камеры была встречена с интересом, однако особенной популярности она не снискала. Ценовая политика была вполне здравой, так что в роли игрушки первая Lytro смотрелась очень интересно. И вместо того, чтобы продолжить привлекать аудиторию и продвигать технологию в массы, Lytro выпустила дорогую громоздкую и совершенно бесполезную камеру Illum. При цене в 1299 долларов устройство нельзя назвать игрушкой, а сама специфика и ограниченная функциональность не позволяют использовать его как инструмент.

Не знаю, на что рассчитывали в Lytro. Идея ведь интересная, а ключевая технология впервые за много лет предлагает что-то новое в такой консервативной области как фотография, но с такой реализацией и ценовой политикой будущее компании видится весьма туманным.

Ссылка на основную публикацию