Пленоптическая камера (от лат.plenus, полный + др.-греч.ὀπτικός, зрительный^[1]), также камера светового поля — цифровой фотоаппарат или цифровая видеокамера, фиксирующие не распределение освещённости в плоскости действительного изображенияобъектива, а создаваемое им векторное поле световых лучей (световое поле). На основе картины светового поля может быть воссоздана наиболее полная информация об изображении, пригодная для создания стереоизображения, фотографий с регулируемыми глубиной резкости и фокусировкой, а также для решения различных задач компьютерной графики.

Впервые камера светового поля предложена в 1908 году Габриэлем Липпманом для получения автостереограмм. В 1992 году Эдельсон и Ван разработали конструкцию пленоптической камеры для создания стереопары одним объективом, решающую проблемы параллактического несоответствия краёв снимка^[2]. Для достижения эффекта в фокальной плоскости основного объектива фотоаппарата помещается решётка (растр), состоящая из сферических микролинз. В прозрачных растрах чередуются прозрачные и непрозрачные элементы, отражательные растры состоят из зеркально отражающих и поглощающих (или рассеивающих) элементов. ПЗС-матрица находится позади растра и каждый микрообъектив строит на её поверхности элементарное изображение выходного зрачка съёмочного объектива. При дешифровке полученной совокупности изображений создаётся виртуальная векторная модель светового поля, описывающая направление и интенсивность световых пучков, исходящих из объектива^[3]. В результате на основе этой модели может быть воссоздана картина распределения освещённости в любой из сопряжённых фокальных плоскостей.

Из-за оптических особенностей камер светового поля их разрешающая способность описывается не в мегапикселях, а в «мегалучах»^[4]. Более дешёвая конструкция предусматривает использование вместо массива микролинз растра, состоящего из отверстий. Каждое из отверстий работает, как камера-обскура, создавая элементарное изображение. Растровая маска исключает артефакты, получаемые из-за хроматических аберраций линз, но снижает светосилу всей системы.

При использовании изображений, снятых таким образом, возможны последующий выбор плоскости фокусировки и управление глубиной резкости вплоть до создания резкого изображения сцен, протяжённых в глубину. Выбор любой плоскости фокусировки объектива, жёстко сфокусированного на «бесконечность», происходит в процессе дешифровки данных полученного снимка^[5][6]. Впервые «перефокусировка» готовой фотографии осуществлена в 2004 году командой из Стэнфордского университета. Для этого была использована 16 мегапиксельная камера с массивом из 90 000 микролинз. Элементарные изображения каждой микролинзы регистрировались с разрешением около 177 пикселей. Разрешение итогового изображения соответствовало количеству микролинз и составило 90 килопикселей^[6].

Главный недостаток такой системы — низкое разрешение итогового снимка, зависящее не от характеристик матрицы, а от количества микролинз в растре^[7].

В современной практической фотографии использование камеры светового поля нецелесообразно, поскольку существующие образцы значительно уступают обычным цифровым фотоаппаратам в разрешающей способности и функциональности. Так, для получения конечного изображения разрешением всего 1 мегапиксель требуется фотоматрица, содержащая как минимум 10 мегапикселей^[5]. При этом, реализация сквозного электронного видоискателя сопряжена с большими сложностями из-за необходимости дешифровки получаемого массива данных в реальном времени. Из-за особенностей технологии съёмка всегда ведётся при максимальном относительном отверстии объектива, исключая регулировку экспозиции при помощи диафрагмы. Существующие классические цифровые фотоаппараты оснащаются эффективным автофокусом, дающим резкие снимки при любых скоростях съёмки и более высоком качестве изображения.

В то же время пленоптические камеры отлично подходят для прикладных задач, таких как слежения за движущимися объектами^[8]. Записи с камер безопасности, основанных на этой технологии, в случае каких-либо происшествий могут быть использованы для создания точных 3D-моделей подозреваемых^{[9][источник не указан 2294 дня]}. Дальнейшее совершенствование технологии может сделать её пригодной для цифрового3D-кинематографа, поскольку исключает параллактическое несоответствие краёв кадра, и даёт возможность выбирать плоскость фокусировки на готовом изображении, упрощая работу фокус-пуллера.

Лабораторией компьютерной графики Стэнфордского Университета разработан цифровой микроскоп, работающий по аналогичному принципу с линзовым растром. В микрофотографии возможность регулировки глубины резкости позволяет создавать чёткие изображения сравнительно большой глубины без снижения апертуры.

В 2005 году студентами Стэнфордского университета на основе зеркального фотоаппарата «Contax 645» была создана камера, работающая по таким принципам. Перед матрицей цифрового задника была установлена пленоптическая насадка, состоящая из множества микролинз^[10]. Исследователь фотографии светового поля Рен Энджи (англ.Ren Ng) на основе этой работы написал диссертацию, а в 2006 году основал проект Lytro^[5] (первоначальное название Refocus Imaging),

В 2011 году при поддержке Стива Джобса компания объявила о приеме заказов на разработанную ею камеру, которая стала доступна в продаже в октябре того же года. При разрешающей способности 11 мегалучей камера обеспечивала физическое разрешение 1080×1080 пикселей^[10].

Электротехнической лабораторией компании Mitsubishi разработана камера светового поля «MERL», основанная на принципе оптического гетеродина и растровой маски, расположенной перед фотоматрицей. Любой среднеформатныйцифровой задник может быть трансформирован в пленоптический простой установкой такой маски перед штатным сенсором^[11]. При этом из-за принципиальных отличий маски от линзового растра удаётся избежать снижения разрешающей способности.

Компания Adobe Systems разработала альтернативный проект камеры, работающей на иных принципах. Устройство снимает на 100-мегапиксельную матрицу одновременно через 19 объективов, сфокусированных на различные дистанции. В результате на 19 участках матрицы размером 5,2 мегапикселей каждая, получаются отдельные изображения объекта съёмки с разной фокусировкой. Дальнейшая обработка массива данных позволяет выбрать изображение с нужной фокусировкой или совместить разные для расширения глубины резкости^[12]. Более того, система позволяет создавать трёхмерные фотографии, абсолютно резко отображающие объекты, находящиеся на любых расстояниях, комбинируя резкие участки разных «слоёв» снимка. Компания Nokia инвестирует разработку миниатюрной пленоптической камеры с линзовым растром из 16 ячеек^[13].

В апреле 2016 года анонсирован выпуск цифровой кинокамеры «Lytro Cinema» с физическим разрешением матрицы 755 мегапикселей^[14][15]. Разработчики утверждают, что новая камера стоимостью 125 тысяч долларов избавляет от необходимости использования технологий блуждающей маски и хромакея, поскольку возможно послойное разделение изображений, находящихся на разных расстояниях от камеры^[16]. Кроме того, снятые камерой видеоданные формата lpf, пригодны для создания как «плоских» кинокартин 2D, так и стереофильмов 3D. Главным достоинством «Lytro Cinema» считается возможность отказа от профессии , неустранимые ошибки которого неизбежны при любой квалификации. Фокусировка на сюжетно важные объекты съёмки может быть выполнена на уже отснятом материале с высокой точностью и произвольной скоростью перевода^[17][18].

21.01.2016 / Илья Хапричков

Эту камеру уже тестировал полгода назад Сергей Самсонов, но благодаря своим инновационным технологиям она остается невероятно интересным устройством и Илья Хапричков не смог обойти её своим вниманием.

Итак, тест Lytro Illum – дубль два в новом исполнении.

Lytro Illum – камера светового поля. Звучит классно. И мы попытаемся погрузиться с ней в пленоптическую вселенную :).

Автору теста, с полученной для теста камерой было страшно спускаться в метро, потому что, если бы его остановили для осмотра сумки и спросили – что это у вас за камера? Он бы ответил – это не камера, это бомба!

Lytro ILLUM: самая необычная камера в мире

Со всеми вытекающими…

Что же это за камера и для кого она. Давайте попробуем представить знакомство обычного фотолюбителя.
Что это?
  -Пленоптическая камера.
У неё быстрый автофокус?
  -Он ей не нужен.
А что насчет диафрагмы?
  -Только 2.0.
Сколько мегапикселей?
  -Тут 40 мегалучей…

Сенсор в этой камере довольно маленький, с кроп-фактором 3,19, зато объектив хороший и зум 30-250 мм с постоянной светосилой. Дизайн впечатляющий –  ощущение, что будущее уже настало и восстание машин не за горами. Корпус очень удобный, кнопок немного, но их можно настроить под свои потребности, тоже и с меню. Плюс откидной экран. Словом, 5 баллов из 5 возможных.
Но, конечно, главная особенность – не нужно фокусироваться. Отщелкали все подряд, скинули отснятое на компьютер и тут начинается волшебство. Вы можете сфокусироваться уже после постобработки. Хотя камера снимает на F2.0, значение диафрагмы можно менять на ступенчатом эндофильтре.

Какие же выводы можно сделать после недели использования данного устройства?
Она хороша для путешественников, которые много ездят, снимают и постоянно постят свои фотографии. Итогового разрешения в 4 МП для таких целей – более чем достаточно. К тому же, в каких-то экстремальных условиях (горах, джунглях…), где сложно отвлекаться на настройки и фокусироваться на какой-то объект, она будет как нельзя кстати.

Эта камера подойдет в рекламной съемке бижутерии, украшений, макросъемки каких-то деталей. Можно быстро отснять нужное и спокойно на компьютере выбрать нужную фокусировку, перспективу, создать ощущение объема. Такие слайд-шоу будут смотреться эффектно, интересно и ваши заказчики будут довольны.

Камера подойдет для тех, кто любит фантазировать, кому привычные каноны фотосъемки уже кажутся неинтересными.  Для тех, кто хочет раздвигать границы привычного и смотреть в будущее, поскольку эта камер – скорее всего и есть будущее.

Если вы человек, который любит искать что-то новое и раздвигать рамки привычного, то вполне возможно, эта камера для вас.  

Теги: lytro, пленоптическая камера, тест, илья хапричков, видео

comments powered by HyperComments

Камера LYTRO

Работа с файлами

Буквально считанные часы были у меня, чтобы ознакомиться с камерой LYTRO. Однако впечатления были столь яркими, что я решил написать эту статью. Если рассматривать эту камеру среди других фотоаппаратов, то на данный момент это не практический инструмент, а занимательная игрушка и хорошее наглядное пособие. Идеи, лежащие в основе этой камеры, древни, как мир. Природа реализовала их сотни миллионов лет назад, создав фасеточный глаз насекомых.

Человечество технически попыталось реализовать эту идею лет сто назад. Растровая интегральная фотография связана с именем Габриэля Липмана, получившего в 1908 году Нобелевскую премию по фотографии, правда, не за интегральную растровую фотографию, а за интерференционную. Цель наглядного пособия – показать существование явления и продемонстрировать принципы, лежащие в его основе. С демонстрацией у камеры LYTRO все очень хорошо, а с познавательностью и принципами – не так просто. Есть достаточно короткое описание на сайте проекта и существенно более полное в диссертации Ren Ng. Диссертация «стандартных» размеров, в 200 страниц. Автор, безусловно, руководствовался заповедями диссертанта: «Не пиши длинно: диссертация не «Война и мир», а ты не Лев Толстой. Не пиши кратко, это свидетельствует либо о большом таланте, либо о скудости ума; ни того, ни другого ученый совет тебе не простит». В общем, диссертация очень интересная, но на пальцах изложить ее содержание я не берусь. Отмечу только, что в солидной библиографии среди работ, положенных в основу, упоминаются и труды 1930-х годов ведущего сотрудника ГОИ Андрея Александровича Гершуна, который, в том числе, является и одним из основоположников гидрооптики, которой я отдал значительную часть своей жизни.

Итак, что из себя представляет камера. Маленький параллелепипед, в одном торце которого виден объектив, другой ее торец целиком занимает сенсорный квадратный экран.

На верхней грани сенсорный ползунок, позволяющий менять фокусное расстояние объектива, и кнопка спуска затвора. На нижней грани кнопка питания и разъем micro USB. Если включить камеру, то у нас есть возможность касанием экрана выбрать точку фокусировки или точку, по которой будет оцениваться экспозиция, сделать снимок и потом его рассматривать. Экран довольно грубый, примерно 240х240 точек, тем не менее, он позволяет увидеть и оценить тот эффект, ради которого была сделана камера. А именно, касанием экрана можно сфокусироваться на любой точке снимка. Т.е. фокусировка возможна не до, а после.

Камера записывает не изображение, а ход лучей.

Чтобы посмотреть это более подробно и попытаться понять, как же это все работает, надо подключить камеру к компьютеру. На момент моего знакомства с камерой была только одна возможность: подсоединить ее к компьютеру фирмы Apple (24 июля 2012 года анонсировано и программное обеспечение для Windows).

В этом случае компьютер скачает с камеры программное обеспечение, установит его и позволит перенести снимки на компьютер. После этого, запустив программу, можно рассматривать полученные снимки уже размером 1080х1080 точек. Для того, чтобы поделиться снимками со знакомыми, предусмотрена только возможность выложить их в Интернете на сайте производителя, где с помощью проигрывателя, построенного на технологии Flash, можно поиграть, меняя точку фокусировки снимка. Предусмотрена возможность вставить ссылку на проигрыватель и в тело собственного html файла.

Возможность редактировать снимки или хотя бы просто записать их на внешний носитель не предусмотрена. Однако «голь на выдумки хитра», и дотошные пользователи обнаружили на компьютере папочку, в которой сложены снимки двух типов *.lfp и *-stk.lfp (Ссылки позволяют скачать примеры файлов).  А Nirav Patel научился разбирать эти снимки на составляющие. Для этого он написал программу lfpsplitter, которая преобразует эти файлы в несколько файлов, но уже в привычном или достаточно легко читаемом формате. Файл *.lfp представляет собой сырую информацию с матрицы. После применения к нему программы преобразования:

Получаем следующие файлы: IMG_0001_table.json, IMG_0001_imageRef0.raw, IMG_0001_metadataRef.json, IMG_0001_privateMetadataRef.json. Применив к IMG_0001_imageRef0.raw программу raw2tiff из пакета Libtiff:

Получим стандартное изображение в формате TIFF, на котором увидим группу изображений, созданных микролинзами. В результате, мы получим матрицу, на которой расположено 300х300 микроизображений.

Миниатюра сырого снимка. Красным квадратом отмечено положение фрагмента, приведенного ниже.

Фрагмент при верстке увеличен в два раза. Грубо говоря, светящаяся точка представляется, кружком чей диаметр зависит от расстояния до объекта.

Файл *-stk.lfp представляет собой стопку снимков, сфокусированных в разных плоскостях, и карту глубин. После применения к нему программы преобразования:

получаем следующие файлы: IMG_0001-stk_table.json, IMG_0001-stk_depth.txt, IMG_0001-stk_0.jpg, …, IMG_0001-stk_N.jpg.

50% миниатюры двух снимков из стопки. Щелкнув по ним мышью, можно увидеть исходное изображение.

Снимки в стопке – в формате JPEG и содержат уже 1080х1080 точек. Достаточно легко себе представить, как из сырого снимка можно получить стопку снимков с разрешением 300х300. Если себе представить, что мы снимаем светящуюся точку, расположенную на разных расстояниях от аппарата, то ее изображение будет представлять из себя кружки, диаметр которых будет связан с расстоянием до объекта. Таким образом, беря яркость концентрических колец, мы можем получить стопку снимков, сфокусированных в разных плоскостях. Начиная с некоторого расстояния точки до аппарата, ее изображение будет фиксироваться уже не одной линзой микрорастра, а несколькими. Но и эту систему уравнений можно попытаться достаточно просто решить. А вот достижение авторов проекта, позволившее удевятерить разрешение, является нетривиальным.

Да, на сегодняшний момент это только игрушка. 12 Мп матрица этой камеры позволяет получить 1 Мп изображение. Если снять 12 Мп обычной мыльницей с той же дистанции тот же объект, то за счет диафрагмирования и преобразовав его в 1 Мп изображение, мы получим снимок, на котором все объекты будут резкими независимо от дистанции до них.

Снимок сделан сделан с той же точки, что и камерой LYTRO, но уже камерой Canon A650 при диафрагме F:8 и фокусном расстоянии 7 мм. Взят фрагмент кадра.

Таким образом, вся самая интересная информация, которую позволяет получить камера LYTRO, лежит не в стопке снимков, а в текстовом файле IMG_0001-stk_depth.txt, содержащем карту глубин.

Я написал простенькую программу на Gambas3, которая создает из этого текстового файла изображение, где расстоянию до объекта соответствует плотность серого. Чем темнее, тем ближе. Исходный код можно скачать здесь.

Воспользовавшись фильтром для графического редактора GIMP:

И применив к двум вышеприведенным снимкам нашу карту глубин получим:

Объединив всю стопку снимков, записанных камерой LYTRO, мы в лучшем случае получим снимок, резкость которого во всех плоскостях будет такой же, как у снимка, снятого обычной мыльницей. А вот карта глубин, записанная камерой, позволит из этого снимка выделить объекты, находящиеся на разной дистанции.

Lytro Illum — новое поколение камер светового поля

Если применить эту карту глубин к снимку, снятому мыльницей, мы можем получить, с помощью достаточно простого проигрывателя, возможность менять точку фокусировки. Таким образом, мы получаем возможность получить изображение, довольно точно соответствующее снимку, сделанному с куда более светосильным объективом с очень маленькой глубиной резкости даже при использовании маленькой по площади матрицы.

Файл IMG_0001-stk_table.json связывает файлы в стопке с информацией о расстоянии. К сожалению, в стопке файлы расположены не в порядке изменения расстояния, а идентификатор, указанный в этом файле, при разборе на составляющие программой lfpsplitter не записывается в файл JPEG. Поэтому он практически бесполезен и, чтобы определиться, необходимо посмотреть в двоичном редакторе исходный файл IMG_0001-stk.lfp. В результате, я написал программу просмотра только для конкретного снимка, вставив параметры и номера файлов прямо в текст программы. Для полноценной программы просмотра надо было писать собственную программу разбора исходного файла на составлявшие. Кроме функций просмотра, данная программа может объединять снимки, показывая для каждого из 400 квадратов, на которые разбита карта глубин, самый резкий фрагмент. Исходный код можно скачать здесь.

Для конкретного снимка несложно сделать и собственную программу демонстрации по технологии Flash. Нижеприведенная программа не только перефокусирует снимок, но и показывает зону одинаковой, по мнению камеры, резкости.

Камера LYTRO – это первый работающий и очень добротно сделанный прототип, показывающий, куда дальше может развиваться фотография. Уже сегодня можно сделать матрицы с размером чувствительного элемента столь маленьким, что практически не найдется объективов, которым такое разрешение полезно. Группировка же чувствительных элементов за микролинзовым растром позволит получить дополнительную информацию. При размере пикселя, таком же, как и в камере LYTRO, но используя матрицу 25х25 мм, мы могли бы уже получить не 1 Мп, а 25 Мп изображение, из которого потом можно легко выбрать нужную плоскость фокусировки. Если реализовать видеосъемку с таким разрешением, то любимый многими режиссерами прием фокусировки на сюжетно важном объекте можно сделать независимым от мастерства оператора и реализовывать его на этапе монтажа. Кроме того, микрорастр открывает возможности получения стереоизображения.

На сегодняшний момент, к сожалению, камера LYTRO это игрушка не под Linux. Похоже, что проблема программного обеспечения состоит только в драйвере USB. Если бы память камеры была видна как съемный диск, никаких проблем с работой в других операционных системах не было бы. Хотя здесь есть одна неясность. Файлы, которые мы научились разбирать, скачаны с MacBook, и непонятно, файл со стопкой снимков был получен и обработан камерой или уже компьютером.

04.09.2012

27.11.2012 /

Lytro – пленоптическая камера, не требующая фокусировки, выпускаемая компанией Lytro (стартап Ren Ng– выпускника Стенфорда). Камера работает методом световых полей, то есть сенсор камеры записывает не только информацию о цвете и интенсивности света, но также и векторную информацию о направлении света в каждой точке изображения, тем самым получая более полную информацию о снимаемом сюжете, нежели обычная камера.

Согласно последним данным новое обновление ПО, которое появится 4-го декабря позволит, помимо изменения фокуса, также менять перспективу и добавлять некоторые фильтры. После того, как владелец устройства установит полученное обновление, в меню фотографии появляются два новых пункта: Perspective Shift и Living Filters. Конечно, значительно сменить перспективу не получится, но и то, что есть, вполне достойно. Всего разработчики планируют добавить девять разных фильтров.

Ярче всего отзываются о фильтрах Film Noir, Crayon, и Carnival. Они позволят значительно изменить фотографию. Радует, что все фильтры и опции новой прошивки можно будет применить и к уже сделанным снимкам.

А теперь поговорим немного о самом устройстве.

Материалы: металл с цветным напылением (красный, серый, голубой) и прорезиненный пластик.

Экран — тач скрин.

На камере:

• Снизу кнопка вкл/выкл
• Там же гнездо microUSB
• Сверху кнопка захвата изображения, там же чувствительная зона зума: небольшие зубчики прямо на пластике, ведешь по ним пальцем слева-направо происходит zoom in, справа-налево — zoom out

Пользователи отмечают очень высокую скорость включения и удобство пользования камерой.

Пока непонятна сфера применения данного устройства, да и инструментов для работы со световыми полями и форматом .lfp не так то много, но интерес определенно будет. Цена варьируется от 400$ до 500$, так что игрушка выглядит дороговатой. Но своих фанатов данная камера явно найдет. 

Подробнее с продуктом можно ознакомиться на официальном сайте, там же можете потыкать в фотографии и посмотреть, как это всё выглядит. 

Теги: lytro, инновация, анонс

comments powered by HyperComments

17.09.2015 /

Дистрибьютерская компания «Марвел» в начале этого года подписала контракт на эксклюзивное представление в России камеры Lytro Illum, а теперь начинает её поставки в торговые сети. Первая камера The First Generation Lytro с возможностью изменения фокусировки уже после процесса фотосъемки появилась в 2012 году и была встречена с огромным интересом по всем параметрам – и технологическим и дизайнерским. 

Через 2 года была представлена Lytro Illum, пленоптическая камера камера второго поколения с более совершенными технологией и программным обеспечением, а также дизайном, которые не оставит никого равнодушным. Благодаря особому алгоритму Light Field камера в момент съемки записывает информацию о параметрах съемки, благодаря чему постфактум и можно менять фокусировку, значение диафрагмы, глубину резкости посредством изменения этих параметров.

Ресурсу PhotoWebExpo одному из первых в России удалось получить Lytro Illum на тестирование, результаты которого, в том числе и видеотест, были опубликованы в начале лета.
Камера оснащена светосильным зум-объективом 30-250 мм F/2, большим наклонными ЖК-дисплеем, интерфейсами Wi-Fi и USB 3.0,

В ближайшее время Lytro Illum можно будет увидеть в розничной продаже. Рекомендованная розничная цена –79 990 рублей.

Теги: lytro, фотокамера, бизнес

comments powered by HyperComments