В МТИ создали технологию восстановления данных с размытых фотографий и видео

    image

    Исследователи Массачусетского технологического института представили технологию, которая позволяет восстановить ценные данные из фотографий и видеозаписей низкого качества. Была использована модель «визуальной депроекции», которая с помощью нейросети сопоставляет низкоразмерные проекции с оригинальными многомерными изображениями и видео.

    Алгоритм способен использовать полученную информацию для воссоздания первоначальных данных из проекции. Проекцией может выступать, например, фото звездного неба, сделанное с большой выдержкой. На таком снимке звезды обычно представляются как размытые полосы из-за того, что меняли свое положение в процессе съемки.

    Ученым же удалось воспроизвести точные кадры снимка с движением людей исходя из информации о траектории движения человека. В ходе эксперимента было записано 35 видео с 30 людьми, идущими в одном месте. В итоге алгоритм точно воссоздал 24 кадра, передав изменение перспективы. Таким образом, нейросеть поняла, что пиксели, которые становятся темнее и шире, скорее всего, означают приближение человека к камере.

    Исследователи отмечают, что в пикселях проекции кроются «подсказки» о многомерной исходной сцене. Цифровые камеры при съемке с длинной выдержкой просто собирают фотоны в каждом пикселе, а при захвате движения камера принимает среднее значение от пикселя, который получает информацию о движении. Затем эти значения применяют к соответствующим показателям высоты и ширины неподвижного изображения, и это создает характерные размытые полосы на траектории объекта.

    По словам ученых, такая модель может быть использована не только для воссоздания видео из размытых изображений, но и для того, чтобы преобразовать 2D-медицинские изображения в более информативные — 3D, которые смогли помочь врачам в их работе. Кроме того, нынешняя методика компьютерной томографии дорога и доступна далеко не всем, особенно в бедных странах.

    «Во всех этих случаях визуальные данные имеют одно измерение — во времени или пространстве — которое полностью теряется. Если мы восстановим это потерянное измерение, у него может быть много важных приложений», — заявил один из авторов статьи Гуха Балакришнан.

    Комментарии 3

      +8
      Чего не хватает в посте, так это примеров работы их технологии
      +2
      КПД низковат:

      В ходе эксперимента было записано 35 видео с 30 людьми, идущими в одном месте. В итоге алгоритм точно воссоздал 24 кадра, передав изменение перспективы


      24 кадра из 35 видео.

      Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

      Самое читаемое