Объемные картинки 3д: Стерео картинки или 3D стереограммы смотрите в этой галерее.

Стереокартинки — тренировка ума и глаз

Все ли знают, что стереокартинки(они же 3D – картинки, объемные картинки, волшебные картинки, Magic eye) представляют собой не только предмет развлечения, но также являются прекрасным тернажером для мозга и глаз?

Для глаз: при рассматривании стереокартинок глаз меняет свою привычную точку фокусировки- это снимает напряжение глаз и улучшает кровообращение, что способстует сохранения остроты зрения.

Для ума:  рассматривание  3D – картинок позволяет привести мозг в изменненное состояние сознания. До полного проявления картинки мозг пыстается угадать, что же нарисовано на ней; концентрируется внимание; ум комбинирует части изображения, активно сопоставляя и дорисовывая. Таким образом еще и тренируется вображения, поскольку не всегда удается увидеть то, что на самом деле нарисовано — часто включается игра нашей фантазии.

Кроме того, существуют стереокартинки, совмещенные с загадками, ребусами, задачками, что несомненно еще больше повышает их степень полезности для развиия эруиции.

Как смотреть стереокартинки: существует несколько вариантов, но на мой взгляд, самый быстрый способ заключается в следующем: приблизьтесь к монитору на такое расстояние, чтобы взгляд получился расфокусированным. Лучше всего приблизиться вплотную чтобы изображение расплылось. Потом медленно отдаляйте голову от монитора (картинки), но взгляд не меняйте. Когда  начнете отдаляться, некоторые фрагменты картинки будут приближаться к вам, а некоторые отдаляться, изображение начнет «плясать» и преобразовываться. Смотрите спокойно, стараясь не моргать, не бегать взглядом по картинке. Смотрите внимательно на эти изменения и увидите тpехмеpное изображение. Когда изображение «поймано» можно внимательно рассмотреть все детали объекта или нескольких объектов.

Существуют простые стереокартинки, на которых изображен какой-либо рисунок:

А также стереокартинки-головоломки.
Задание: Нужно собрать слово из букв изображенных на стереокартинке. Внимательно рассмотрите картинку и назовите это слово?

Немного тренировок и картинка будет всплывать легко и быстро. Тенируйтесь на здоровье!:)

Трафареты для 3Д ручки — объемные картинки

RUB

400р

Нет в наличии

 

Доставка: Самара

Стоимость доставки рассчитывается при оформлении заказа на сайте или по телефону через наших менеджеров по тарифам транспортных компаний.

Наши службы доставки: Boxberry, КСЕ , Почта России

Надежная гарантия 1 мес.

Трафареты для 3Д-ручки пригодятся новичкам, которые впервые рисуют объемные фигурки при помощи только что купленного прибора, а также опытным художникам, которые хотят создать что-то новое. 

На каждом трафарете для 3D ручки нанесены несколько деталей — вам нужно будет обвести ручкой каждую из них, а затем соединить всё в одну модель, получив объемный автомобиль, паровоз, дом и многие другие объекты. Итоговый вид создаваемого вами сооружения или транспортного средства также изображён на трафарете, поэтому даже у малышей не возникнет проблем с рисованием по шаблону для 3Д ручки. В комплект входят:

• 20 листов с разными объектами (зданиями, транспортом, предметами, животными).

3D картины на стену от студии Арона Оноре: фото, цены, примеры работ

3D-рисунки на стенах – это тот самый эффект «вау» у любого, кто только зашёл в помещение. Ни одна другая картина или даже самые яркие обои не способны создать такое незабываемое впечатление, как объёмный рисунок. Особенно если он нанесён на стены. Гиперреализм способен взбудоражить воображение, перенести в другой мир и подарить массу эмоций.

Художественная роспись стен известна еще с античных времен. Уже древние греки украшали свои дома при помощи натуральных красок, иногда комбинируя их с барельефами и скульптурами. Но время не стоит на месте, мировой прогресс движется и приносит все новые веяния непосредственно из искусства в быт. Набирает популярность декорирование при помощи 3D рисунков на стенах, которые располагаются на стенах квартиры. Очень необычный способ освежить пространство, который может даже визуально расширить его.

Как создаются 3d-рисунки на стенах

Есть несколько способов создания такого необычного объёмного рисунка на стенах дома. Проще всего, конечно же, заказать уже готовое трехмерное изображение, которое уже нанесено на ткань. Пользователю нужно будет всего лишь закрепить изображение на желаемом месте. 3д изображения на стенах весьма практичны и иногда интерьер можно изменить без приложения каких-то существенных усилий или ремонта. Они универсальны, их можно использовать в любой комнате.

Если же искать легкие пути это не про вас, существуют более сложные варианты покрытий, в которых изображение наносится не только при помощи краски, но и дополняется специальными материалами, которые достоверно имитируют песок, дерево или камень.

Это более сложный и дорогой способ украсить свой интерьер в квартире, однако и результат более качественный, детальный и атмосферный.

Кроме того, 3D рисунком на стенах можно покрыть не всю стену, а лишь часть. Для этого существуют различные картины, плакаты и наклейки со специальными объёмными фигурами на стенах. Среди них существует разновидность картинок, которые видно только в особых условиях – в темноте или под ультрафиолетом.

Кроме готового 3д изображения на стенах, можно использовать художественную роспись стены руками профессионального художника. Этот способ позволяет сделать интерьер вашего дома по-настоящему уникальным. Ни у кого больше такого никогда не будет.

С чего стоит начать, прежде чем наносить объёмный рисунок на стену в квартире? Правильно, необходимо ее подготовить. Сперва стену нужно очистить: избавиться от старых потрёпанных обоев. Убрать остатки краски и штукатурки. Выровнять. По стандарту стены выравнивают двумя способами — при помощи мокрой штукатурки или же сухого гипсокартона. После этого нужно выбрать материалы, которыми будет наноситься рисунок.

Основные методы создания 3д-изображения на стенах жилого помещения:

1. Трафареты. Все достаточно просто и доступно – нужно повторить рисунок по трафарету.
2. Аэрография. Не самая сложная в исполнении техника. Важно только то, что для качественной росписи стены таким способом необходимо специальное оборудование – аэрограф, снабженный компрессионным аппаратом. Простые баллоны для граффити не подойдут из-за большого давления, нагнетаемого изнутри. Оно нивелирует тонкие переходы, которые так необходимы для создания 3D-рисунка на стенах.
3. Масляная 3д-покраска стен. Они не так сложны в нанесении, сколько сложны в уходе. В первую очередь масляные картины покрываются специальным лаком из пихты, который противостоит естественному разрушению. После того как лак был нанесен, дополнительной защиты уже не требуется, но нужно регулярно очищать при помощи бархатной тряпочки. Ткань не должна быть сырой, лишь слегка влажной, потому как масляная картина закономерно впитает влагу. Иногда можно снимать холст со стены и пылесосить его.
4. Стемпинг. Нанесение рисунка на стену при помощи специальных штампов. В качестве штампов используются как уже готовые штампы, так и все, что есть под рукой. Например, губки, форма которых подрезана под определенную фигуру – круг, квадрат, треугольник, все зависит от задумки автора. 3д-оформление стен получится в оригинальном стиле.

Теперь, когда определились с материалами и техникой нанесения покраски, нужно решить, какие выбрать цвета. Всем известно, что существуют удачные и неудачные сочетания цветов. Некоторые пары и тройки цветов попросту лучше гармонируют и дополняют друг друга. Необходимо ответственно отнестись к выбору цветовой гаммы, так как в этом интерьере, возможно, придется провести несколько лет.

Если не получается определиться с цветовыми решениями самостоятельно, то лучше всего ознакомиться с уже готовыми.

Рисунки в детской

Наверное, оформление детской комнаты по-особенному важно как для ребенка, так и для родителя, поэтому к выбору оформления в детской комнате нужно подойти с большей ответственностью.

Пожалуй, 3d-рисунки на стенах будут наиболее уместно смотреться именно здесь, в месте, где живет главный мечтатель всего дома.

Можно не сдерживать фантазию и дать ей волю, а еще лучше подключить к работе будущего жителя этой комнаты. Можно деталь не только 3d-стены, но и пол, потолок, даже мебель – и все это будет смотреться уместно. Но есть и некоторые нюансы, которые следует учесть.

1. Дети не любят резкие контрасты и им не нравится монохромность. Нужно соблюсти баланс, иначе это может существенно сказаться на психике ребенка.
2. Ребенку в этой комнате жить и взрослеть, становиться личностью. Лучше всего сделать все сюжеты позитивными и мотивирующими. Так можно воспитать конкретные качества.

Не забывайте, что 3д-роспись стен не открывает что-то новое в дизайне, но создает уникальную атмосферу. Это может быть именно та атмосфера, в которую действительно захочется возвращаться каждый день с утомительной работы, именно та атмосфера, которая позволяет называть дом домом.

Заказать 3d-рисунки на стенах или научиться их делать можно в студии Арона Оноре. На стену будет перенесён рисунок с фото с максимальной реалистичностью. Работа выполняется профессиональными инструментами и качественными красками.

Объёмные открытки, от СССР до наших дней.

Давным-давно, когда в нашей стране ещё и слыхом не слыхивали про Аймакс и 3D, советских людей невероятно удивляли импортные стереоотрытки. Это казалось совершенно невозможным — на тонком листе картона зритель видел объёмное изображение! Впервые узрев такое чудо, люди не могли поверить своим глазам, они тыкали в картинку пальцами, и даже заглядывали на оборотную сторону.Самой первой из таких чудо-картинок была вот эта подмигивающая японка:

В те годы нам казалось, что мы видим что-то невероятное. Стоило изменить угол зрения, и девушка подмигивала! Сегодня конечно же эта картинка выглядит смешной и плохо сделанной, в глаза сразу же бросается что когда она моргает, то у неё рефлекторно прикрывается и второй глаз, к тому же она зачем-то закрывает рот. Но тогда мы ничего такого не замечали, нам казалось что мы видим чудо. Такие открытки были большим дефицитом, и встречались чрезвычайно редко.

Вскоре и отечественная промышленность освоила выпуск объёмных изображений. Но развратные девицы были чужды идеалам строителя Коммунизма, поэтому подавляющая часть стерооткрыток имела детские сюжеты. И разумеется, по традиции «Наши микросхемы — самые большие микросхемы в мире!», советские 3D открытки получились максимально ужасными. Они демонстрировали отсутствие чёткости, жуткий растр:

И крайне слабый стереоэффект:

И лишь когда они выпускались крупнее стандартного размера карманного календарика, на них можно было хоть что-то рассмотреть:

Впрочем, и тогда стереоэффект на них оставался крайне слабым.

Разумеется, никак не могли остаться в стороне от прогресса и дельцы от религии. Но по причине отсутствия научно-производственной базы, шаромыжники не смогли повторить даже убогие открытки Союзпечати. Оказавшись в безвыходной ситуации, эти люди изобрели совершенно новый, нигде ранее не использовавшийся метод Православного стерео: две разные фотографии разрезались на узкие полоски, склеивались тыльной стороной, и объединялись в сложную конструкцию, напоминавшую жалюзи. Затем всё это накладывалось на третью, и всё это заключалось под стекло. Результат конечно же получался так себе:

В современной России жанр объёмной картинки практически умер, чудом сохранившись только в самых запущенных провинциальных фотостудиях, где обывателям до сих пор предлагается услуга с модным названием «3D-портрет», который на самом деле является всё той же пошлой стереооткрыткой.

Со временем стало казаться, что уже ничто и никогда не сможет вдохнуть новую жизнь в старую технологию, но некоторые политические события на нашей Родине всё-таки сподвигли одну небольшую артель на выпуск прекрасного в своей лаконичности магнитика на холодильник:

Конечно старого пса не научить новым трюкам, и в наши дни на объёмной картинке по-прежнему чередуются всего лишь два портрета, но в этом магнитике есть надежда. Надежда на то, что такой магнитик не повторится…

Все картинки из этого поста — персональная коллекция автора, который подобную хрень с большим удовольствием собирает.

3D очки — что это такое

Современные технологии трехмерной графики позволяют наслаждаться объемным изображением в момент просмотра фильмов либо играя в игры. Однако стоит отметить, что для этого вам потребуются 3D очки, которые и создают эффект объемного изображения.

0.1. Пример 3D очков

Благодаря тому, что в наше время не существует каких-либо стандартов 3Д изображения, перспективы каждой из технологий трехмерной графики имеют весьма большие перспективы. На данный момент существует две технологии 3D изображения:

• Активная;
• Пассивная.

Обе технологии способны обеспечить достаточно высокий уровень качества изображения. Но при этом для каждой из технологий необходимы определенные 3D очки. К примеру, каждый хотя бы раз видел очки с разными линзами – синяя и красная (или зеленая и красная). Это самый старый вид 3D очков, который использовался в кинотеатрах. Они работают по пассивной технологии. То есть само изображение на экране разделяется на два видимых цветовых спектра, которые фильтруются очками. Благодаря этому каждый глаз видит отдельную картинку, что в свою очередь создает эффект трехмерного изображения.

1. Что же такое 3D очки

Это специальный вид очков, которые не имеют диоптрий. Они могут быть изготовлены по разным технологиям. Также как и сама технология трехмерной графики очки подразделяются на два вида:

• Активные 3D очки;
• Пассивные 3D очки.

Именно благодаря очкам создается эффект объемной картинки. Таким образом, если пытаться смотреть 3D фильм не вооруженным глазом вы не сможете ощутить трехмерного эффекта. Чтобы понять принцип работы 3D очков необходимо разобрать принцип самой технологии.

1.1. Как достигается 3D эффект в изображении

3Д означает трехмерный. То есть, говоря о том, что такое 3D очки следует понимать, что это очки для трехмерного изображения. Что такое трехмерное изображение? К примеру, двухмерное изображение – это рисунок на плоскости, который имеет только два измерения – высота и ширина. Если к этим измерениям добавить глубину, то получится трехмерная картинка.

В реальном мире любой физический объект имеет три измерения. Более того, зрение человека способно оценивать приблизительные параметры этого объекта – примерную длину, ширину и глубину. Это достигается благодаря тому, что у людей есть два глаза, которые располагаются на некотором удалении друг от друга. Это обеспечивает разную перспективу изображения.

К примеру, если посмотреть на какой-либо объект на небольшом расстоянии каждым глазом поочередно, то можно будет увидеть предмет с разных сторон. То есть вы заметите, как сама картинка немного меняется. Когда человек смотрит на объект сразу двумя глазами, в мозг поступают два раздельных изображения, которые отличаются друг от друга. Далее благодаря работе головного мозга два этих изображения объединяются в одну объемную картинку.

Именно на этом свойстве человеческого зрения и восприятия работает и технология 3D изображения. Другими словами, телевизор отображает специальную картинку, которая по определённой технологии разделена на два видимых изображения. Если смотреть невооруженным взглядом, то вы ничего не поймете, однако 3D очки имеют специальные линзы, которые разделяют изображение на две раздельные картинки. Таким образом каждый глаз видит отдельную картинку, что в последствии работы мозга создает эффект трехмерного изображения.

1.2. Виды 3D очков

Как вы уже знаете, 3D очки подразделяются на два вида. В зависимости от технологии, по которой работает телевизор, выбираются и очки. Самым простым и давно известным видом трехмерных очков являются бумажные очки, которые имеют синюю и красную линзу. Их главное преимущество заключается в низкой стоимости и доступности. Однако при помощи таких 3D очков вы не сможете достичь полного трехмерного эффекта.

Отдельного внимания требуют современные 3D очки с поляризационными линзами, а также модели, работающие по активной технологии.

1.2.1. Поляризационные 3D очки

Поляризационные трехмерные очки работают по пассивной технологии. Сама технология построена на том, чтобы разделить отображаемое изображение на экране телевизора на две разные картинки. Из названия уже понятно, что для разделения изображения используются поляризационные 3D очки. На экране такое разделение осуществляется через строчку. То есть все изображение разделяется на определенное количество строк. Все четные строки формируют первую часть изображения, в этот же момент все нечетные строки формирую вторую часть изображения.

Именно для разделения строк и используется поляризация. То есть, четные и нечетные строки имеют различный спектр излучения (поляризацию). Вот здесь вступают в дело 3D очки, которые имеют разные линзы. К примеру, правая линза полностью блокирует спектр излучения всех четных строк и свободно пропускает изображение нечетных. В этот же момент левая линза полностью блокирует изображение нечетных строк, пропуская спектр излучения всех четных.

Таким образом, благодаря 3D очкам каждый глаз видит различную картинку. А дальше мозг обрабатывает получаемые изображения, формируя объемную картинку.

1.2.2. Активные 3D очки

Принцип действия такой технологии заключается в том, что в 3D очках имеются активные затворы и инфракрасный датчик. В момент просмотра фильма телевизор посылает сигналы в определенные моменты, 3D очки принимают эти сигналы, закрывая и открывая затворы на линзах. Стоит отметить, что затворы закрываются поочередно (левая, потом правая, потом снова левая и так далее).

Все происходит настолько быстро, что человеческий мозг просто не успевает понять, что происходит. Благодаря этому активные 3D очки обеспечивают различную картинку для каждого глаза. Далее мозг обрабатывает картинки и превращает их в трехмерное изображение.

Такие 3D очки могут подключаться к телевизору специальным кабелем, либо работать дистанционно, однако в таком случае им требуются элементы питания (батарейки). Недостаток беспроводных моделей заключается в том, что батарейки прибавляют вес, из-за чего при длительном просмотре они могут доставлять некоторый дискомфорт.

Главное преимущество данной технологии заключается в том, что зритель может видеть все 1080 строк изображения. Таким образом, вы можете смотреть 3D фильмы в FullHD разрешении, что не только усиливает эффект 3D, но и делает картинку более приятной для восприятия.

Конечно, такие 3D очки имеют более высокую стоимость, чем обычные поляризационные модели. Однако они пользуются наибольшим спросом благодаря неоспоримым преимуществам. Активные 3D очки позволяют насладиться наиболее качественным и реалистичным трехмерным изображением. Стоит отметить, что такие 3D очки могут работать только с определенными телевизорами, которые имеют ИФ датчик. Другими словами, к определенной модели телевизора подходят только конкретные 3D очки. Это объясняется тем, что датчики в очках и телевизорах должны быть настроены на определенную частоту излучений.

1.2.3. 3D очки для просмотра 3D фильмов

Если говорить именно о просмотре трехмерных фильмов, то стоит отметить, что недостаточно просто иметь 3D очки и 3Д телевизор. Сам фильм также должен быть трехмерным. Что это означает?

Современные трехмерные фильмы снимаются специальными камерами, которые имеют два объектива (схоже с устройством человеческих органов зрения). Таким образом, получается изображение, которое схоже с тем, что видит человек. Только видео, снятое такой камерой может быть разделено на две картинки, для восприятия которых необходимы 3D очки.

2. IMAX 3D — как показывают объемное кино: Видео

Конечно, современная техника и компьютерные разработки позволяют перерабатывать обычное изображение в трехмерное. То есть сделать из обычного фильма трехмерный. Для просмотра такого фильма также потребуются 3D очки. Однако стоит отметить, что «честное» трехмерное видео, которое было снято специальной камерой, имеет более высокую реалистичность и качество.

Как можно предположить, сами по себе очки для просмотра 3D изображений могут оказаться абсолютно бесполезными без специального телевизора и трехмерного видео. В случае с поляризационной технологией так и есть. Однако одним из преимуществ активной технологии является тот факт, такие 3D очки и телевизор делают обычное видео трехмерным. Как это возможно?

Все очень просто. Дело в том, что для достижения трехмерного эффекта не требуется разделение картинки. Все делают активные 3D очки. Конечно, для достижения полноценного эффекта объемного изображения вам потребуется видео, которое имеет минимум 50 кадров в секунду.

К примеру, обычное видео имеет 24 кадра в секунду. То есть глаз видит 24 последовательных картинки в секунду, а мозг превращает эти картинки в видео. Для того, чтобы активные 3D очки смогли полноценно работать, создавая эффект объемного изображения, каждый глаз должен видеть по 24 кадра в секунду. В сумме получается 48 кадров в секунду, по 24 для каждого глаза в отдельности. Именно с такой минимальной частотой работают активные 3D очки. При этом, чем больше количество кадров, тем более качественный эффект 3Д и тем более приятным будет изображение для восприятия.

3д фотообои в современном интерьере

Более 20 лет назад стали появляться первые стереокинотеатры. Здесь демонстрировались художественные и документальные фильмы, просмотр которых должен был происходить только в специальных металлических очках с уникальными линзами. Через эти очки изображения, которые показывали на экране, казались объемными.

Попозже стерео технология перекочевала в наше время. В кинотеатрах стали показывать более эффектные фильмы со стереоэффектами, но как сейчас их называют с 3D эффектами. Очки для просмотра фильмов стали более легкими и комфортными для зрителей.

В специализированных магазинах появились уникальные 3д фотообои, изображения на которых выглядят максимально реалистично. На такие обои не надо смотреть через специальные очки. Человек, который впервые видит фотообои 3Д, думает, что картинка выступает за грани стены, выходя за рамки полотна, на котором она и изображена. Хочется протянуть руку и потрогать объемную картинку, убедившись, что это не обман зрения.

На самом деле это и есть тот самый визуальный обман. Изображение на самом деле плоское, находится лишь на картинке, наклеенной на стену в виде фотообоев. Уникальный эффект объема достигается за счёт того, что картинка создается в специальной программе, которая:

1. четко контролирует насыщенность цвета;
2. специально регулирует свет и тень;
3. выделяет более светлые центровые предметы, что и позволяет сделать картинку объемной.

Технологии, позволяющие создавать объемные картинки стали очень популярными, а 3D фотообои востребованными. Объемный коллаж с тематическим рисунком — универсальное решение для любой комнаты как городской квартиры, так и загородного дома.

В последнее время часто объемные фотообои можно встретить в торговых комплексах, в корпоративных помещениях, в приемных кабинетах директоров, в детских садах и школах, в детских и взрослых клинических учреждениях. Сфера использования фотообоев безгранична.

3д фотообои для кухни

Спрашивается, какие же картинки с объемным эффектом будут хорошо смотреться на кухне? Конечно же, с изображением овощей и фруктов, салатов, с кубиками прозрачного льда, с фруктами, падающими в прозрачную воду, омывающую каплями всё вокруг. Такая картинка с изображением еды не только красивая, яркая и сочная, но еще и очень аппетитная. А ведь кухня, это именно то помещение, где вся семья встречается за завтраком, обедом и ужином. Потому, выбирая объемные обои 3д для кухни, собственник квартиры на 100 % не ошибиться, сделав единственно правильный выбор.

Если хочется визуально расширить пространство тесной кухни, можно выбрать не просто объемные фотообои, а фотообои с эффектом расширения пространства. Подойдет лесная тропинка, находящаяся в гуще еловых и сосновых деревьев, уходящая далеко в даль. Такая перспектива будет расширять помещение.

Зелёные растения, выполненные в 3D технике, выглядят максимально реалистично, визуально выступая за пределы стены. Такое решение можно смело назвать два в одном. Эти обои одновременно расширяют пространство, а также делают кухню креативной, интересной по своей фактуре и эстетике.

Фотообои 3д в коридор

Традиционно в холлах и коридорах монтируют фотообои с изображением итальянских улочек, древних городков, фотообоями, на которых изображены морские побережья. Эффект объема, которыми обладают такие картинки, визуально обманывает зрение. Человек, который смотрит на 3Д коллаж, считает, что ему достаточно протянуть руку, как он сможет потрогать объёмный замок, гроздь винограда, расположившуюся на арке около итальянского домика. Возможно, кажется: потянув руку удастся погладить экзотическое животное, которое пытается выпрыгнуть за пределы стены и оказаться в коридоре.

На самом деле, дотронувшись до картинки становится понятно, что находится она на плоскости. А объемный эффект достигается за счет грамотной игры света и тени, контроля насыщенности цветов, правильного расположения более светлых или темных рисунков на общем фоне.

Говоря про то, какие же всё-таки купить 3d фотообои для коридора, нужно хорошенько задуматься. В первую очередь картина по стилю и тематике не должна противоречить общему оформлению прихожей. Если это хай-тек, то совершенно неуместно устанавливают здесь картинки с изображением итальянских улочек или морского побережья. В современной стилистике хай-тек и дизайне минимализм прекрасно смотрится объемная геометрия, замысловатые футуристические фигуры, выглядящие очень объемно и реалистично. Для стилистики хай-тек идеально подойдут объемные фотообои, на которых изображены:

• серебряные или бронзовые шары разных размеров,
• металлические кольца,
• кубы и квадрат с многогранниками.

Фотообои для детской 3д

Оформление детской комнаты объемными фотообоями дает безграничный полет для фантазии родителей. Достаточно заглянуть в интернет-магазин https://domfotooboev.com.ua/foto/3d, чтобы удостовериться в огромном ассортименте. Для малышей можно купить 3д обои по гендерной принадлежности:

• Девочки будут в восторге от длинноволосой Рапунцель, принцесс, замков, веселых желтых миньонов, изображения веселой девочки из мультипликационного фильма «Корпорация монстров».
• Мальчику по вкусу придутся объемные тачки, буквально уезжающие за грань картинки. Кстати придутся озорным мальчишкам и изображения футбольного мяча, картинки с самолетами, которые пытаются прорваться вглубь комнаты.
• Хорошо смотрится в нейтральной детской комнате, не разделенной по гендерной принадлежности, объемные фотообои, на которых изображены животные, динозавры, Винни-пух и его друзья, Веселый Спанч Боб, океанское дно, где проживает легендарная рыбка Nemo из одноименного мультфильма.

Фотообои 3д в интерьере

Подбирать фотообои для интерьера — очень просто. Нужно определиться с тематикой, цветовым решением картинки. После можно делать выбор в пользу изображения природы, цветов, городов, урбанистической тематики, животных, абстракции, стиля прованс, граффити, морской тематики, вида с балкона и так далее. Чтобы рассмотреть все фотообои 3д в интерьере, фото надо полистать каталоге интернет-магазина, предлагающего объемную настенную роскошь для декора.

3д фотообои на стену цена

Нужно определиться с ценой? Не проблема! Достаточно посмотреть на табличку, примерно прикинуть размер стены своей комнаты, куда и планируется клеить объемные фотообои. После можно провести достаточно грамотные расчёты, определившись с бюджетом, который и нужно выделить на приобретение в 3D коллажа.

Тип фотообоев Цена за 1 кв. метр

Жаккард от 285 грн / м.кв.

Песок от 320 грн / м.кв.

Базальт от 320 грн / м.кв.

Глянец от 195 грн / м.кв.

Concrete от 750 грн / м.кв.

Объемное изображение | пс-medtech

Объемные данные 3D

3D-данные можно разделить на две категории: модели поверхности и объемные данные. Поверхностные модели обычно встречаются в индустрии дизайна, где объекты описываются их поверхностями, например, с использованием многоугольников или параметрических поверхностей. На медицинских рынках данные являются объемными, что означает, что внутренняя часть данных также моделируется с использованием дискретно дискретизированного трехмерного набора.

Обычно объемные данные описываются группой срезов 2D-изображения, сложенных вместе, чтобы сформировать объем. Эти срезы часто получают с помощью сканеров, таких как КТ, МРТ или УЗИ, через определенные промежутки времени. Другие методы генерируют немедленные объемные данные. Например, 3D-ультразвук использует звуковые волны так же, как 2D-ультразвук, но вместо того, чтобы передавать волны прямо через ткани и органы и обратно, он излучается под разными углами. Это вызывает трехмерное изображение.Объемные данные 4D показывают движение с помощью компиляции трехмерных изображений. Можно увидеть такие движения, как движение сердца. В отличие от большинства существующих программ для рендеринга, компания PS-Medtech разработала передовую технологию объемного рендеринга, которая сохраняет полное качество 3D-визуализации во время 3D-взаимодействия и не зависит от модальности, с помощью которой были созданы данные.

Более быстрая и качественная интерпретация с помощью объемной визуализации

«Разве не было бы замечательно визуально подержать в руках пульсирующее сердце пациента и проанализировать его изнутри и снаружи, интуитивно, быстрее и лучше? При необходимости вы можете передать сердце коллеге, который может быть на другом континенте, и в то же время все ваши ученики могут видеть, что вы делаете — вживую ».

Вместо просмотра пары изображений для каждого пациента врач имеет доступ к сотням срезов или облаков данных при использовании объемной визуализации . Однако время, затрачиваемое на каждого пациента, остается прежним. Результат — более быстрая и качественная интерпретация 3D-изображений и улучшенное медицинское обслуживание при меньших затратах.

На практике набор 3D-данных сводится к удобоваримому формату (часто один или два среза, в 2D, а не в 3D), который используется для демонстрации другим специалистам (например.грамм. рентгенолог хирургу). Из-за этого теряется богатство исходного набора 3D-данных, а также теряются преимущества для других специалистов. Разве хирурги не часто жалуются на то, что получают неправильные изображения?

Двуручное взаимодействие и 3D-рендеринг в реальном времени

‘ Когда вы берете яблоко, осматриваете его на наличие пятен, очищаете и нарезаете его, вы используете обе руки. Делать это с одной рукой, связанной за спиной, крайне сложно. Так почему же 3D-анализ выполняется, когда одна рука связана за спиной? ’

Когда требуется взаимодействие с трехмерными объемными изображениями (например,грамм. медицинские 3D-изображения) компьютерная система должна постоянно вычислять (отображать) правильное изображение на основе действий пользователя. К сожалению, чем больше набор данных, тем выше требуется вычислительная мощность компьютерной системы, отображающей изображение. В результате качество изображения падает, а движение изображения становится рассыпчатым (падение частоты кадров). По-настоящему реалистичное интерактивное объемное изображение требует рендеринга в реальном времени с минимальной частотой кадров и без видимой потери качества изображения.
Для приложений, требующих эффективного анализа трехмерных объемных данных, важны как рендеринг трехмерных объемных данных в реальном времени, так и интуитивно понятная трехмерная навигация.

Компания PS-Medtech создала рабочие станции 3D и программное обеспечение Vesalius 3D для анализа и представления объемных данных 3D и 4D.

3D-изображений в стиле «Звездных войн», созданных из единственной пылинки

Одним нажатием на клавиатуру Рюдзи Хираяма оживляет вялую бусину пенопласта. Белое пятнышко подпрыгивает и совершенно неподвижно парит в космосе. Еще одно касание, и точка превращается в светящуюся форму бабочки, которая машет крыльями, кружась внутри черного ящика.Диего Мартинес Пласенсиа, коллега Хираямы из Университета Сассекса в Брайтоне, Великобритания, тянется к коробке, чтобы показать, что нет никаких условий. Эффект кажется чистой магией. «Сначала я показала это своим дочерям. Они были похожи на … «Вау», — говорит Мартинес Пласенсиа, его глаза расширяются от детского восторга.

За метаморфозой в воздухе стоит относительно простая установка. Два тонких массива из 256 крошечных динамиков выше и ниже бусинки перемещают ее, генерируя ультразвуковые волны. Объект летит так быстро, что все, что видит глаз, представляет собой непрерывно развивающееся трехмерное изображение в несколько сантиметров в поперечнике, нарисованное в воздухе, как будто с помощью высокоскоростной машины Etch a Sketch.Те же ультразвуковые динамики, которые создают изображение, также могут генерировать звуковые и тактильные ощущения. Потянитесь к бабочке, и ваш палец может почувствовать трепет. В другом случае появляется смайлик в сопровождении мелодий песни Queen «We Will Rock You». Примечательно, что большинство компонентов, используемых для создания этих эффектов, есть в готовом виде.

Команда из Университета Сассекса, Великобритания, создала виртуальную бабочку, которая может парить в космосе. Фото: Эймонтас Янкаускис / Univ. Сассекс

«Это элегантная и захватывающая платформа», — говорит Дэниел Смолли, физик из Университета Бригама Янга в Прово, штат Юта, который в прошлом году представил похожую технику, использующую лазеры, чтобы перемещать пятно целлюлозы для получения изображений. ¹ .«До сих пор мало кто из физиков думал, что можно будет использовать звук, чтобы перемещать шарик достаточно быстро, чтобы создать такой дисплей», — говорит он. В августе Тацуки Фусими, физик из Бристольского университета, Великобритания, и его сотрудники первыми показали, что это возможно. Но их бусинке требовалось больше времени, чтобы очертить формы, а это означает, что только изображения размером менее 1 сантиметра могли отображаться как единый непрерывный объект ² . Работа команды из Сассекса — это «инженерная разработка, которая заставляет нас поверить в то, что мы не думали, что это возможно», — говорит Смолли.

Акустическое устройство, описанное 13 ноября в документе Nature ³ , является последним примером технологии создания трехмерных изображений, известной как объемный дисплей, которая фундаментально отличается от таких технологий, как голограммы, виртуальная реальность и стереоскопы. . Эти более знакомые подходы используют световые приемы для создания иллюзии глубины и могут быть в натуральную величину и фотореалистичными. Но голограммы можно увидеть только под определенным углом, виртуальная реальность и стереоскопы требуют головного убора, и все эти приемы могут вызвать утомление глаз.Объемные дисплеи в свободном пространстве, напротив, используют лазеры, электрические поля, проекции тумана и другие подходы для создания действительно трехмерных изображений, которые зрители могут видеть с любой точки обзора. Таким образом, они ближе всего к технологии отображения сообщения SOS принцессы Леи в фильме 1977 года «« Звездные войны »».

Исследования в области объемных дисплеев даже старше той пленки. И этот подход имеет решающее преимущество перед голограммами, поскольку требует гораздо меньшей вычислительной мощности.Но, несмотря на десятилетия усилий, дисплеи в свободном пространстве по-прежнему ограничиваются небольшими грубыми рисунками, и они изо всех сил пытаются оторваться от земли с коммерческой точки зрения, говорит Смолли. Тем не менее он надеется, что работа по объединению различных и более практичных технологий, включая акустическую левитацию, поможет объемному дисплею найти свое убийственное приложение. Его можно было бы использовать в подробных интерактивных макетах для медицинских стажеров, возможно, или чтобы дать людям возможность общаться с дальними родственниками в 3D.По словам Смолли, акустический метод команды из Сассекса не обязательно потребует долгой фазы разработки, чтобы выйти за пределы лаборатории. «Я бы сделал ставку на то, что эта технология станет коммерческой раньше многих других технологий, над которыми мы работаем».

Свет и звук

Объемные дисплеи, которые уже представлены на рынке, обычно работают путем преобразования 2D-изображений в 3D. Например, Voxon VX1 проецирует фотоны на экран, который быстро колеблется вверх и вниз. При правильном выборе времени это создает трехмерное изображение без необходимости использования специальных очков.Но сложные механические части дисплея означают, что он заперт за стеклом и пока нашел только нишевое применение, например, в музейных экспозициях.

Система Voxon VX1 Источник: Voxon Photonics

В 2006 году Хидеи Кимура сделал одну из первых попыток нарисовать изображения непосредственно в трехмерном пространстве ⁴ . Кимура, исполнительный директор Burton, фирмы из Кавасаки, Япония, и его научные сотрудники разработали методику, в которой лазер сбивал электроны с молекул воздуха, заставляя их светиться.Перемещая точку фокусировки лазера с высокой скоростью, они могут создавать люминесцентные точки плазмы, которые формируют грубое изображение. «Без ничего мы можем создавать трехмерные изображения прямо в воздухе», — говорит Кимура, который предполагает использовать эту технику для передачи информации о чрезвычайных ситуациях в небо или для проецирования трехмерных повторов над полем на спортивном мероприятии.

Плазменный метод создает относительно стабильные изображения, но он сталкивается с некоторыми серьезными ограничениями: у него низкое разрешение (один лазерный луч равен одной точке изображения), а лазер настолько интенсивен, что может вызвать ожоги, — говорит Йоичи Очиай, компьютер. ученый и художник из Университета Цукуба в Японии.

В 2016 году команда Очиаи адаптировала плазменную технику, используя низкоэнергетический лазер с более короткими импульсами, чтобы создавать изображения, к которым можно безопасно прикасаться. ⁵ . При ширине нескольких миллиметров изображения намного меньше, чем у команды Кимуры. Но, используя лазеры, которые пульсируют с более высокой частотой, и модуляторы для формирования луча в несколько фокусов, команда может увеличить разрешение в 10–200 раз по сравнению с тем, которое использовалось в работе Кимуры. Это позволяет им создавать более сложные изображения, например фей размером с булавочную головку.

В Сассексе создание акустического 3D-дисплея началось с еще одной известной научной фантастики: тягового луча, ставшего знаменитым в телесериале 1960-х годов Star Trek . С 2012 года Шрирам Субраманиан, возглавляющий команду, первым изобрел способы создания звуковых волн для создания точек высокого давления, которые могут захватывать и перемещать небольшие объекты ⁶ . Но только когда Хираяма пришел в лабораторию в 2018 году, команда нашла способ использовать звук для создания изображений.

Глобус в объемном отображении.Это было снято с выдержкой 0,025–20 секунд. (Только изображения, нарисованные в течение 0,1 секунды, воспринимаются человеческим глазом как непрерывные изображения.) Предоставлено: Эймонтас Янкаускис / Univ. Сассекс

Чтобы изображение выглядело как сплошное, шарик должен создавать каждый кадр изображения менее чем за одну десятую секунды. До сих пор акустическая левитация была направлена ​​на удержание объектов как можно более устойчивыми; движение происходит относительно медленно, с остановкой и запуском, от одной устойчивой точки к другой. Нововведение Хираямы заключалось в том, чтобы дать толчок к выводу, прежде чем он остановится, вычисляя каждую новую целевую точку внутри оборудования, разработанного специально для вычислений.Это означало, что команда могла менять фокус поля 40 000 раз в секунду. Бусинка достигает скорости 8,75 метра в секунду, что «похоже на телепортацию», когда бусинка шириной 2 миллиметра пересекает несколько сантиметров пространства, говорит Хираяма. Когда шарик движется, быстро меняющийся светодиод заливает дисплей светом, создавая цвет.

Объемное изображение бабочки, созданное в лаборатории Дэниела Смолли Фото: Нейт Эдвардс / BYU Фото

Команда была вдохновлена ​​работой Смолли с использованием лазеров для перемещения и освещения точки волокна целлюлозы ¹ .Смолли говорит, что, используя такое же количество частиц и данных, его изображения составляют лишь одну десятую размера снимков, сделанных командой из Сассекса, но имеют в десять раз большее разрешение.

У техники Sussex есть недостаток: для этого нужны динамики с двух сторон дисплея, что ограничивает способность зрителя взаимодействовать с дисплеем и ограничивает его размер. Но с обновлением оборудования, по словам Субраманиана, можно было бы использовать акустические волны другого типа для создания изображений с динамиками только с одной стороны. Исследователи также работают над улучшением своего понимания того, как бусинка реагирует на действующие на нее силы, что позволит им перемещать ее быстрее, рисовать более сложные изображения, левитируя сразу несколько бусинок, и более тесно интегрировать зрение и прикосновение. .В текущей настройке тактильное ощущение и изображение не возникают в одном и том же месте, потому что поля, необходимые для их создания, могут мешать друг другу. Группа Очиаи уже нашла способ объединить осязание и зрение, используя поля, которые не мешают: акустическое поле для тактильной обратной связи и лазер для рисования крошечных изображений в плазме. Группа использовала метод рисования точек Брайля в воздухе ⁷ .

Интерактивное преимущество

Любой 3D-дисплей неизбежно сравнивается с голограммами Star Wars .«Техника Сассекса создает изображения большего размера, чем предыдущие аналогичные методы, и включает звук, поэтому приближает нас к воссозданию этого», — говорит Цюн-Хуа Ван из Университета Бейхан в Пекине, который работает с устройствами отображения 3D. Но изображения все равно крошечные и далеки от фотореалистичных. По ее словам, создание 3D-эффекта в Star Wars любыми способами могло занять десять лет, а то и больше.

Но Барри Бланделл, физик, специализирующийся на 3D-технологиях из Университета Дерби, Великобритания, предостерегает от попыток использовать объемную технологию для создания насыщенных фотореалистичных дисплеев.«Никто не станет смотреть на скульптуру и сравнивать ее с картиной», — говорит он. Он добавляет, что попытки конкурировать с голограммами часто приводили к коммерческим тупикам и что дисплеи лучше всего подходят для приложений, которые были бы невозможны в других средах, но не требуют высокой детализации, таких как интерактивные дисплеи, способные отображать сложные 3D-изображения. движения.

Интерактивность может быть мощной, — говорит Смолли. Обучающиеся хирурги могут использовать такие дисплеи, например, для тренировки катетера через сосуды сердца.Он добавляет, что с одним миллионом движущихся частиц «у вас может быть бестелесное лицо — телеприсутствие лицом к лицу». По его словам, создание аватаров людей в пространстве может дать более сильное ощущение присутствия, чем фотореалистичное изображение, видимое через виртуальную реальность.

В лаборатории Сассекса до отображения миллиона частиц кажется очень далеким. Только время покажет, проложит ли подход группы дорогу к таким цифрам. Продемонстрировав ограниченный репертуар трюков своей сферы, Хираяма отключает питание динамиков.Хлопающая бабочка исчезает, а бусинка, создавшая ее, мягко падает и подпрыгивает на основании дисплея. Хираяма берет его и кладет в коробку с сотнями других, готовых в любой момент сотворить волшебство в воздухе.

«объемных» 3D-изображений, плавающих в «воздухе» «Kurzweil

Вдохновленные культовой сценой Звездных войн с принцессой Лейей, терпящей бедствие, инженеры и физики Университета Бригама Янга создали «Проект принцессы Леи» — новую технологию для создания трехмерных «объемных изображений», которые парят в воздухе и по которым можно ходить вокруг и смотреть практически под любым углом.*

«Миссия нашей группы состоит в том, чтобы превратить трехмерные изображения из научной фантастики в реальность», — сказал профессор электротехники и компьютерной инженерии и эксперт по голографии Дэниел Смолли, ведущий автор статьи об открытии от 25 января года в Nature .

Изображение принцессы Леи, изображенное в фильме, на самом деле не голограмма, объясняет он. Голографический дисплей рассеивает свет только на двумерной поверхности. Таким образом, вы должны смотреть под ограниченным диапазоном углов, чтобы увидеть изображение, которое также обычно статично.Вместо этого движущийся объемный дисплей можно увидеть под любым углом, и вы даже можете протянуть к нему руку. Примеры включают трехмерные дисплеи, с которыми взаимодействует Тони Старк в Ironman и массивный стол для проецирования изображений в Avatar . *

Как создать трехмерное объемное изображение из одиночной движущейся частицы

Студент

BYU Эрих Найгаард, изображенный в виде движущегося трехмерного изображения, имитирует проекцию принцессы Леи в культовой сцене «Звездных войн» («Помоги мне, Оби Ван Кеноби, ты моя единственная надежда»).(кредит: Лаборатория Дэна Смолли)

Технология объемного отображения в свободном пространстве, названная «Отображение оптических ловушек», основана на фотофоретическом ** оптическом улавливании (управляемом лазерным лучом) быстро движущейся частицы (растительного волокна, называемого в данном случае целлюлозой). В этом методе используется постоянное зрение человека (при скорости более 10 изображений в секунду мы не видим движущуюся точку света, а только узор, который она отслеживает в пространстве — то же явление, которое заставляет фильмы и видео работать).

Когда лазерный луч перемещает захваченную частицу, еще три лазерных луча освещают частицу светом RGB (красный-зеленый-синий). Результирующая быстро движущаяся точка очерчивает цветное изображение в трех измерениях (вы можете видеть вертикальные линии развертки в одном вертикальном срезе на изображении принцессы Леи выше), создавая полноцветное, объемное (3D) неподвижное изображение в воздухе с 10 -микрометровое разрешение, обеспечивающее мельчайшие детали. Технология также отличается малозаметными пятнами (раздражающие пятнышки на голограммах).***

Приложения в реальном (и виртуальном) мире

На данный момент Смолли и его ученики-исследователи напечатали на 3D-принтере бабочку, призму, растягивающийся логотип Y BYU, кольца, которые обвивают руку, и человека в лабораторном халате, присевшего в позе, похожей на положение принцессы Леи. она начинает свое прогнозируемое сообщение. Изображения в этом экспериментальном прототипе все еще находятся в диапазоне миллиметров. Но в статье Nature исследователи говорят, что они ожидают, что устройство «можно легко масштабировать с помощью параллелизма, и [они] считают эту платформу жизнеспособным методом для создания трехмерных изображений, которые разделяют то же пространство, что и пользователь, как физическое. объекты будут.”

А как насчет использования дополненной и виртуальной реальности? «Хотя я думаю, что эта технология на самом деле не AR или VR, а просто« R », существует множество интересных способов, которыми объемные изображения могут улучшить и дополнить окружающий нас мир», — сказал Смолли KurzweilAI в электронном письме. «В ближайшем будущем можно было бы использовать левитирующие частицы в качестве« стримеров », чтобы показать ожидаемый поток воздуха над реальными физическими объектами. То есть, вместо того, чтобы смотреть на экран компьютера, чтобы увидеть поток жидкости над лопаткой турбины, вы можете установить объемный проектор рядом с реальной лопаткой турбины и увидеть, как частицы образуют ленты, чтобы показать ожидаемый поток жидкости на реальном объекте.

«В увеличенной версии дисплея проектор мог помещать наложенное изображение части на двигатель, показывая технику точное местоположение и ориентацию этой части. Еще более изысканная версия могла бы создать волшебный портал в вашем доме, где вы могли бы увидеть размер только что заказанной обуви и поставить ногу внутрь, чтобы (визуально) проверить, подходит ли она. Другие приложения будут включать в себя редкое дистанционное присутствие, спутниковое слежение, наблюдение за командованием и контролем, хирургическое планирование, маркировку тканей, наведение катетера и другие приложения для медицинской визуализации.”

Как скоро? «Я не буду делать прогнозов относительно точных сроков, но если мы добьемся такого же прогресса в следующие четыре года, как и за последние четыре года (большое« если »), то у нас будет дисплей подходящего размера по конец этого периода. У нас был ряд заинтересованных сторон из самых разных областей. Мы открыты для эксклюзивного соглашения при наличии подходящего партнера ».

* Смолли говорит, что давно мечтал создать трехмерные голограммы, которыми украшены научно-фантастические фильмы.Но наблюдая, как изобретатель Тони Старк протыкал руки через призрачный трехмерный доспех в фильме 2008 года «Железный человек», Смолли понял, что он никогда не сможет добиться этого, используя голографию, текущий стандарт высокотехнологичных трехмерных дисплеев, потому что рука Старка блокирует источник света голограммы. . «Это меня раздражало, — говорит он. Он сразу же попытался придумать, как это обойти.

** «Фотофорез означает явление, когда мелкие частицы, взвешенные в газе (аэрозоли) или жидкостях (гидроколлоиды), начинают мигрировать при освещении достаточно интенсивным светом.»- Википедия

*** Предыдущие исследователи создавали объемные изображения, но команда Смолли утверждает, что это первая технология, эффективно использующая оптический треппинг и цвет. «Среди объемных систем нам известны только три таких дисплея, которые были успешно продемонстрированы в свободном пространстве: индуцированные плазменные дисплеи, модифицированные воздушные дисплеи и дисплеи с акустической левитацией. Плазменные дисплеи еще не продемонстрировали цвет RGB или загорание в свободном пространстве. Модифицированные воздушные дисплеи и дисплеи с акустической левитацией полагаются на механизмы, которые в настоящее время слишком грубые или слишком инерционные, чтобы напрямую конкурировать с голографией.»- Д.Е. Смолли и др. / Nature

Природное видео | Картины в воздухе: 3D-печать со светом

---

Реферат из

Объемный дисплей с фотофоретической ловушкой

Объемные дисплеи в свободном пространстве или дисплеи, которые создают светящиеся точки изображения в космосе, — это технология, которая больше всего напоминает трехмерные дисплеи в популярной художественной литературе. Такие дисплеи способны создавать изображения «в воздухе», которые видны практически с любого направления и не могут быть обрезаны.Отсечение ограничивает полезность всех трехмерных дисплеев, которые модулируют свет на двухмерной поверхности с краевой границей; к ним относятся голографические дисплеи, нанофотонные матрицы, плазмонные дисплеи, лентикулярные или линзовые дисплеи и все технологии, в которых светорассеивающая поверхность и точка изображения физически разделены. Здесь мы представляем объемный дисплей в свободном пространстве, основанный на фотофоретическом оптическом захвате, который создает полноцветную графику в свободном пространстве с десятью микрометровыми точками изображения, используя постоянство зрения.Этот дисплей работает, сначала изолируя частицу целлюлозы в фотофоретической ловушке, созданной сферическими и астигматическими аберрациями. Затем ловушка и частица сканируются через дисплей, при этом освещаются красным, зеленым и синим светом. В результате получается трехмерное изображение в свободном пространстве с широкой цветовой гаммой, мелкими деталями и малыми видимыми пятнами. Эта платформа, получившая название Optical Trap Display, способна создавать изображения с геометрическими формами, которые в настоящее время недостижимы с помощью технологий голографии и светового поля, таких как проекции с дальним фокусным расстоянием, высокие песочные столы и дисплеи с круговой диаграммой направленности.

Команда

создает трехмерные изображения, парящие в воздухе

Трехмерные записи, подобные тем, которые несет R2D2 в фильме «Звездные войны», ближе к реальности, чем вы думаете.

Примеры качества цвета и разрешения изображений.
Изображение предоставлено Smalley et al., 2018, Nature.

Профессор Университета Бригама Янга (BYU) и эксперт по голографии Дэниел Смолли хотел воссоздать сцену с тех пор, как мы впервые ее увидели.И это просто показывает, что мечты сбываются, поскольку недавно он опубликовал статью, в которой подробно описывается метод, который он разработал для этого.

Это те дроиды, которых вы ищете

«Мы называем это в просторечии проектом принцессы Леи», — сказал Смолли. «Наша группа ставит перед собой задачу воплотить в реальность трехмерные изображения научной фантастики. Мы создали дисплей, который может это сделать ».

Однако прежде всего профессор Смолли отмечает, что изображение принцессы Леи, которую мы знаем и любим из фильма, не то, что люди думают, это не голограмма.Такое трехмерное изображение, которое парит в воздухе и может просматриваться под любым углом, называется объемным изображением.

Разница между ними невелика, но значительна. Голограмма рассеивает свет только на (2D) поверхности, и если вы не смотрите на эту поверхность под прямым углом, вы не увидите исходное (3D) изображение. С другой стороны, объемный дисплей имеет небольшие рассеивающие поверхности, разбросанные по трехмерному пространству — то же пространство, занятое изображением, — поэтому независимо от того, как вы на него смотрите, вы также смотрите и на рассеяния.Короче говоря, это означает, что объемное изображение можно увидеть под любым углом, и оно все равно будет трехмерным.

Опираясь на фотофоретический оптический захват, Смолли и его команда разработали платформу для измерения объема в свободном пространстве, которая позволяет получать полноцветные объемные аэрофотоснимки с 10-микронными точками изображения за счет постоянного зрения. Поскольку это, вероятно, действительно сбивает с толку, вот команда, объясняющая, как работает их устройство, без всех технических терминов:

«Мы используем лазерный луч для улавливания частицы, а затем мы можем направить лазерный луч вокруг, чтобы переместить частицу и создать изображение», — сказал соавтор Эрих Найгаард.

«Этот дисплей похож на 3D-принтер для света», — сказал Смолли. «Вы на самом деле печатаете космический объект с помощью этих маленьких частиц».

Чтобы продемонстрировать свою работу, команда напечатала на 3D-принтере бабочку, призму, логотип BYU, кольца, обвивающие руку, и человека в лабораторном халате, присевшего в позе, похожей на положение принцессы Леи, когда она начинает свою работу. прогнозируемое сообщение. Хотя часть предыдущей работы в BYU была связана с объемными изображениями, команда Смолли первой успешно объединила цветные изображения и оптический треппинг.

Статья «Объемная демонстрация фотофоретической ловушки» опубликована в журнале Nature .

Исследование

BYU позволяет создавать трехмерные изображения, которые «летают в воздухе»

Авторы видео: продюсер Джули Уокер, оператор Брайан Уилкокс, редактор Ханна Хансен

В оригинальном фильме «Звездные войны» R2D2 проецирует изображение принцессы Леи, терпящей бедствие.Знаменитая сцена включает в себя фразу, которая все еще известна 40 лет спустя: «Помоги мне, Оби Ван Кеноби, ты моя единственная надежда».

BYU Профессор электротехники и компьютерной инженерии и эксперт по голографии Дэниел Смолли давно поставил перед собой цель создать такой же тип проекции трехмерных изображений. В статье, опубликованной на этой неделе в журнале Nature , Смолли подробно описывает метод, который он для этого разработал.

«Мы называем это в просторечии проектом принцессы Леи», — сказал Смолли. «Наша группа ставит перед собой задачу воплотить в реальность трехмерные изображения научной фантастики.Мы создали дисплей, который может это сделать ».

Перво-наперво, — говорит Смолли. Изображение принцессы Леи не то, что люди думают: это не голограмма. Трехмерное изображение, которое парит в воздухе, которое вы можете обойти и рассмотреть со всех сторон, на самом деле называется объемным изображением. Примеры объемных изображений включают трехмерные дисплеи, с которыми взаимодействует Тони Старк в «Железном человеке» или массивный стол для проецирования изображений в «Аватаре».

Автор фотографии Нейт Эдвардс / BYU Photo

Автор фотографии Нейт Эдвардс / BYU Photo

Смолли и его соавторы разработали платформу для объемного отображения в свободном пространстве, основанную на фотофоретическом оптическом улавливании, которая позволяет получать полноцветные объемные аэрофотоснимки с 10-микронными точками изображения за счет постоянного зрения.

Метод, описанный в Nature, «использует силы, передаваемые набором почти невидимых лазерных лучей, чтобы улавливать единственную частицу — растительное волокно, называемое целлюлозой, — и равномерно нагревать ее. Это позволяет исследователям толкать и тянуть целлюлозу. Второй набор лазеров проецирует видимый свет (красный, зеленый и синий) на частицу, освещая ее, когда она движется в пространстве. Люди не могут различать изображения со скоростью выше 10 в секунду, поэтому, если частица перемещается достаточно быстро, ее траектория выглядит сплошной линией — как бенгальский огонь в темноте.”

«Проще говоря, мы используем лазерный луч, чтобы улавливать частицу, а затем мы можем направить лазерный луч вокруг, чтобы переместить частицу и создать изображение», — сказал соавтор старшекурсника Эрих Найгаард.

Смолли сказал, что самый простой способ понять, что они делают, — это подумать об изображениях, которые они создают, как о 3D-печатных объектах.

«Этот дисплей похож на 3D-принтер для света», — сказал Смолли. «Вы на самом деле печатаете космический объект с помощью этих маленьких частиц.”

К настоящему времени Смолли и его студенты-исследователи напечатали с помощью 3D-света несколько крошечных изображений: бабочка, призма, растягивающийся логотип Y BYU, кольца, которые обвивают руку, и человек в лабораторном халате, присевший в положении, аналогичном Принцесса Лея начинает свое предполагаемое сообщение.

В то время как предыдущие исследователи за пределами BYU выполняли соответствующую работу по созданию объемных изображений, команда Смолли является первой, кто эффективно использует оптический треппинг и цвет. Их метод улавливания частиц и освещения их разноцветными лазерами, которые вы видите, является новым.

«Мы предоставляем метод создания объемного изображения, который может создавать изображения, которые, как мы думаем, у нас будут в будущем», — сказал Смолли.

Чем объемное изображение отличается от голограммы?

Голографический дисплей рассеивает свет только на двумерной поверхности. Если вы не смотрите на эту поверхность, вы не увидите трехмерное изображение, потому что вы должны смотреть на рассеивающую поверхность, чтобы увидеть изображение. Объемный дисплей имеет небольшие рассеивающие поверхности, разбросанные по трехмерному пространству — то же пространство, которое занимает трехмерное изображение, — поэтому, если вы смотрите на изображение, вы также смотрите на рассеянное изображение.По этой причине объемное изображение можно увидеть под любым углом.

Чтобы увидеть полное исследование природы, щелкните здесь: https://www.nature.com/articles/nature25176

1 из 8

0006Pokemon_preview.jpeg

Нейт Эдвардс / BYU Photo

2 из 8

5266Earth_preview.jpeg

Лаборатория Дэниела Смолли

3 из 8

1712-11 0009.jpg

Нейт Эдвардс / BYU Photo

4 из 8

5138Butterflies_preview.jpeg

Нейт Эдвардс / BYU Photo

5 из 8

1712Lab_preview.jpeg

Нейт Эдвардс / BYU Photo

6 из 8

1712-11 0021.jpg

Нейт Эдвардс / BYU Photo

7 из 8

1712-11 0004.jpg

Нейт Эдвардс / BYU Photo

8 из 8

Снимок экрана 2018-01-24 в 8.38.17 AM.png

Нейт Эдвардс / BYU Photo

1 из 8

0006Pokemon_preview.jpeg

Нейт Эдвардс / BYU Photo

2 из 8

5266Earth_preview.jpeg

Лаборатория Дэниела Смолли

3 из 8

1712-11 0009.jpg

Нейт Эдвардс / BYU Photo

4 из 8

5138Butterflies_preview.jpeg

Нейт Эдвардс / BYU Photo

5 из 8

1712Lab_preview.jpeg

Нейт Эдвардс / BYU Photo

6 из 8

1712-11 0021.jpg

Нейт Эдвардс / BYU Photo

7 из 8

1712-11 0004.jpg

Нейт Эдвардс / BYU Photo

8 из 8

Снимок экрана 2018-01-24 в 8.38.17 AM.png

Нейт Эдвардс / BYU Photo

обзор литературы по фундаментальной науке и медицинскому восприятию изображений

Реферат

Интерпретация объемных медицинских изображений представляет собой быстро растущую долю рабочей нагрузки в радиологии.Однако относительно мало известно о стратегиях, которые лучше всего определяют поведение при поиске аномалий в объемных изображениях. Хотя существует обширная литература по восприятию двумерных медицинских изображений, остается открытым вопрос, можно ли обобщить выводы, сделанные на основе этих изображений, на объемные изображения. Важно отметить, что объемные изображения имеют различные характеристики (например, прокрутка по глубине, плавное отслеживание движений глаз, сигналы начала движения и т. Д.), Которые следует учитывать в будущих исследованиях.В этой рукописи мы рассмотрим литературу по восприятию медицинских изображений и обсудим соответствующие результаты фундаментальной науки, которые могут быть использованы для создания прогнозов об опыте интерпретации объемных изображений. Лучшее понимание поиска по объемным изображениям поможет нам определить общие источники ошибок, охарактеризовать оптимальные стратегии поиска по глубине или разработать новые методы обучения и оценки для врачей-рентгенологов.

Ключевые слова: Восприятие медицинских изображений, Радиология, Визуальный поиск, Экспертиза, Объемные медицинские изображения

Значимость

Объемные медицинские изображения, такие как сканирование компьютерной томографии (КТ), состоят из серии сложенных двухмерных (2D) изображения, позволяющие более точно представить трехмерную (3D) природу анатомических структур тела.В последние годы наблюдается устойчивый рост количества объемных медицинских изображений, интерпретируемых в диагностической радиологии. Хотя объемные изображения обычно ассоциируются с лучшей производительностью, пропущенные или неправильные диагнозы остаются преобладающими в радиологии. В этом обзоре мы обсудим результаты фундаментальных научных исследований визуального внимания и памяти, которые могут помочь в нашем понимании объемного поиска медицинских изображений. Кроме того, мы обсудим то, что уже известно о поиске объемных изображений, в обзоре литературы по восприятию медицинских изображений.Хотя в настоящее время имеются существенные пробелы в наших знаниях о том, как лучше всего искать объемные изображения, этот тип исследования может в конечном итоге выявить превосходные стратегии поиска для оценки объемных изображений, определить, когда вероятны ошибки, или привести к улучшенным методам обучения для новых радиологов. .

Введение

Объемная медицинская визуализация, такая как КТ, магнитно-резонансная томография (МРТ) или цифровой томосинтез груди (ДГТ), помогает сохранить трехмерную природу внутренних структур тела путем наложения нескольких изображений поперечного сечения.Этот метод визуализации часто приводит к получению огромного количества информации, которую рентгенолог может оценить (Andriole et al., 2011): одна рентгенограмма грудной клетки теперь часто дополняется компьютерной томографией грудной клетки со стопкой из 1000 изображений с высоким разрешением (рис.) . К сожалению, отклонения от нормы иногда очень малы по сравнению с общим размером изображения. Чтобы проиллюстрировать этот момент, Рубин (2015) подсчитал, что узелки рака легких размером от 4 до 10 мм составляют 0,01% или меньше от общего объема при типичном КТ грудной клетки.Узлы рака легкого такого размера будут видны только на нескольких срезах, что делает их необнаруживаемыми в течение большей части общего времени поиска рентгенологом (Рубин, 2015). Как опытные радиологи эффективно разбирают всю эту информацию и обнаруживают потенциальные отклонения? Есть ли оптимальные стратегии для навигации по объемным изображениям? К сожалению, несмотря на десятилетия исследований восприятия медицинских изображений, относительно мало известно об опыте интерпретации объемных медицинских изображений.Однако, учитывая растущее количество объемных изображений в радиологии, ответы на эти вопросы, вероятно, будут в авангарде исследований восприятия медицинских изображений в ближайшие годы (McDonald et al., 2015).

Сравнение размеров двумерных медицинских изображений и объемных медицинских изображений. Размеры изображений являются приблизительными, и фактические размеры изображений могут значительно различаться в зависимости от случая. Для оценки размера узелков в легких используется монитор с разрешением 96 точек на дюйм. КТ, компьютерная томография

Целью данной рукописи является обзор литературы и выявление текущих пробелов в нашем понимании интерпретации объемных изображений с использованием фундаментальной научной основы.Во-первых, мы обсудим преимущества использования фундаментальных научных исследований внимания и памяти для создания обоснованных прогнозов о восприятии медицинских изображений. Далее мы обсудим девять областей исследований, которые, по нашему мнению, лучше всего отражают текущие приоритеты в данной области (таблица). В каждом из этих разделов мы обсудим соответствующие выводы из литературы по фундаментальной науке и медицинскому восприятию изображений и выделим перспективные области для будущих исследований. Этот обзор не следует рассматривать как исчерпывающий обзор литературы.Например, не будем подробно останавливаться на дебатах о переходе от аналоговой радиологии к цифровой. Хотя история создания объемных изображений — сама по себе интересная тема, она выходит за рамки данного обзора. Кроме того, мы не будем подробно обсуждать уникальные методологические проблемы, связанные с исследованиями объемной визуализации, и подходы, которые исследователи использовали для их решения. Вместо этого мы направляем читателя к существующим ресурсам, которые подробно освещают эту тему (Rubin, Drew, & Williams, 2018; Venjakob & Mello-Thoms, 2015).Скорее, эта рукопись представляет собой избранный обзор литературы по восприятию объемных изображений через призму фундаментальных исследований зрительного внимания и памяти. Хотя многие из этих тем, несомненно, относятся и к 2D-визуализации, основная цель этой рукописи — сосредоточить внимание на вопросах, наиболее актуальных для объемной визуализации, и послужить катализатором для будущих исследований в этой области.

Таблица 1

Важные области исследования объемного восприятия изображений

Что мы можем узнать о восприятии медицинских изображений из фундаментальных научных исследований?

В течение нескольких десятилетий исследователи пытались охарактеризовать, как опытные радиологи интерпретируют медицинские изображения.Одновременно с этим ученые-когнитивисты создают огромное количество литературы по визуальному поиску, используя строго контролируемые лабораторные задачи, такие как «найти горизонтальную линию среди вертикальных линий». На первый взгляд кажется, что эти искусственные задачи имеют мало общего со сложными радиологическими задачами, такими как определение признаков рака груди на маммограмме. Однако по своей сути обе эти задачи можно охарактеризовать как визуальный поиск и полагаться на одни и те же механизмы (Wolfe, Evans, Drew, Aizenman, & Josephs, 2016).В последние годы ученые-когнитивисты продемонстрировали замечательный потенциал применения результатов фундаментальной науки для решения реальных задач, таких как радиология (рис.). Например, наблюдатели в лаборатории часто не замечают человека, проходящего через баскетбольный матч в костюме гориллы, когда они выполняют второстепенную задачу (например, подсчет количества передач между игроками), явление, известное как «слепота невнимания» (Саймонс И Chabris, 1999). Точно так же 83% радиологов пропустили изображение гориллы размером со спичку, встроенное в срез компьютерной томографии грудной клетки, когда они искали признаки рака легких (Drew, Võ, & Wolfe, 2013).Это исследование может помочь объяснить, почему случайные находки, которые представляют собой неожиданные отклонения, не являющиеся основной целью поиска, иногда упускаются в радиологии (Wolfe, Soce, & Schill, 2017).

Хотя многие результаты лабораторных задач визуального поиска были воспроизведены в медицинской литературе по восприятию изображений (например, Evans, Georgian-Smith, et al., 2013; Drew et al., 2013), четкого аналога объемным изображениям не существует. в фундаментальной научной литературе. Тем не менее, понимание будущих направлений исследований по поиску объемных изображений может быть получено из результатов визуального поиска в 2D, а также из растущих исследований в области вождения, визуального поиска в реальном мире, замкнутого телевидения (CCTV) и виртуальной реальности.Ультразвуковое изображение, перепечатанное из Hansen et al. (2016). Ультрасонография почек: фотообзор. Diagnostics , 6 (1), 2., и используется здесь в соответствии с лицензией Creative Commons. Изображение патологии получено из коллекции Sarcomas Консорциума клинического протеомного анализа опухолей Национального института рака (CPTAC-SAR) за 2018 г. и использовано здесь в соответствии с лицензией Creative Commons License

Примеры трансляционных исследований из фундаментальной науки в радиологию, которые были тщательно обобщены в другом месте (Wolfe, 2016 ; Wolfe et al., 2016), подчеркивают перспективу использования наших знаний о человеческом познании для прогнозирования того, как радиологи ищут медицинские изображения и когда они будут наиболее подвержены ошибкам. Однако объемная визуализация создала новый набор проблем как для радиологов, так и для исследователей восприятия, стремящихся лучше их понять. Впервые объемная визуализация была введена в клиническую практику в 1970-х годах, но в последние годы произошло резкое увеличение размера и количества объемных изображений, интерпретируемых в читальном зале радиологии (Andriole et al., 2011; Макдональд и др., 2015). Например, количество поперечных изображений в одном учреждении увеличилось в десять раз с 1990 по 2010 год (McDonald et al., 2015). К сожалению, большинство исследований восприятия медицинских изображений основано на 2D-изображениях, таких как рентгенограммы грудной клетки. В области фундаментальной науки существует обширная литература по визуальному поиску в двумерных лабораторных задачах и постоянно растущая литература по поиску в трехмерном мире. Однако объемные изображения нельзя однозначно отнести ни к одной из этих категорий (рис.). Тем не менее, есть ряд выводов из этих двух источников литературы, которые могут дать представление об интерпретации объемных изображений, которые мы выделим в этом обзоре.

Хотя большую часть работы радиолога можно охарактеризовать как принятие решений, например, определение того, является ли подозрительное открытие злокачественным или доброкачественным, в этом обзоре основное внимание будет уделено тому, как обнаруживаются и идентифицируются потенциальные аномалии с помощью визуального поиска. Чтобы ограничить обсуждение визуального поиска, мы в первую очередь будем полагаться на модель управляемого поиска (Wolfe, Cave, & Franzel, 1989).Модель управляемого поиска предполагает, что ранняя информация направляет внимание снизу вверх или сверху вниз к определенным элементам сцены. Направление снизу вверх определяется свойствами самого стимула. Например, при отсутствии другой задачи ярко-красный мак в поле ромашек может привлечь внимание. Напротив, руководство сверху вниз определяется внутренним состоянием наблюдателя и историей выбора. Внимание, направленное сверху вниз, часто может подавлять влияние механизмов снизу вверх.Например, целевые репрезентации, хранящиеся в памяти, могут помочь отвлечь внимание от заметных отвлекающих факторов (например, красного мака) и к особенностям окружающей среды, которые соответствуют характеристикам цели. Вместе восходящие и нисходящие факторы создают карту приоритетов, которая направляет внимание на области сцены, которые с большей вероятностью могут содержать цель.

Какие свойства стимула направляют внимание в объемных медицинских изображениях?

Направления снизу вверх при визуальном поиске могут быть очень эффективными, когда наиболее заметные объекты в сцене соответствуют вашим целям (например,g., выявление большой опухоли головного мозга), но вредно, если ваша задача включает обнаружение незаметных целей (например, небольших узелков рака легкого). К сожалению, наиболее заметные области медицинских изображений не всегда являются наиболее информативными для рентгенолога. Один хорошо зарекомендовавший себя механизм ограничения влияния восходящей информации — это нисходящие знания о задаче. При прочих равных, эксперты должны иметь возможность лучше использовать нисходящую стратегию при поиске медицинских изображений, чем новички, благодаря своим обширным медицинским знаниям и прошлому опыту работы с аналогичными изображениями.По той же причине наибольшие различия между экспертами и новичками следует искать в задачах, для которых стратегия снизу вверх не приносит пользы. В целом эти прогнозы получили хорошую поддержку в радиологии, в дополнение к ряду других задач и профессий (Cooper, Gale, Darker, Toms, & Saada, 2009; Humphrey & Underwood, 2009; Koide, Kubo, Nishida, Shibata, И Икеда, 2015; Лэнсдейл, Андервуд и Дэвис, 2010). Например, движения глаз новичков были точно предсказаны с помощью карты значимости при анализе компьютерной томографии головного мозга одного среза для выявления цереброваскулярных нарушений (Matsumoto et al., 2011, см. Также Nodine, Kundel, Lauver, & Toto, 1996). Точно так же эксперты рассматривали клинически значимые малозаметные области дольше, чем новички. Однако, если клинически значимые области были наиболее заметными, движения глаз экспертов и новичков не различались (Matsumoto et al., 2011).

Необходимы дальнейшие исследования, чтобы определить особенности, которые влияют на обнаруживаемость аномалий в объемных медицинских изображениях. На рентгенограммах грудной клетки исследователи использовали отслеживание взгляда, чтобы различать свойства поражения, которые первоначально привлекают внимание во время поиска (измеряемое по времени до первого удара), и те, которые удерживают внимание после обнаружения отклонения (измеряемое временем пребывания) (Крупински , Berger, Dallas, & Roehrig, 2003).В контексте управляемого поиска «время до первого попадания» обеспечивает индекс свойств стимула, которые более эффективно направляют внимание к поражению во время визуального поиска, тогда как время задержки, вероятно, отражает процессы распознавания или принятия решений. Хотя был оценен ряд характеристик (например, отношение сигнал / шум, заметность, местоположение и кальцификация), ни одна из этих характеристик не повлияла на то, как быстро внимание будет направлено на соответствующее место на изображении. Однако как размер узелка, так и его заметность влияли на время пребывания на поражении и предсказывали общую скорость обнаружения узелков.Напротив, Кармоди, Нодин и Кундель (1981) обнаружили, что заметность узелков влияет как на поиск, так и на процессы принятия решений. Менее заметные узелки выявлялись реже в парадигме просмотра со вспышкой и были связаны с большим количеством сравнительных сканирований с нормальными структурами изображения во время свободного просмотра (определяемого как фиксация на аномалии с последующей саккадой и рефиксацией). В будущей работе было бы полезно оценить роль сравнительных сканирований для выявления различных типов поражений на объемных изображениях.Например, процесс принятия решения для идентификации узелка в легких может включать сравнение того, как внешний вид аномалии изменяется по глубине относительно нормальных структур на изображении (например, кровеносных сосудов).

Чтобы определить, какие особенности стимула улучшают обнаруживаемость при поиске объемного изображения, может быть полезно опираться на фундаментальную научную литературу. Согласно Wolfe and Horowitz (2004), есть четыре основных атрибута, которые были четко установлены на основе сходных данных в литературе: движение, цвет, ориентация и размер.Хотя все эти функции, несомненно, важны для обнаружения аномалий на медицинских изображениях, движение — это атрибут, который однозначно применим к объемным изображениям. В объемных изображениях может казаться, что структуры движутся вдоль 2D-плоскости, когда наблюдатель перемещается по глубине изображения, что, как считается, вызывает плавные движения глаз преследования, когда наблюдатель отслеживает эти структуры по глубине (Venjakob & Mello-Thoms, 2015 ). Кроме того, некоторые аномалии, такие как узелки рака легких, появляются и исчезают при прокрутке изображения по глубине из-за быстрых изменений диаметра структуры.Это явление может имитировать внезапные сигналы начала движения, которые, как известно, привлекают визуальное внимание (Abrams & Christ, 2003; Girelli & Luck, 1997; Jonides & Yantis, 1988; Theeuwes et al., 1999). Кроме того, движение может служить механизмом фильтрации при визуальном поиске и точно предсказывать, где будет распределяться внимание в динамических сценах (Kramer, Martin-Emerson, Larish, & Andersen, 1996; McLeod, Driver, Dienes, & Crisp, 1991; Mital et al. др., 2011). Кроме того, даже если движение не является определяющим признаком цели, наблюдатели узнают частые ассоциации между целями и их перемещениями и используют эту информацию для направления поиска (Scarince & Hout, 2018).

Хотя фундаментальная наука предполагает, что сигналы движения служат эффективной формой наведения на цель, лишь несколько исследований касались этой темы в области восприятия медицинских изображений. Например, исследователи обнаружили, что искусственное наведение сигналов движения в статические изображения увеличивает способность обнаружения как при маммографии, так и при рентгенографии грудной клетки (Andia et al., 2009). Кроме того, исследователи проверили предсказание о том, что поиск в окнах меньшего размера будет лучше, чем поиск в окнах большего размера на объемных изображениях, поскольку он повысит способность обнаруживать сигналы движения с помощью фовеального зрения (Venjakob, Marnitz, Phillips, & Mello-Thoms, 2016). .Хотя не было общих различий в точности между условиями, меньший размер изображения был связан с более быстрым обнаружением аномалий. Наконец, Накашима и др. (2016) проверили, менее вероятно, что узелки в легких будут обнаружены на ранних этапах исследования, когда релевантные для задачи сигналы начала движения (например, узелки в легких), вероятно, затенены одновременными сигналами начала движения из не относящейся к задаче информации (например, кровеносные сосуды). . Они обнаружили значительный эффект от местоположения конкреций для новичков, но не для экспертов, что говорит о том, что экспертам не нужно так сильно полагаться на эти восходящие сигналы для обнаружения целей.Вероятно, это связано с тем, что у экспертов есть дополнительные механизмы, такие как четкое представление цели и улучшенная целостная обработка, которые также помогают в обнаружении отклонений.

Каковы распространенные источники ошибок при интерпретации объемных медицинских изображений?

Во время визуального поиска считается, что представления цели в памяти направляют внимание сверху вниз к объектам окружающей среды, которые соответствуют характеристикам цели (Olivers & Eimer, 2011; Olivers, Meijer, & Theeuwes, 2006; Soto, Heinke , Хамфрис и Бланко, 2005).В типичных лабораторных парадигмах наблюдатель ищет одну четко определенную цель, которая либо получает сигнал при каждом испытании, либо остается неизменной на протяжении всего эксперимента. Однако поиск целей в более реалистичных обстоятельствах, когда информация о цели ухудшена, может быть более сложной задачей. Эффективность поиска лучше, когда информация о цели точна (например, изображения), а поиск менее эффективно управляется неточными (например, словесными подсказками) или категориальными (например, кошки против Гарфилда) целевыми репликами (Hout & Goldinger, 2015; Вулф, Горовиц, Кеннер, Хайл и Васан, 2004 г.).Кроме того, когда на изображении присутствует несколько целей (например, Гарфилд и Нермал), вторая цель с меньшей вероятностью будет обнаружена после обнаружения первой (Berbaum et al., 1990; Cain & Mitroff, 2013). Это явление первоначально называлось «удовлетворение поиском», что предполагало, что ошибка была вызвана преждевременным прекращением поиска после обнаружения первой цели (Berbaum et al., 1990; Tuddenham, 1962). Однако последующие исследования поставили под сомнение это объяснение (Berbaum et al., 1991), и считается, что эти ошибки имеют несколько причин (Cain, Adamo, & Mitroff, 2013). В результате термин «последующие промахи при поиске» был предложен как теоретически нейтральная альтернатива (Cain & Mitroff, 2013). К сожалению, задача радиолога часто представляет собой наихудший сценарий для репрезентаций цели: выявление неопределенного числа плохо определенных аномалий.

Учитывая эти проблемы, особенно важно рассмотреть, как различные методы визуализации могут улучшить способность радиолога выявлять аномалии.Например, двухмерная медицинская визуализация заставляет наблюдателя рассматривать органы как перекрывающиеся структуры, что может скрыть результаты и обеспечить неточные пространственные отношения между анатомическими структурами. Напротив, хотя объемная визуализация не является действительно трехмерной, меньше необходимости мысленно переводить анатомические структуры из их 2D-представлений в трехмерный мир. Неперекрывающиеся структуры, а также наличие сигналов движения могут улучшить способность обнаруживать отклонения в объемных изображениях.Помимо скрининга рака груди, прямые сравнения между объемными изображениями и их двумерными аналогами редко (Andersson et al., 2008; Ciatto et al., 2013; Gennaro et al., 2010; Gur et al., 2009; Michell et al., al., 2012; Rafferty et al., 2013; Spangler et al., 2011). Однако исследования, в которых использовался этот подход, продемонстрировали, что объемные изображения связаны с повышенной точностью (Adamo et al., 2018; Aizenman et al., 2017; Alakhras et al., 2015; Blanchon et al., 2007; Mathie & Strickland, 1997; Зельцер и др., 1995). Важно отметить, что эти различия в точности обычно связаны как с увеличением частоты совпадений, так и с уменьшением количества ложных срабатываний. Однако объемная визуализация также связана со значительными затратами: значительным увеличением времени поиска и уменьшением общего охвата (Adamo et al., 2018; Aizenman et al., 2017; Lago et al., 2018).

Важно отметить, что хотя объемная визуализация, по-видимому, превосходит другие методы визуализации, как вариабельность между наблюдателями, так и общая частота ошибок в радиологии предполагают, что есть существенные возможности для улучшения.Кроме того, недавние исследования показывают, что объемная визуализация не может быть универсальным преимуществом (Lago et al., 2018). При сравнении трехмерного томосинтеза молочной железы (DBT) и односрезового DBT не было различий в производительности, когда читателей просили идентифицировать опухоли. Напротив, 2D-визуализация была связана с лучшим обнаружением микрокальцификаций. Исследователи предположили, что объемная визуализация приводит к меньшему охвату изображения и большей зависимости от парафовеальной обработки. Следовательно, если аномалии не могут быть легко обнаружены на периферии, вероятно, потребуется стоимость объемной визуализации.

Чтобы лучше понять источники ошибок при интерпретации объемных изображений, полезно выйти за рамки поведенческих данных. Например, если наблюдатель пропускает поражение, часто неясно, не смогли ли они его найти или локализовали, но решили, что о нем не следует сообщать. По этой причине слежение за глазами широко используется для определения того, почему отклонения от нормы не учитываются при выполнении различных радиологических задач, таких как скрининг рака легких (Manning, Ethell, & Donovan, 2004). В целом, как ложноположительные, так и ложноотрицательные решения связаны с более длительным временем ожидания, что указывает на то, что неправильные решения часто связаны с дополнительным вниманием (Kundel, Nodine, & Krupinski, 1989; Manning, Barker-Mill, Donovan, & Crawford, 2006 ).Слежение за глазами также использовалось для выявления трех различных типов ошибок: ошибки поиска возникают, когда поражение не имеет ямок, ошибки распознавания возникают, когда поражение фиксируется на короткое время (менее 1 с), но не регистрируется, и возникает ошибка принятия решения. когда поражение фиксируется в течение длительного периода времени (> 1 с), но не сообщается (рис. a, Kundel, Nodine, & Carmody, 1978).

a Иллюстрация того, как пропущенный узелок можно классифицировать как ошибку поиска, распознавания или принятия решения с использованием отслеживания взгляда.Желтые круги обозначают фиксации, а красный квадрат обозначает область интереса для аномалии. b Пример расчета покрытия изображения

При скрининге рака легких с помощью рентгенограмм грудной клетки наиболее распространенным типом ошибок являются ошибки принятия решений, за которыми следуют ошибки распознавания и поиска (Donovan & Litchfield, 2013; Kundel et al., 1978). Тем не менее, Дрю и др., 2013 наблюдали относительно небольшую долю ошибок принятия решений при скрининге рака легких с использованием компьютерной томографии грудной клетки.В 3D-колонографии с пролётным путём, виртуальной навигации через внутрипросветную реконструкцию толстой кишки, большинство ошибок было идентифицировано как ошибки распознавания, а ошибок поиска практически не было (Phillips et al., 2013). Кроме того, ошибки были равномерно распределены между ошибками поиска и распознавания при идентификации микрокальцификатов в DBT (Lago et al., 2018). Однако ошибки были в первую очередь ошибками распознавания для идентификации масс. Эти исследования являются хорошими примерами расширения текущих показателей отслеживания взгляда на объемные изображения, что позволяет проводить прямые сравнения между этими модальностями.Таким образом, исследователи обнаружили, что объемная визуализация может улучшить способность точно идентифицировать аномалию после того, как она была обнаружена в различных задачах, что может быть преимуществом неперекрывающихся структур (Drew et al., 2013; Lago et al. др., 2018; Phillips et al., 2013). Однако распределение ошибок может существенно различаться в зависимости от характера задачи или даже между стратегиями поиска в рамках одной и той же задачи (Drew et al., 2013; Lago et al., 2018). В будущих исследованиях также будет важно определить, как распределение ошибок изменяется в процессе обучения интерпретации объемных медицинских изображений, что в конечном итоге может дать представление о типе помощи (например,g., компьютерное обнаружение), что было бы наиболее полезно для разных уровней опыта.

Хотя аналогичные подходы использовались для классификации ошибок в 2D и объемных изображениях (Drew et al., 2013; Lago et al., 2018; Phillips et al., 2013), в значительной степени неясно, соответствуют ли пороговые значения для этих категорий подходит для объемных изображений. Исследователям также важно рассмотреть целесообразность применения этих категорий к разным типам задач. Конечно, ненормальность, на которой не фиксируется фиксация, указывает на некоторый уровень ошибки поиска, но определение того, является ли фиксационное время пребывания в течение промежуточного времени (например,g., 500 мс) представляет собой ошибку распознавания или принятия решения, которая, вероятно, зависит как от поставленной задачи, так и от уровня знаний наблюдателя. Например, общее время пребывания узелков на рентгенограммах грудной клетки у экспертов было меньше, чем у слушателей, что отражалось в увеличении количества ошибок распознавания по сравнению с ошибками принятия решений (Donovan & Litchfield, 2013).

Альтернативный подход к классической классификации ошибок Кунделя был недавно предложен Cain et al. (2013). После записи движений глаз для тысяч испытаний они использовали подход на основе данных для рассматриваемой задачи (в их случае — задача визуального поиска с несколькими целями) для описания различных типов ошибок.Подходы, основанные на данных, позволяют регулировать порог между ошибками распознавания и решения для заданного стимула на основе распределения времени ожидания или среднего наклона поиска. Используя этот подход, Cain et al. (2013) определили порог ~ 25% от значения, обычно используемого в качестве порога восприятия медицинских изображений. Примечательно, что было мало доказательств, подтверждающих четкое качественное различие между ошибками распознавания и принятия решений. Скорее, данные можно было бы более адекватно описать с помощью моделей перцептивного принятия решений, таких как дрейфовая диффузия (Ratcliff & McKoon, 2008), которые постулируют, что доказательства медленно накапливаются во время фиксации на предмете, пока не будет достигнут порог принятия решения.С этой точки зрения, ошибки распознавания и принятия решений возникают в континууме, а не в отдельных категориях. Кроме того, Cain et al. (2013) продемонстрировали, что ошибки поиска для второй цели можно разделить на новые категории. В некоторых испытаниях поиск прекращался, как только первая цель была идентифицирована, без попытки найти вторую цель (ошибка «стратегии»). В других испытаниях первая цель была повторно зафиксирована во время поиска (ошибка «истощения ресурсов»), что предполагает, что ресурсы рабочей памяти могли быть истощены из-за сохранения информации о первой цели (Cain and Mitroff, 2013).Это исследование подчеркивает, что не существует универсального подхода к классификации ошибок между задачами, а также возможности классификации на основе данных для получения дополнительной информации об источниках ошибок при визуальном поиске. Хотя этот подход требует большого количества данных, которые может быть сложно собрать наблюдателям-радиологам, может быть информативным использование метода, управляемого данными, для создания таксономии ошибок при поиске объемных изображений. Например, аномалия может быть пропущена в объемном изображении, если аномалия видна во время поиска, но никогда не фиксируется, но ошибка пропуска может также возникнуть, если фрагмент изображения, содержащий аномалию, никогда не посещается.Хотя обе они будут считаться ошибками поиска в соответствии с системой классификации Кунделя, они, вероятно, представляют собой разные источники ошибок.

Каковы последствия повышенной когнитивной нагрузки и как их преодолеть?

В свете повышенной способности обнаруживать аномалии в объемных изображениях можно было ожидать, что объемные изображения будут связаны со сниженной когнитивной нагрузкой. Однако студенты-медики сообщают о больших умственных усилиях при просмотре объемных изображений, что может быть связано с увеличением размера, сложности и времени оценки, связанными с этими изображениями (Stuijfzand et al., 2016). Этот вывод, по-видимому, подтверждается размером зрачка, физиологической мерой когнитивной нагрузки (Porter, Troscianko, & Gilchrist, 2007; Unsworth & Robison, 2018), которая увеличивается со временем поиска в объемных изображениях (Stuijfzand et al., 2016). Аналогичным образом, недавняя работа с патологами груди, исследующими слайды цифровой патологии, показала, что диаметр зрачка чувствителен к воспринимаемой сложности случая: более сложные случаи обычно были связаны с большим диаметром зрачка (Brunyé et al., 2016). Результаты из самых разных источников позволяют предположить, что визуальный поиск ухудшается, когда рабочая память облагается налогом. Одновременная нагрузка на пространственную рабочую память снижает эффективность визуального поиска как в лабораторных, так и в прикладных задачах, таких как вождение автомобиля (Oh & Kim, 2004; Recarte & Nunes, 2003). Кроме того, известно, что характерные восходящие функции более эффективно привлекают внимание при когнитивной нагрузке (Matsukura, Brockmole, Boot, & Henderson, 2011). Обычно наблюдатели в естественных задачах стремятся минимизировать свою когнитивную нагрузку, часто сканируя свое окружение, особенно когда нагрузка на память высока и задача непредсказуема (Droll & Hayhoe, 2007).Этот эффект кажется преувеличенным для новичков: более слабые шахматисты предпочитают ходы, которые уменьшают нагрузку на рабочую память, например, уменьшение количества фигур на доске (Leone, Slezak, Cecchi, & Sigman, 2014).

В радиологии увеличение когнитивной нагрузки и усталости может отрицательно сказаться на уходе за пациентом. Расхождения увеличиваются в последние часы долгого рабочего дня, и объемные изображения были определены как фактор риска для этих расхождений (Ruutiainen, Durand, Scanlon, & Itri, 2013).После просмотра изображений компьютерной томографии у наблюдателей снизилась точность, повысилось зрительное утомление и увеличилось зрительное напряжение (Krupinski et al., 2012). Точно так же протоколы «подумай вслух» показывают, что радиологи чаще говорят об эффективных стратегиях поиска и навыках манипулирования изображениями на объемных изображениях, чем на 2D-изображениях (van der Gijp et al., 2015). Кроме того, одно исследование показывает, что пациенты в большей степени подвержены усталости, чем эксперты, при обнаружении аномалий при КТ брюшной полости (Bertram et al., 2016).В будущих исследованиях необходимо будет определить, какие стратегии поиска лучше всего компенсируют когнитивную нагрузку, связанную с объемными медицинскими изображениями.

Каковы лучшие стратегии глубинного поиска в различных задачах и модальностях?

Одно особенно многообещающее направление исследований — это изучение того, как изменение поведения прокрутки может быть связано с производительностью поиска. Дрю и др. (2013) обнаружили, что принятие стратегии быстрого «просверливания» по глубине при сохранении фиксации превосходит «сканирование» плоскостей x и y при медленном перемещении по глубине во время скрининга рака легких (рис.). Хотя это исследование не проверяло использование сигналов движения напрямую, возможно, что сверление позволяет наблюдателю более эффективно использовать преимущества временных сигналов движения, чтобы отличать кровеносные сосуды от узелков, которые, кажется, «появляются и исчезают из поля зрения» во время прокрутки. глубина. В поддержку этого предложения Wen et al. (2016) обнаружили, что сканеры и бурильщики используют разные восходящие сигналы в задачах скрининга рака легких. Похоже, что бурильщики лучше умеют использовать заметные сигналы движения, тогда как поисковое поведение сканеров в значительной степени определяется выраженностью 2D.Помимо общих различий в производительности, распределение ошибок между сканерами и бурильщиками различалось: бурильщики, как правило, имеют больше ошибок распознавания, чем сканеры, а сканеры, как правило, делают больше ошибок поиска, чем бурильщики. В настоящее время неясно, как эти поисковые стратегии возникают в процессе обучения. Дрю и др. (2013) обнаружили, что бурильщики, как правило, читают больше случаев компьютерной томографии в неделю, чем сканеры. Однако различий в стратегии поиска, основанных на многолетнем опыте, не было, а размер выборки не был достаточно большим, чтобы полностью разделить влияние стратегии поиска и опыта на общую производительность.

При поиске узлов в легких с помощью компьютерной томографии (КТ) грудной клетки появляются две стратегии: сканирование и сверление. Сканеры перемещают взгляд по двухмерной плоскости, медленно прокручивая глубину. В отличие от этого бурильщики держат глаза относительно неподвижно в одной области за раз, быстро прокручивая глубину. В настоящее время в значительной степени неизвестно, как эти стратегии применимы к другим модальностям или задачам. Рисунок перепечатан с разрешения Rubin et al. (2018).Восприятие объемных данных. В Справочник по восприятию медицинских изображений и технологиям (Том 2). Кембридж, Соединенное Королевство: Издательство Кембриджского университета. Первоначальная фигура была воссоздана по рисункам Дрю, В, Олвала и др. (2013). Сканеры и бурильщики: характеристика экспертного визуального поиска по объемным изображениям. Journal of Vision , 13 (10), 3

В будущих исследованиях будет полезно изучить лучшие стратегии поиска в объемных изображениях для различных задач и модальностей.Стратегии поиска, наиболее эффективные для данной задачи (например, обнаружение очаговых аномалий, таких как узелки рака легких), могут быть неоптимальными для аномалий, определяемых различными восходящими свойствами (например, обнаружение диффузных аномалий, таких как пневмония). Есть несколько хороших примеров этих сравнений из исследований с использованием 2D медицинских изображений (например, Gegenfurtner & Seppänen, 2013; Krupinski, 2005; Krupinski et al., 2003; Mousa et al., 2014). Например, при просмотре рентгенограмм грудной клетки выявляются различные шаблоны поиска диффузных аномалий, очаговых аномалий и нормальных изображений (Kok, De Bruin, Robben, & van Merriënboer, 2012).Кроме того, у экспертов и новичков разные модели поведения в зависимости от типа аномалии. Диффузные нарушения обычно приводили к более коротким и рассредоточенным фиксациям, но этот эффект был более выражен у студентов. Напротив, очаговые аномалии характеризовались более длительной фиксацией в данном месте. Примечательно, что при прямом сравнении томосинтеза груди и КТ грудной клетки Aizenman et al. (2017) обнаружили, что томосинтез груди привел к более строгой стратегии сверления, чем КТ грудной клетки.Кроме того, ни один наблюдатель не принял стратегию сканирования. Точно так же, хотя и сканеры, и бурильщики могли быть идентифицированы при обследовании КТ брюшной полости и таза, не было никакого преимущества в точности, связанного с работой бурильщика (Kelahan et al., 2019-2019). Различие между сканером и бурильщиком также недавно было распространено на область цифровой патологии, где врачи панорамируют и увеличивают большие изображения, чтобы более внимательно рассмотреть подозрительные области (Mercan, Shapiro, Brunyé, Weaver, & Elmore, 2018). В этой области сканирование, по-видимому, является доминирующей стратегией, но не было никаких различий в производительности.В будущих исследованиях может оказаться полезным более систематически оценивать свойства стимула, влияющие на относительную долю этих стратегий в объемных изображениях.

Недавнее исследование подошло к вопросу об изменчивости между наблюдателями в шаблонах сканирования с использованием нового инструмента под названием ScanMatch (Crowe, Gilchrist, & Kent, 2018). Метод ScanMatch сравнивает последовательности фиксации между наблюдателями, присваивая буквенное значение каждой области и генерируя последовательность строк для каждого участника.Затем эти строки сравниваются между наблюдателями, и получается оценка сходства. В этом исследовании наблюдатели просмотрели два прогона МРТ головного мозга с фиксированной скоростью. В целом эксперты использовали больше похожих схем сканирования, чем новички. Кроме того, большее сходство было связано с лучшей производительностью. Эти результаты можно объяснить несколькими способами. Во-первых, возможно, что эксперты руководствуются статистическими отклонениями, обнаруженными при первом предъявлении стимула, что подтверждается повышенными оценками сходства для истинно положительных результатов и более низкими оценками сходства для ложноотрицательных результатов.Однако такая же закономерность не была обнаружена для истинно отрицательных результатов, что побудило авторов предположить, что вместо этого эксперты могли бы использовать более систематические стратегии поиска при отсутствии статистических нарушений. В соответствии с этой точкой зрения, наблюдатели применяют стратегии эндогенного систематического поиска в визуальных дисплеях, в которых отсутствуют функции, которые обычно определяют поведение при поиске, такие как заметность и семантическая информация (Solman & Kingstone, 2015). Кроме того, стратегии систематического поиска были более тесно связаны с наиболее успешными игроками.В будущих исследованиях было бы интересно проверить эти прогнозы более непосредственно при поиске объемных изображений, особенно в том, что касается надежности поведения прокрутки по глубине с использованием более клинически обоснованных парадигм свободной прокрутки.

Как изучаются закономерности сцены в объемных изображениях?

В типичной лабораторной поисковой задаче наблюдателя могут попросить указать, присутствует ли цель или отсутствует на дисплее, который состоит из случайно упорядоченных объектов на пустом фоне.Напротив, сцены реального мира богаты контекстом, а соседние объекты часто тесно связаны друг с другом. Зубная щетка возле раковины в ванной будет идентифицирована быстрее, чем зубная щетка, помещенная на пианино или плавающая в воздухе (Torralba, Oliva, Castelhano, & Henderson, 2006). Эта форма нисходящего руководства называется грамматикой сцены (Võ & Wolfe, 2015). Для знающего наблюдателя медицинские изображения также хорошо структурированы и контекстуальны. Например, камни в желчном пузыре всегда находятся в желчном пузыре, который находится под печенью.Это сильно ограничивает области КТ брюшной полости, которые необходимо исследовать на наличие камней в желчном пузыре. Считается, что этот тип нисходящего знания изменяет области рентгенограмм грудной клетки, которые исследуются в ходе обучения, что приводит к качественно разным схемам поиска между экспертами и новичками (Kundel & La Follette, Jr., 1972; Manning, Ethell, Донован и Кроуфорд, 2006 г.). Важно отметить, что этот эффект, по-видимому, развивается органически без каких-либо явных инструкций о том, как искать на рентгенограммах грудной клетки, что предполагает, что он в значительной степени обусловлен нисходящими знаниями о том, где могут возникнуть аномалии, а не обучением конкретным стратегиям поиска.

Хотя наши знания о мире позволяют нам сделать обоснованное предположение о том, где найти зубную щетку в доме незнакомца, мы, вероятно, быстрее найдем зубную щетку в собственной ванной комнате из-за неоднократного опыта. В лаборатории выигрыш от времени отклика от многократных воздействий на один и тот же поисковый массив называется контекстной подсказкой (Chun & Jiang, 1998). Хотя эти эффекты обычно наблюдаются в высокоискусственных поисковых задачах, контекстная подсказка также встречается в динамических задачах, где цели и отвлекающие факторы постоянно перемещаются по определенной траектории, трехмерных дисплеях глубины, на открытом воздухе и в виртуальных квартирах (Chun & Jiang, 1999; Jiang, Won, Swallow, & Mussack, 2014; Kit et al., 2014; Ли, Айвар, Кит, Тонг и Хэйхо, 2016 г .; Занг, Ши, Мюллер и Кончи, 2017). Более того, хотя объектная информация является сильным контекстным сигналом (Koehler & Eckstein, 2017), контекстное руководство не обязательно зависит от объектов в сцене; эту информацию можно извлечь из статистических закономерностей в визуальных объектах низкого уровня (Torralba et al., 2006). Кроме того, контекстная подсказка толерантна к ряду изменений между воздействиями (Song & Jiang, 2005).

Учитывая большой размер объемных медицинских изображений (Andriole et al., 2011; McDonald et al., 2015), для радиологов, несомненно, важно использовать некоторые из вышеупомянутых механизмов, чтобы сузить область поиска до соответствующих областей пространства. Просто непрактично искать каждый пиксель большого компьютерного томографа (рис.), И вполне вероятно, что это руководство сверху вниз является одним из самых больших преимуществ опыта (обзоры см. В Gegenfurtner et al., 2011 и van der Gijp и др., 2016). Однако, в отличие от интерпретации двухмерных медицинских изображений, влияние нисходящих знаний на стратегию поиска наблюдателя в процессе обучения при чтении объемных изображений в значительной степени неизвестно, особенно в том, что касается прокрутки по глубине.Как правило, экспертные исследования подходят к этим вопросам путем анализа косвенных показателей, таких как охват изображения или время до первого попадания, на разных уровнях опыта (например, Donovan & Litchfield, 2013; Manning et al., 2006). Однако бывает трудно отделить влияние медицинских знаний от изученных статистических закономерностей, используя эти косвенные меры нисходящей обработки. Дополнительный подход к этим косвенным измерениям может заключаться в обучении начинающих наблюдателей искусственным объемным дисплеям и определению того, как поведение поиска меняется с опытом.

Каковы особенности экспертизы объемной интерпретации изображений?

Преимущество регулярностей в нашей среде состоит в том, что мы можем формировать подробные представления сцены, известные как схемы, для управления поведением визуального поиска. Например, контекстная подсказка, по-видимому, полагается на ресурсы пространственной рабочей памяти для выражения, но не получения выученных отображений (Annac et al., 2013; Manginelli, Langer, Klose, & Pollmann, 2013). Считается, что пространственная рабочая память быстро связывает текущую конфигурацию поиска со схемами, хранящимися в долговременной памяти, делая наблюдателя чувствительным к статистическим отклонениям в их среде.Фактически, знакомые сцены, представленные в течение доли секунды, можно точно разделить на категории (Potter, 1975), направить последующие движения глаз (Castelhano & Henderson, 2007) и повысить обнаруживаемость новых объектов в сцене (Brockmole & Henderson, 2005; Чен и Зелинский, 2006). Это явление упоминается в литературе как «суть», «целостная» или «глобальная» обработка, и его часто изучают с использованием парадигмы движущегося окна вспышки (Castelhano & Henderson, 2007). В этой парадигме наблюдателям показывается краткий предварительный просмотр сцены, за которым следует маска и последующий целевой сигнал.Задача поиска выполняется с использованием окна контингента взгляда, которое устраняет влияние онлайн-парафовеальной обработки и изолирует эффект предварительного просмотра сцены (то есть первоначального целостного впечатления) на поведение при поиске.

В радиологии положительные эффекты предварительного просмотра сцены кажутся более скромными, чем те, которые наблюдаются в литературе по визуальному поиску. Предварительный просмотр сцен перед задачей обнаружения рака легких был связан с небольшим сокращением времени поиска и меньшим количеством общих фиксаций (Litchfield & Donovan, 2016).Однако эти преимущества не соответствовали повышению точности и были слабо связаны с опытом. Более того, превью сцены оказывались вредными, если патология варьировалась между испытаниями. Тем не менее, есть убедительные доказательства того, что радиологи могут быстро обнаруживать статистические аномалии на медицинских изображениях. Kundel и Nodine (1975) обнаружили, что 70% узелков в легких были обнаружены после того, как рентгенограммы грудной клетки просматривались только в течение 200 мс. Точно так же исследования показали, что маммографы могут классифицировать изображения как нормальные или ненормальные с большей вероятностью после просмотра их всего лишь 250 мс (Evans, Georgian-Smith, Tambouret, Birdwell, & Wolfe, 2013).Однако возможность локализовать эти поражения была случайной (хотя см. Carrigan, Wardle, & Rich, 2018). Кроме того, большинство (57%) случаев рака груди и большая часть (33%) рака легких фиксируются в первую секунду просмотра, а этого времени просто недостаточно для тщательного поиска (Donovan & Litchfield 2013; Kundel, Nodine, Conant, & Weinstein, 2007; Kundel, Nodine, Krupinski, & Mello-Thoms, 2008). Кроме того, отслеживание глаз демонстрирует, что опыт связан с существенными различиями в поведении поиска: эксперты демонстрируют больше схем кругового сканирования, более короткое время до первой фиксации, большую продолжительность фиксации, меньшее количество фиксаций, меньшее покрытие изображения и меньшую изменчивость взгляда ( Kundel & La Follette, Jr., 1972; Маклафлин, Бонд, Хьюз, МакКоннелл и Макфадден, 2017 г.). Примечательно, что шаблоны сканирования, подобные экспертным, могут предшествовать принятию экспертных решений (Kelly, Rainford, Darcy, Kavanagh, & Toomey, 2016).

Эти данные привели к созданию серии моделей восприятия медицинских изображений, в которых целостная обработка является важным компонентом экспертных знаний (Drew et al., 2013; Nodine & Kundel, 1987; Swennson, 1980). Свенсон предложил двухступенчатую модель. На первом этапе используется фильтр предварительного внимания, аналогичный теории интеграции признаков (FIT), который быстро выбирает определенные области изображения для обработки.На втором этапе дополнительно исследуются области, отмеченные на первом этапе. Точно так же Нодин и Кундель (1987) предложили модель глобального фокального поиска. Во время первоначального глобального впечатления изображение быстро сравнивается со схемой обычного изображения наблюдателя. На следующем этапе отклонения между изображением и мысленным представлением дополнительно оцениваются с использованием сфокусированного внимания. Наконец, Дрю и др. (2013) обрисовали в общих чертах модель, основанную на двух параллельных путях (см. Также Wolfe, Võ, Evans, & Greene, 2011).Неселективный путь извлекает глобальную информацию из изображения, используя большое поле зрения. Выборочный путь извлекает подробную визуальную информацию, которая поддерживает распознавание объектов с использованием более фокусного поиска. Хотя эти модели имеют нюансы, все они подчеркивают важность быстрого извлечения глобальной информации для управления поисковым поведением: способность, которая, как считается, увеличивается с опытом.

Хотя об опыте работы с 2D-изображениями известно много, исследований по объемным изображениям гораздо меньше.Из существующих исследований несколько рудиментарных результатов были воспроизведены в объемных изображениях (таблица). Например, эксперты более точны, быстрее ищут, быстрее обнаруживают аномалии и проявляют больше фиксации в интересующих областях (Bertram, Helle, Kaakinen, & Svedstrom, 2013; Cooper et al., 2009, 2010; Mallett et al., 2014). Однако многие результаты, основанные на 2D медицинских изображениях, не были воспроизведены с использованием объемных изображений (таблица). Например, Bertram et al. (2013) не обнаружили различий в средней продолжительности фиксации между экспертами и новичками, которая обычно используется в качестве показателя повышенной способности к обработке с опытом.Кроме того, исследователи не обнаружили групповых различий в амплитуде саккад, которая является ключевым показателем способности глобальной обработки. Аналогичным образом Mallett et al. (2014) не смогли найти каких-либо различий в движениях глаз между экспертами и новичками в пролётной эндолюминальной КТ-колонографии, кроме сокращения времени до первого преследования. Однако в обоих этих исследованиях использовались задачи (например, увеличение лимфатических узлов, висцеральные аномалии и полипы толстой кишки), которые далеки от задач, обычно используемых в исследованиях с 2D-изображениями.В настоящее время неясно, связаны ли эти различия с характером задачи или фундаментальными различиями в том, как опыт выражается в объемной визуализации. Фактически, существует очень мало прямых сравнений с отслеживанием взгляда между 2D и объемным поиском. В редком примере этого подхода Aizenman et al. (2017) обнаружили, что томосинтез груди был связан с более длительной фиксацией и меньшим охватом изображения, чем традиционная маммография. Однако амплитуда саккад была эквивалентной, что предполагает равную способность полагаться на парафовеальную обработку в обеих модальностях.

Таблица 2

Список общих результатов экспертизы на двумерных изображениях. Многие из этих основных результатов экспертизы либо не воспроизведены, либо еще не проверены на объемных изображениях (особенно с использованием парадигм свободной прокрутки с наложенными изображениями) литературе по восприятию, но почти совершенно неизвестно, как эти способности могут проявляться в объемных изображениях.Одна из возможностей состоит в том, что глобальные впечатления постоянно формируются на 2D-плоскости по мере того, как наблюдатель прокручивает глубину. Например, наблюдатель может быстрее фиксировать аномалии с того момента, как они впервые появляются на экране (например, Helbren et al., 2014, 2015). В этом случае аналоги мер отслеживания взгляда, связанные с глобальной обработкой при интерпретации 2D-изображений, должны быть перенесены на объемные изображения (таблица). Однако глобальное представление сцены также может быть сформировано путем быстрой прокрутки по глубине изображения до использования более фокусного шаблона поиска.Это предложение нашло поддержку в литературе. В реальных задачах, таких как приготовление бутерброда, наблюдатели проводят первоначальное сканирование сцены, что помогает им быстрее находить целевые объекты во время выполнения задачи (Hayhoe, Shrivastava, Mruczek, & Pelz, 2003). Более того, возможно, что способность глобальной обработки выражается по-разному в зависимости от стратегии поиска наблюдателя. Для сканеров глобальные оттиски могут быть созданы на 2D-плоскости с каждым переходом по глубине.Напротив, бурильщики могут создать глобальное впечатление, прокручивая глубину и затем возвращаясь к слоям глубины, которые были статистически аномальными.

В дополнение к сканерам и бурильщикам были предложены другие показатели поведения при прокрутке по глубине в связи с возможностью глобальной обработки (таблица): количество посещений на срез, количество колебаний (прокрутка назад и вперед менее чем на 25%). глубины), количество половинных прогонов (прокрутка назад и вперед до 25–50% глубины) и количество полных прогонов (прокрутка назад и вперед через> 50% глубины) (Venjakob, Marnitz, Mahler, Sechelmann, & Roetting, 2012).Считается, что радиологи, которые проводят более полные исследования, используют более глобальный процесс поиска, который должен расширяться с опытом наблюдателя. Однако это предложение еще не было проверено, и эти меры не получили широкого распространения за пределами этого первоначального исследовательского исследования с использованием изображений компьютерной томографии черепа.

Таблица 3

Общие показатели отслеживания взгляда, их когнитивные корреляты и предлагаемые аналоги для объемных медицинских изображений. ROI, область интереса

В других сферах медицинской визуализации, которые можно рассматривать как аналог объемных изображений, таких как виртуальная микроскопия, существует четкая связь между опытом и возможностями глобальной обработки (Krupinski, Graham, & Weinstein, 2013; Krupinski et al. al., 2006). Хотя патологи с любым уровнем опыта, вероятно, выбирали информативные области для мест, которые они хотели бы увеличить, более опытные патологи тратили меньше времени на оценку областей, которые в конечном итоге не будут выбраны для увеличения. Эти данные, в дополнение к ряду критических поведенческих мер и критериев отслеживания взгляда, позволяют предположить, что опытные патологоанатомы обладают повышенной способностью быстро извлекать наиболее важную информацию из медицинских изображений. Другие исследования выявили сходство в стратегиях поиска между цифровой патологией и объемной визуализацией (Mercan et al., 2018), но в значительной степени неясно, как эти результаты связаны с опытом в той или иной области. Кроме того, между этими изображениями есть явные различия: выбор просмотра видимой части изображения с большим разрешением — это не то же самое, что прокрутка для отображения визуальной информации, встроенной по всей глубине изображения. Мы считаем, что есть ряд многообещающих областей для будущих исследований, связанных с тем, как поведение при поиске может отличаться от опыта в самых разных областях (например,г., патология, УЗИ).

При обсуждении изменений в стратегии поиска с экспертами следует учитывать важное предостережение: различия в шаблонах поиска между экспертами и новичками не обязательно означают, что обучение новичка использованию этих стратегий повысит производительность. Во многих случаях исследования показывают, что усиление целевого шаблона за счет большего воздействия на примеры нормальных и аномальных изображений было бы гораздо более полезным для новичка, чем указание им, где искать (Chen et al., 2017; Донован и Литчфилд, 2013 г .; Кундель и Ла Фоллет, мл., 1972; Manning et al., 2004; Nodine et al., 1996, 1999). Хотя есть соблазн определить кратчайшие пути к опыту, большинство усилий по обучению новичков использованию новых стратегий или следованию путям сканирования экспертов имели скромный успех или ограниченную обобщаемость (Gegenfurtner, Lehtinen, Jarodska, & Saljo, 2017; Kok et al. , 2016; Litchfield, Ball, Donovan, Manning, & Crawford, 2010; Mello-Thoms, 2008; van Geel et al., 2017).При рассмотрении этого вопроса может быть полезно подумать, какие аспекты визуального поиска можно улучшить с помощью этих методов. Обучение новичков имитации поискового поведения экспертов могло бы улучшить общую стратегию поиска, но сомнительно, что эти методы существенно улучшили бы возможности глобальной обработки, которая считается отличительным признаком опыта. Скорее, возможности глобальной обработки приписываются большей способности быстро обнаруживать статистические отклонения в изображении с помощью сильных мысленных представлений, которые приобретаются благодаря обширному опыту.Примечательно, что опытные радиологи ищут разные области изображения в каждом случае, что, как считается, определяется глобальными свойствами каждого изображения (Manning, Ethell, & Crawford, 2003). Однако обученные рентгенологи, как правило, последовательно пропускают одни и те же области, что, вероятно, отражает стратегию, на которую больше влияют априорные вероятности обнаружения аномалии в данном месте (Manning et al., 2003). Эти результаты показывают, что, хотя и эксперты, и новички полагаются на свой предыдущий опыт при поиске, эксперты имеют более сильные ментальные представления, на которые можно полагаться, чем новички.В будущих исследованиях, направленных на поиск более эффективных методов обучения, следует рассмотреть, какие элементы знаний требуют опыта, а какие являются усвоенными стратегиями. Кроме того, может быть полезно сосредоточиться на поддержке радиологов на разных этапах развития, а не на поиске ярлыков между ними.

Помимо различий на уровне группы между экспертами и новичками, может быть не менее полезным изучить, как идиосинкразии в движениях глаз связаны со значительной вариабельностью в производительности, наблюдаемой среди экспертов.Хейс и Хендерсон (2017) обнаружили, что вариации в схемах сканирования объясняют большую часть различий в объеме рабочей памяти, скорости обработки и интеллекта людей. Более того, индивидуальные различия в шаблонах сканирования кажутся довольно стабильными для разных типов задач, даже если использование жесткого шаблона сканирования может быть неоптимальным (Andrews & Coppola, 1999; Henderson & Luke, 2014; Mehoudar, Arizpe, Baker, & Yovel). , 2014; Paeye & Madelain, 2014; Poynter, Barber, Inman, & Wiggins, 2013; Rayner, Li, Williams, Cave, & Well, 2007).Кроме того, шаблоны сканирования многое говорят о стратегии поиска человека, например о предпочтении скорости или точности (Hogeboom & van Leeuwen, 1997). Многие исследователи пытались определить, существуют ли общие когнитивные способности, связанные с опытом в радиологии, которые могут помочь предсказать, кто из них может стать лучшим радиологом, или объяснить, почему равный опыт не приводит к эквивалентной работе. Эти подходы в значительной степени оказались безуспешными и рисуют убедительную картину специфичности предметной области с опытом (Beck, Martin, Smitherman, & Gaschen, 2013; Evans et al., 2011; Келли, Рейнфорд, Макинти и Кавана, 2017; Леонг и др., 2014; Майлс-Уорсли, Джонстон и Саймонс, 1988; Нодин и Крупински, 1998). Однако результаты первого испытания задачи визуального поиска предсказывают, какие люди будут хорошо работать с опытом, что предполагает наличие важных индивидуальных характеристик, которые не были учтены в предыдущих исследованиях (Ericson, Kravitz, & Mitroff, 2017). Исследования из литературы по фундаментальным наукам показывают, что различия в движениях глаз могут дать представление об этих вопросах, но это еще не было оценено в литературе.

Каковы последствия ограниченного объема памяти при поиске объемных изображений?

Управляемый поиск предполагает, что внимание будет направлено на подмножество элементов в вашей среде, которые с большей вероятностью станут вашей целью. Например, если вы ищете салат ромэн в продуктовом магазине, уход за зелеными продуктами сокращает общее количество предметов, которые необходимо оценить. Однако само собой разумеется, что визуальный поиск был бы наиболее эффективным, если бы когнитивная система отслеживала, какие зеленые элементы уже были оценены, чтобы направить внимание на новые места и минимизировать непреднамеренные движения глаз в ранее посещенные места.Такой механизм был бы особенно полезен для профессиональных визуальных поисковиков, таких как радиологи, которым необходимо эффективно определять, какие области больших объемных изображений они уже оценили, и когда пришло время перейти к другой задаче. Многие модели визуального поиска неявно предполагают, что ранее посещенные объекты никогда не будут переоценены (например, Treisman & Gelade, 1980). В соответствии с этим предположением, исследования показали, что наблюдатели ищут, как будто у них есть неявная память о том, где они недавно смотрели: саккады с большей вероятностью будут двигаться в том же направлении, что и предыдущая саккада, чем в противоположном направлении (Klein & MacInnes, 1999), саккадическая латентность выше в ранее посещенных местах, чем в новых (Vaughan, 1984), а скорость рефиксации больше напоминает модель, которая предполагает память о предыдущих фиксациях, чем модель, которая этого не делает (Bays & Husain, 2012; Peterson, Kramer, Wang, Ирвин и Маккарли, 2001).

Обычно предлагаемый механизм для этого явления — ингибирование возврата (IOR) — термин, используемый для описания времени задержки ответа на зонды в недавно посещаемых местах по сравнению с новыми местами (Posner & Cohen, 1984). Считается, что в реальных задачах поиска IOR служит помощником в поиске пищи (Klein & MacInnes, 1999). В поддержку этой гипотезы Кляйн и Макиннес (1999) обнаружили, что саккады к зонду в поисковой задаче Where’s Waldo задерживаются в недавно зафиксированных (2–3 задних) местах.Однако, несмотря на очевидную полезность механизма памяти в визуальном поиске, свидетельства в его пользу на удивление неоднозначны. Horowitz и Wolfe (1998) обнаружили, что на эффективность поиска не влияет перемещение объектов по сцене каждые 100 мс, что предполагает, что память обычно играет незначительную роль в визуальном поиске. Эта экстремальная модель поиска без памяти неоднократно подвергалась сомнению (например, Geyer, Von Mühlenen, & Müller, 2007; Kristjánsson, 2000; Peterson et al., 2001; Shore & Klein, 2000), но эти результаты действительно указывают на то, что визуальный поиск может задействовать меньше памяти для ранее посещенных мест, чем подсказывает наша интуиция.

Одно из предложений, которое пытается примирить эти противоречивые доказательства, состоит в том, что IOR служит препятствием для настойчивости в визуальном поиске, но слишком ограничен по объему (~ 4 элемента) и занимает слишком много времени, чтобы проявить (~ 200–300 мс), чтобы произвести поиск, который «образцы без замены» (Wolfe, 2003). Эти ограничения также ставят под сомнение идею о том, что IOR может играть существенную роль при прокрутке больших объемных медицинских изображений, требующих сотен фиксаций. Более того, IOR, по-видимому, сильно нарушается из-за прерываний, особенно когда массив поиска больше не отображается (Takeda & Yagi, 2000).Это говорит о том, что IOR может быть тесно связан с объектами сцены, а не с пространственным расположением. Если IOR эффективен только тогда, когда помеченные объекты видны, переход на новые уровни глубины может нарушить процесс и еще больше ограничить полезность механизма IOR при поиске объемных изображений.

Похоже, что неявная память для ранее просматриваемых мест довольно ограничена, но как насчет явной памяти? При поиске сложной сцены (например, Where’s Waldo ) наблюдатели могут отличать собственные движения глаз от случайно сгенерированных путей сканирования (Foulsham and Kingstone, 2013a, 2013b; Võ, Aizenman, & Wolfe, 2016).Однако наблюдатели близки к случайности отличить свои собственные фиксации от фиксации посторонних, особенно в статических изображениях (Foulsham and Kingstone, 2013a, 2013b; van Wermeskerken, Litchfield, & van Gog, 2018; Võ et al., 2016). Одно из объяснений этой модели результатов заключается в том, что наблюдатели полагаются на свое знание того, где было бы наиболее целесообразно смотреть на изображении для выполнения задачи, а не на сохранение представления своего пути сканирования в памяти (Foulsham & Kingstone, 2013a, 2013b ; Võ et al., 2016). В качестве дополнительной поддержки этой точки зрения наблюдатели могут лучше различать собственные движения глаз в данной сцене, когда второй наблюдатель искал другой элемент, и чрезмерно представляют вероятность того, что объекты, которые легко доступны в памяти, были зафиксированы во время визуального наблюдения. поиск (Кларк, Махон, Ирвин и Хант, 2017). Вместе эти результаты указывают на удивительно плохую явную память для ранее посещенных мест, которая в первую очередь обусловлена ​​обоснованными предположениями о том, где кто-то должен был смотреть в сцене, а не памятью как таковой.

Какие последствия плохая неявная и явная память имеют для рентгенологов, просматривающих объемные изображения? Если вы забыли, где утром искали ключи, в худшем случае вы опоздали на работу на несколько минут, потому что проверяли одни и те же места более одного раза. Тем не менее, для радиолога было бы очень важно забыть, проверяли ли он всюду на наличие признаков травм после автомобильной аварии. Это может быть особенно актуально для объемных изображений: может быть труднее поддерживать представление о том, где вы уже выполняли поиск, когда изображения увеличиваются в размере.Кроме того, если вы потеряете место, потребуется больше времени, чтобы начать заново или повторить ваши шаги в большом компьютерном томографе, чем на рентгенограмме, что еще более важно в свете увеличения нагрузки радиологов из-за объемной визуализации (Andriole et al. др., 2011; Макдональд и др., 2015).

Литература по визуальному поиску предполагает, что знание того, где вы уже искали, в значительной степени основано на статистических закономерностях и контексте сцены (Chun & Jiang, 1998; Clarke et al., 2017; Torralba et al., 2006). Нет оснований подозревать, что опытные радиологи будут отличаться в этом открытии, но у этой стратегии есть явные ограничения. Например, после прерывания, где радиолог решит возобновить поиск? Одна из возможностей состоит в том, что радиологи забыли, где они уже искали, и неосознанно повторно посещают эти места, что можно было наблюдать, отслеживая количество повторных фиксаций и точность возобновления поиска после прерывания (Williams & Drew, 2017).Однако, исходя из одних только этих мер, неясно, пересматриваются ли районы из-за того, что они забыты, или они сознательно пересматривают эти районы, чтобы лучше вспомнить, что они намеревались делать дальше. Это ограничение подчеркивает необходимость более прямых измерений памяти в прикладных задачах визуального поиска. Если явный отзыв в значительной степени основан на знании того, в каких областях следует искать, а не на знании того, где вы на самом деле искали, эта стратегия может привести к неточному возобновлению поиска после прерывания.Одна из возможностей состоит в том, что соответствующие области будут иметь приоритетные и более устойчивые к последствиям перебоев. В качестве альтернативы, если вызов памяти в первую очередь основан на том, какие области следует искать, наиболее релевантные структуры могут быть вызваны, несмотря на то, что они никогда не просматривались. Один из способов разобраться в этих возможностях — комбинировать косвенные измерения (например, отслеживание взгляда) с более прямыми измерениями (например, периодическими исследованиями), чтобы определить, какие области с большей вероятностью будут зарегистрированы как обысканные после прерывания.

В связи с плохой памятью радиологи часто ищут на удивление небольшую часть медицинских изображений, даже если охват отрицательно связан с частотой ошибок в экспертной группе (Drew et al., 2013; Rubin et al., 2015; Thomas & Лансдаун, 1963). Например, Дрю и др. (2013) обнаружили, что только 69% легкого было исследовано во время скрининга рака легких с использованием оценки полезного поля зрения 5 ° (UFOV). Бурильщики покрыли большую часть изображения, чем сканеры, что может быть еще одним фактором, объясняющим их лучшую производительность.Используя меньший UFOV (угол обзора 2,6 °), Rubin et al. (2015) обнаружили, что средний охват скринингом на рак легких составлял всего 26,7%. Согласно исследованиям с использованием 2D-изображений, более высокий охват был связан с пониженной чувствительностью. Фактически, по их оценкам, для тщательного поиска изображений на каждый случай потребовалось бы почти 12 минут, но среднее время поиска было ближе к 3 минутам. При прямом сравнении двухмерного и объемного поиска изображений охват маммографии был выше, чем томосинтеза груди, по широкому диапазону оценок UFOV (Aizenman et al., 2017). Фактически, общий охват был менее 30% в объемных изображениях с использованием самой высокой оценки UFOV (5 °). Аналогичный результат уменьшения объемного охвата изображения наблюдался в исследовании, сравнивающем DBT с односрезовым DBT (Lago et al., 2018).

Хотя очевидно, что охват в объемных изображениях низкий, невозможно получить точную оценку покрытия без точной оценки UFOV (рис.). При рентгенографии грудной клетки обычная оценка UFOV составляет 5 °, потому что подавляющее большинство узелков в легких можно обнаружить в пределах этого окна (Kundel, Nodine, Thickman, & Toto, 1987).Однако известно, что UFOV уменьшается с увеличением сложности изображения и сложности задачи (Drew, Boettcher & Wolfe 2017; Young & Hulleman, 2013), и исследования показывают, что эта оценка может быть слишком щедрой для скрининга рака легких при КТ грудной клетки (Rubin et al., 2015). Также важно отметить, что UFOV существенно зависит от размера узелка, сложности изображения и читателя (Ebner et al., 2017). В будущих исследованиях может потребоваться эмпирическая проверка оценок UFOV для конкретной задачи или отчета о результатах для ряда оценок UFOV (например,г., Айзенман и др., 2017). Например, Rubin et al. (2015) рассчитали UFOV на основе расстояния узелков от центральной фиксации в момент распознавания и обнаружили, что 99,8% обнаруженных узелков находились на расстоянии 50 пикселей или меньше от центральной фиксации (окно 2,6 °). Примечательно, что 25% пропущенных узелков никогда не находились в пределах UFOV, что подчеркивает потенциальные последствия плохого покрытия изображения на больших объемных изображениях. Кроме того, важно понимать, как UFOV изменяется в зависимости от опыта, чтобы проверить модели опыта на объемных изображениях.Например, если эксперты могут более эффективно обнаруживать аномалии с помощью парафовеального зрения, они должны иметь более широкий UFOV, чем новички.

То, как определяется полезное поле зрения (UFOV) (в градусах угла обзора (dva)), напрямую влияет на результаты последующих анализов, таких как классификация ошибок и охват изображения. В этом гипотетическом примере наблюдатель трижды зафиксировал (представленный концентрическими кругами) изображение с видимым узлом в легком (расположенном в красном поле), но не смог сообщить об этом.При использовании меньшего UFOV пропущенная аномалия будет считаться ошибкой поиска. Однако это будет классифицировано как ошибка распознавания или принятия решения с использованием наибольшей оценки UFOV. Точно так же предполагаемый охват изображения значительно зависит от размера UFOV. Важно отметить, что размер UFOV зависит как от задачи, так и от наблюдателя (Drew, Boettcher & Wolfe, 2017; Young & Hulleman, 2013; Ebner et al., 2017)

В свете плохого охвата изображения, связанного с объемными изображениями , целостная обработка может играть меньшую роль по сравнению с общим охватом изображения: очевидно, что не может быть никаких поведенческих преимуществ, если срезы изображения, которые содержат аномалию, никогда не будут видны.Например, если в изображении есть неожиданные отклонения от нормы, может потребоваться поведенческая экспертиза. Мы знаем, что контекстная подсказка пагубно сказывается на производительности, если цель находится не в ожидаемом месте (Makovski & Jiang, 2010). Точно так же в медицинских изображениях изначально неверные целостные решения редко возвращаются (Mello-Thoms, 2009), а история болезни существенно влияет на то, как интерпретируются изображения (Norman, Brooks, Coblentz, & Babcook, 1992). В объемных изображениях эти эффекты могут усугубляться возросшей потребностью в сокращении общей области поиска и возможностью прокрутки непосредственно к интересующим областям.Например, для радиолога наиболее логичным способом обследования пациента на наличие камней в желчном пузыре является сосредоточение внимания на тех слоях изображения, где присутствует желчный пузырь. Однако такой подход может привести к негативным последствиям, если есть неожиданные отклонения, такие как рак, которые видны на разных срезах изображения. Хотя пропущенные случайные результаты не обязательно являются ошибкой в ​​контексте поставленной задачи, необнаруженный рак, тем не менее, может привести к отрицательным результатам для пациентов и / или заявлениям о врачебной халатности.Учитывая вероятность того, что неполное покрытие изображения может привести к негативным последствиям как для пациента, так и для радиолога, необходимы дальнейшие исследования по этой теме.

Учитывая ограниченность памяти при поиске, разумно задаться вопросом, как вообще внимание направляется на новые места в объемных изображениях. Отслеживание взгляда во время выполнения реальных задач предполагает, что люди постоянно анализируют окружающую среду для получения информации, а не полагаются на кратковременную память (Ballard, Hayhoe, & Pelz, 1995).Фактически, некоторые исследователи предположили, что появление мнемонических механизмов в визуальном поиске может быть в значительной степени обусловлено поисковыми стратегиями, а не памятью для ранее просматриваемых мест (Peterson, Beck, & Vomela, 2007). Наблюдатели часто принимают систематический шаблон во время упорядоченных задач визуального поиска и демонстрируют склонность к горизонтальному сканированию сцены (Dickinson & Zelinsky, 2007; Findlay & Brown, 2006; Gilchrist & Harvey, 2006). Кроме того, объем рабочей памяти (~ 4 элемента; Cowan, 2001) обычно считается ограничивающим фактором для количества предыдущих мест, которые могут храниться в памяти (McCarley, Wang, Kramer, Irwin, & Peterson, 2003).Однако некоторые исследования показали, что наблюдатели с меньшей вероятностью откорректируют целых 12 предыдущих фиксаций и с высокой степенью уверенности сообщат, появилась ли цель в этих местах (Dickinson & Zelinsky, 2007; Peterson et al., 2007). Ограничения объема рабочей памяти можно преодолеть, поддерживая грубое представление общего пути поиска, а не запоминание с высоким разрешением местоположений дистракторов (Dickinson & Zelinsky, 2007; Godwin, Benson, & Drieghe, 2013; Peterson et al., 2007). Примечательно, что случайное развертывание внимания на явных стимулах происходит быстрее, чем произвольное развертывание внимания, что может объяснить, почему наблюдатели часто не участвуют в систематическом поисковом шаблоне (Wolfe, Alvarez, & Horowitz, 2000). Это исследование показывает, что часто лучше случайным образом отсортировать большие объемы визуальной информации, чем выполнять медленные систематические поиски в окружающей среде. Однако можно разумно утверждать, что систематическая стратегия должна играть более важную роль в радиологии из-за необходимости отдавать приоритет точности над скоростью в медицине.Тем не менее, Kundel et al. (1987) подсчитали, что стратегия систематического поиска с помощью рентгенограммы грудной клетки потребует 500 фиксаций и 3 минут поиска, что намного превышает то, что обычно наблюдается в этих задачах (например, 1 минута, 50 секунд экспертными наблюдателями в Christensen et al., 1981). Таким образом, кажется, что радиологи часто применяют стратегии поиска, которые ставят во главу угла эффективность перед исчерпывающим поиском.

Тем не менее, огромный размер объемных изображений может потребовать некоторой степени систематического поиска по глубине изображения, чтобы противодействовать ограниченной системе памяти.В поддержку этого предложения Солман и Кингстон (2017) обнаружили, что разделение массива поиска способствует более систематической стратегии поиска и приводит к улучшениям в явном отзыве для предыдущих целевых местоположений. Точно так же опытные дерматологи выявили меньшее количество рефиксаций, которые были разделены во времени и с меньшей вероятностью могли проследить путь сканирования, чем новички (Vaidyanathan, Pelz, Alm, Shi, & Haake, 2014). Кроме того, в других областях радиологии есть убедительные доказательства того, что использование более структурированного подхода в целом может помочь компенсировать потребности в памяти и повысить производительность.Например, по сравнению с шаблонами диктовки произвольной формы, структурированные шаблоны улучшают качество диктовки (Marcal et al., 2015; Marcovici & Taylor, 2014; Schwartz, Panicek, Berk, & Hricak, 2011), поощряют соблюдение передовых практик (Kahn Jr. ., Heilbrun, & Applegate, 2013) и улучшить диагностическую точность (Bink et al., 2018; Lin, Powell, & Kagetsu, 2014; Rosskopf et al., 2015; Wildman-Tobriner et al., 2017). Аналогичным образом, использование контрольного списка с анатомическими структурами и часто пропущенными диагнозами улучшило диагностические показатели в группе студентов-медиков (Kok, Abed, & Robben, 2017, хотя см. Berbaum, Franken Jr., Caldwell, & Schwartz, 2006). Кроме того, радиологи, как правило, чаще смотрят на свои экраны диктовки после прерывания, предположительно для того, чтобы вспомнить, где они уже искали (Drew, Williams, Aldred, Heilbrun, & Minoshima, 2018). В совокупности эти данные свидетельствуют о том, что вмешательства, направленные на ограничение памяти, являются стоящими усилиями, но еще не известно, может ли принятие стратегии систематического поиска также помочь противодействовать этим ограничениям в объемном поиске.

Как радиологи решают прекратить поиск по большим объемным изображениям?

Еще одна проблема для нашей ограниченной памяти при визуальном поиске — определить, когда прекратить поиск и перейти к следующей задаче. В некоторых случаях ответ прост. Если вы ищете яблоки в новом продуктовом магазине, вы прекратите поиск, как только найдете их. Однако как узнать, когда прекратить поиск, если в магазине не продаются эти яблоки? В радиологии проблема становится еще более сложной; цели часто не указаны ни по внешнему виду, ни по количеству.Если рентгенолог обнаруживает опухоль, возможно, есть и другие опухоли, расположенные в другом месте. Самый консервативный подход — искать каждый релевантный пиксель изображения. Однако временные ограничения, вероятно, запрещают такую ​​стратегию, особенно в свете увеличения размера и количества изображений, генерируемых методами объемной визуализации в последние годы (McDonald et al., 2015). Более того, даже если у радиолога есть неограниченное количество времени для проведения такого поиска, неспособность найти аномалию не означает, что аномалии нет.Фактически, многие аномалии в радиологии фиксируются, но о них никогда не сообщается (Kundel et al., 1978). Итак, как радиолог решает, когда прекратить поиск, учитывая всю эту неопределенность?

Предложена модель прекращения поиска, аналогичная модели дрейфовой диффузии (Wolfe, 2012). Во время поиска собирается информация о том, как долго или сколько элементов вы искали, пока не будет достигнут порог завершения. Этот порог может быть изменен переменными в вашей среде, такими как вероятность присутствия цели или вознаграждение, связанное с обнаружением цели.Недавно было высказано предположение, что прекращение поиска может имитировать поведение при поиске пищи, наблюдаемое в дикой природе (Cain, Vul, Clark, & Mitroff, 2012; Wolfe, 2013). Когда животное добывает себе пищу, например, ягоды, потребление энергии увеличивается до максимума за счет перехода к следующему кусту, когда потребление падает ниже среднего потребления для этой среды, что известно как теория оптимального кормодобывания (Чарнов, 1976). Наблюдатели, похоже, следуют предсказаниям этой модели при поиске нескольких целей и собирают элементы по одной цели за раз при поиске нескольких разных типов целей (Cain et al., 2012; Вулф, 2013; Wolfe, Aizenman, Boettcher & Cain, 2016). Однако менее ясно, как меняется поведение при отказе от курения, когда цель состоит не в том, чтобы собрать большое количество очевидных целей, а в поиске редких и труднодоступных целей.

Хотя преждевременное прекращение поиска может привести к негативным последствиям для радиологии, факторы, определяющие, когда радиолог решает прекратить поиск, плохо изучены. Существующие модели интерпретации медицинских изображений сосредоточены на том, что можно было бы считать конечной задачей клинициста по постановке точного диагноза: на начальном восприятии (Drew et al., 2013; Нодин и Кундель, 1987; Свенссон, 1980). Важно отметить, что эти модели мало что делают для учета принятия решений, следующих за восприятием. Это контрастирует с рядом когнитивных моделей, таких как класс моделей дрейфа-диффузии, которые были специально разработаны для учета различий в том, сколько времени требуется наблюдателю для принятия решения (например, Ratcliff & McKoon, 2008). . Ни одна из текущих моделей восприятия медицинских изображений не учитывает, как врач в конечном итоге решает, когда прекратить обследование случая.Однако очевидно, что большинство истинно положительных результатов выявляются очень рано во время поиска (Berbaum et al., 1991; Christensen et al., 1981; Nodine, Mello-Thoms, Kundel, & Weinstein, 2002), и большая часть компьютерных томографов вообще никогда не выполнялся (например, Drew et al., 2013; Rubin et al., 2015). По мере продолжения поиска вероятность ложных срабатываний резко возрастает. Эта тема особенно важна в контексте объемных изображений, оценка которых обычно занимает гораздо больше времени, чем 2D-изображения.В этих обстоятельствах способность эффективно переходить от сканированных изображений здорового пациента может быть важным показателем опыта, который не учитывается существующими моделями. Например, на 2D-изображениях опытные радиологи, кажется, прекращают поиск, когда они все еще идентифицируют больше истинных положительных результатов, чем ложных, но новички продолжают, пока ложные положительные результаты не станут доминирующим ответом (Christensen et al., 1981; Nodine et al., 2002 ). Оценка динамики ошибок с помощью опыта в области объемных изображений — это совершенно неизведанная область и, вероятно, будет плодотворной областью для будущих исследований.Кроме того, в будущих исследованиях можно было бы попытаться применить метод моделирования диффузионного дрейфа, чтобы определить, как различные факторы, такие как общая рабочая нагрузка или опыт наблюдателя, влияют на порог выхода при поиске объемных изображений.

Как моторные и перцептивные процессы взаимодействуют при оценке объемных изображений?

В отличие от поиска по признакам, который является обычным в литературе по визуальному вниманию, поиск в реальном мире часто включает в себя навигацию через большие трехмерные пространства для объектов, которые могут быть скрыты другими объектами.При поиске целей в поле участники спонтанно выбирают систематический путь поиска (Riggs et al., 2017). Точно так же при поиске доказательств преступления диады участников проводят очень систематический поиск и часто дважды проверяют свою работу (Riggs et al., 2018). Однако другие обнаружили, что повторные посещения в реальном визуальном поиске редки, что объясняется дополнительными усилиями, необходимыми для повторения ваших шагов в локомотивных задачах (Gilchrist, North, & Hood, 2001; Smith et al., 2008). Вместе это исследование имеет глубокие последствия для поиска объемных изображений, который включает как моторные, так и перцепционные компоненты, когда наблюдатель прокручивает глубину. В последние годы растет интерес к тому, как моторные процессы влияют на визуальный поиск, когда целевые элементы должны быть обнаружены путем перемещения других элементов, что называется «поиском вручную». В некоторых случаях ручной поиск воспроизводит результаты из литературы по визуальному поиску (например, «эффект низкой распространенности», Solman, Hickey, & Smilek, 2014).В других случаях были выявлены новые источники ошибок. Например, Солман, Чейн и Смилек (2012) создали парадигму «распаковки», в которой наблюдатель может перемещать перекрывающиеся виртуальные элементы с помощью компьютерной мыши. Исследователи обнаружили, что целевые предметы часто подбирались и выбрасывались, не будучи распознанными, что предполагает, что восприятие и действие могут быть разделены при визуальном поиске. Другими словами, решение о действии («отменить выбранный элемент») может предшествовать решению для идентификации («выбранный элемент является моей целью»).Авторы предполагают, что натуралистический визуальный поиск задействует процесс перцептивного поиска, который контролирует, но не направляет моторный процесс «распаковки» (Solman, Wu, Cheyne, & Smilek, 2013).

В радиологии результаты могут означать, что двигательная система решает пройти через глубину до того, как аномалия может быть идентифицирована на текущем срезе. Хотя словесные инструкции по замедлению двигательных движений были неэффективными, принуждение участника к замедлению значительно уменьшало количество ошибок при распаковке (Solman et al., 2013). В настоящее время неизвестно, как скорость прокрутки объемного медицинского изображения по глубине связана с диагностической точностью и возникают ли эти ошибки «разделения» в радиологии. Представление компьютерных томографов с разной частотой кадров привело к неоднозначным результатам — от отсутствия разницы в точности (Bertram et al., 2013) до более низкой производительности на более высоких скоростях (Bertram et al., 2016). Скорость прокрутки также может дать представление об эффективности сигналов начала движения или развитии возможностей глобальной обработки в объемных изображениях.Если эксперты смогут извлекать релевантную информацию из изображений быстрее, чем новички, они могут быть менее уязвимы для потенциально негативных эффектов более быстрой прокрутки, таких как ошибки «развязки». При выполнении задачи по скринингу рака легких не было обнаружено различий в скорости между радиологами и наивными наблюдателями (Diaz, Schmidt, Verdun, & Bochud, 2015). В среднем узелки выявлялись со скоростью от 25 до 30 кадров в секунду (fps). Однако примечательно, что производительность в этой задаче была максимальной как для экспертов, так и для новичков, и не было никаких различий в производительности между группами.Следовательно, остается вероятность того, что различия в поведении прокрутки более важны, когда есть большая изменчивость в производительности. Bertram et al. (2013) также не обнаружили никаких связанных с опытом различий в производительности, когда наблюдатели искали различные отклонения при компьютерной томографии брюшной полости, представленной в виде видео с фиксированной скоростью со скоростью 7, 14 или 28 кадров в секунду. Напротив, Bertram et al. (2016) наблюдали лучшую производительность при 5 кадрах в секунду, чем при 3 кадрах в секунду, и эксперты смогли лучше адаптироваться к возросшей скорости презентации при КТ брюшной полости.Однако оба этих исследования опирались на видео с фиксированной скоростью, а не позволяли наблюдателям контролировать свою скорость, что ограничивает экологическую ценность. Очевидно, что пока нет полной картины того, как скорость прокрутки влияет на производительность поиска в объемных изображениях. В будущих исследованиях также может быть полезно проанализировать распределение ошибок в зависимости от естественной скорости прокрутки. Кроме того, важно учитывать свойства самой аномалии. Скорость прокрутки может быть важным предиктором обнаружения отклонений, когда отклонения вызывают сигналы начала движения или для более мелких отклонений, которые видны на меньшем количестве слоев глубины.Напротив, менее вероятно, что скорость прокрутки предсказывает возможность обнаружения диффузных или крупных аномалий, которые видны на многих срезах.

Генерация объемных изображений на основе глубокого обучения из проекционных изображений для лучевой терапии простаты

Афиша конференции

Аннотация

Из-за межфракционных вариаций анатомии очень желательно обеспечить быстрое и малодозированное объемное изображение во время лечения лучевой терапией простаты для настройки пациента и оценки суточной дозы лечения.В этом исследовании мы предлагаем новую порождающую враждебную сеть, интегрированную с перцепционным контролем, для получения трехмерных объемных изображений из двух ортогональных двухмерных проекций. Предлагаемая нами сеть, названная TransNet, состоит из трех модулей, то есть модулей кодирования, преобразования и декодирования. Вместо того, чтобы использовать только потерю расстояния между сгенерированными 3D-изображениями и наземными 3D-КТ-изображениями для наблюдения за сетью, состязательные потери используются для повышения реалистичности сгенерированных 3D-изображений. Мы провели исследование с участием 20 пациентов, получивших лучевую терапию простаты в нашем учреждении, и оценили эффективность и согласованность нашего метода для двух углов ортогональной проекции, т.е.е., 0 ° и 90 °. Для каждого трехмерного КТ-изображения мы моделировали его двухмерные проекции под этими двумя углами. TransNet принимает два угла в качестве входа и выхода 3D CT. Средняя абсолютная ошибка (MAE), пиковое отношение сигнал / шум (PSNR) и показатель индекса структурного сходства (SSIM), достигнутые нашим методом, составляют 117,5 ± 15,3HU, 22,7 ± 3,8 дБ и 0,904 ± 0,27 соответственно.