The History of Virtual Reality
Modern virtual reality has been a topic of discussion for the last few years, but where did it all begin?
With the rising popularity of virtual reality devices like the HTC Vive and Oculus Rift, more and more users are being introduced to the revolutionary technology which has continued to progress rapidly in recent years. Technology that used to be something out of science fiction movies is slowly becoming accessible to the everyday consumer. For most consumers, seamless total immersion in VR worlds is not quite available yet — however, it is reasonable to think that the ability to have near-complete immersion in a VR setting is only a few years away.
ALL OF THIS RAPID CHANGE BEGS THE QUESTION: WHERE DID VIRTUAL REALITY GET ITS START?
With the rising popularity of virtual reality devices like the HTC Vive and Oculus Rift, more and more users are being introduced to the revolutionary technology which has continued to progress rapidly in recent years. Technology that used to be something out of science fiction movies is slowly becoming accessible to the everyday consumer. For most consumers, seamless total immersion in VR worlds is not quite available yet — however, it is reasonable to think that the ability to have near-complete immersion in a VR setting is only a few years away.
ALL OF THIS RAPID CHANGE BEGS THE QUESTION: WHERE DID VIRTUAL REALITY GET ITS START?
PRE-1900
The Stereoscope
At this point, there is not much that resembles VR as we know it today, but foundations for current visualization technology can be seen as early as the mid-1800s. Charles Wheatstone invented the earliest form of the stereoscope in 1838, which utilized the brain’s capability to fuse two slightly different images into one, by isolating a fixed image over each eye — creating a three-dimensional effect.
Wheatstone’s stereoscope introduced depth and immersion into two-dimensional images through manipulating the brain’s depth perception. Though the 1800s stereoscope is primitive technology by today’s standards, current products such as Google Cardboard and other mobile phone VR displays utilize nearly identical methods for creating a sense of depth.
1920–1930
Before 1900, VR technology was limited to optical tricks, but after the turn of the century, inventors began to create more sophisticated VR and simulation devices. The 1920s also gave us the first large-scale practical usage of VR technology — flight simulation.
Flight Simulation
In 1929, Edwin Link invented the first flight simulator, dubbed the “Link Trainer” or “Blue Box.” Link’s flight simulator incorporated a fuselage replica with controls and motors to help airmen experience operating a plane before jumping into the real thing, therefore streamlining the training process. During World War II, over 500,000 airmen were trained using Link’s invention.
A Short Story
In 1935, Stanley G. Weinbaum’s short story “Pygmalion’s Spectacles” effectively predicted modern-day VR technology. The book features a pair of goggles that let the wearer travel through a holographic simulation of fictional experiences — a kind of precursor to current VR technology.
1950–1970
The 1950s is where VR devices started to take similar shape to the familiar iterations that are commonplace today. Stanley Weinbaum’s earlier prediction of VR goggles was not too far off, and the first models of head-mounted displays (HMDs) were debuted in the 1950s and 1960s.
Heilig and the Experience Theater
Cinematographer Morton Heilig wrote on a medium he named “Experience Theatre,” something that would be able to fully encompass and immerse the viewer into the film playing. In 1962, Heilig released his first prototype of the machine he had envisioned, dubbed the “Sensorama.” He also debuted a collection of five short films with the Sensorama, and Heilig’s invention incorporated sight, sound, touch, and smell into the viewing experience. In 1960, Heilig patented the Telesphere Mask, which featured a 3D stereoscopic display. The Telesphere Mask was a kind of first iteration of a HMD, though Heilig’s invention did not feature motion tracking, and was fully mechanical — without connection to a computer.
The first HMD
In 1968, Ivan Sutherland and his student Bob Sproull created the first HMD for use in immersive applications, which was also the first HMD with motion tracking and computer connectivity. By modern comparison, the viewing experience was extremely primitive, and the device was so heavy that it had to be mounted to the ceiling for support. Its enormous size perhaps led to its name, “The Sword of Damocles.” Though the display showed only wire-frame models, it was revolutionary for the time, and provided the foundation for motion tracking HMDs that are commonplace today.
1970–1990
As the age of computers surged forward, advancement in VR technology progressed rapidly. We began to see applications of VR in video games, and the first virtual worlds were created, although they would be considered to be quite primitive by today’s standards. The widely used term “virtual reality” was also created and popularized during the 80s.
MIT and the Aspen Moviemap
In 1978, a team from MIT developed the “Aspen Moviemap,” an early hypermedia system that allowed users to take a virtual tour through Aspen, Colorado. The program was a simple simulation of the city, and had three modes, summer, winter, and polygons. The first two modes were completely based on photographs — the team physically walked through the city, photographing every inch of the city streets where possible. The polygon mode was a crude 3D model of the city.
Atari gets into VR
In 1982 Atari founded a virtual reality research lab, but was forced to shut it down after the 1983 video game market crash. However, members from the Atari team went on to found VPL Research, which created a variety of virtual reality gear, such as the Data Glove, Eye Phone, and Audio Sphere. Co-founder of VPL, Jaron Lanier, is also often credited for coining the term “virtual reality.” VPL eventually licensed the Data Glove to Mattel, who then used the technology to create the not-so-successful Power Glove accessory for the Nintendo Entertainment System (NES). Though the Power Glove was difficult to use and was not very popular, it was one of the earliest affordable VR devices, and has managed to attract somewhat of a cult following through video game, television, and film references.
1990–2000
The 1990s and 2000s were an interesting time for VR; many companies tried their hand at creating VR devices, but few were considered commercial successes. However, the technology featured in these devices is essentially the generation preceding our current iterations, such as the Oculus Rift and HTC Vive. The first relatively inexpensive consumer HMDs were made available to the public, and the first versions of head tracking-capable VR devices were created.
Sega
The first consumer grade VR devices were made widely available in the 1990s, and VR technology began to take a similar shape to what we are familiar with today. In 1991, video game giant Sega released the Sega VR headset for use with arcade games, and the HMD incorporated LCD screens, stereo headphones, and a simple inertial sensor that allowed for a primitive version of head tracking.
Virtuality Group
The Virtuality group launched its linked multiplayer VR system in the same year, and gave players the opportunity to play with friends in real-time. The Virtuality system had relatively low latency (<50ms), and stereoscopic 3D visuals in their HMD.
Nintendo Virtual Boy
Nintendo’s Virtual Boy was released in 1995, and was the first portable gaming console that could display true 3D graphics. The console was largely a flop — reasons cited were its uncomfortable gaming position, two-color display (red and black), and lack of software support. It was discontinued in 1996, but was one of the first forays into portable VR devices.
2000-PRESENT
The 21st century brought breakthroughs in many areas of VR technology, both on the hardware and software sides. Higher-resolution displays and advanced multi-directional motion tracking have been implemented into new HMDs, and game and audio engines have been updated to give VR developers the tools to create more immersive worlds.
Street View
In 2007, Google launched Street View, which allows for a realistic representation of maps throughout the world, and in 2010, a stereoscopic 3D mode was implemented into the service. Street View was one of the first large-scale uses of 360 degree media, something that VR is becoming increasingly connected with in the industry’s current landscape.
Oculus and the Launch of Consumer VR
In 2010, Palmer Luckey debuted the first prototype of the Oculus Rift, and although it was based on a shell of a different 3D headset and was only capable of rotational head tracking, it incorporated a 90-degree field of vision that was revolutionary at the time. It’s also crazy to think that the Oculus is seven years old already!
Valve
In 2013, gaming giant, Valve, discovered a method to reduce lag and smearing in VR through low-persistence displays, and openly shared the technology. Oculus and other later adopted the technology into their own displays.
2014 — A Big Year for VR
2014 was a huge year for VR hardware, with many new headsets mobile devices hitting the market. Valve launched the Steam Sight prototype, which is the precursor to the company’s current headsets on the market. Facebook also purchased Oculus for $2 billion in 2014, before any of the company’s 2012 Kickstarter campaign units had shipped to its backers.
In 2014, Sony announced Project Morpheus, which would later debut the PlayStation VR system for the PlayStation 4. PSVR is one of the most popular and accessible VR devices, and Sony is continuing to facilitate development of games and software for their platform.
In 2014, Google announced Cardboard, a do-it-yourself stereoscopic viewer for smartphones (thanks Charles Wheatstone). Cardboard is one of the simplest and affordable options to break into the VR world, and only requires a smartphone capable of running VR applications.
FOVE Headset
In 2014, FOVE announced the first eye-tracking VR headset, with the goal of raising $250,000 on Kickstarter. The goal was smashed in less than four days, and FOVE has raised over $400,000 for their unique HMD. FOVE’s headset aims to reduce excess head movement, thereby reducing simulator sickness in the process.
HTC Vive
In February 2015, Valve and HTC announced the Vive headset and controllers, which uses room-scale tracking technology, and is considered to be one of the frontrunners of current VR technology.
OSSIC and 3D Audio for VR
In 2016, focus on accurate HRTF and binaural audio continues to increase as more and more companies are dipping into the VR industry. The development of higher-resolution displays continues to be significant in order to create maximum immersion for the user, as well as the recreation of accurate and realistic sound in headphones like the OSSIC X.
MOVING FORWARD
In addition to VR hardware manufacturers like HTC, Oculus, and Sony, VR pioneers continue to develop more immersive technology in order to create engaging virtual worlds for consumers to explore. Some are working on virtual platforms for social media and connectivity, some are developing exciting VR games and videos, and others are behind the scenes, developing game and sound engines to provide developers with the tools to keep the industry progressing.
At OSSIC, we are dedicated to providing enthusiasts with truly immersive sound — while our partners push the boundaries of visuals and VR landscapes, we are working to revolutionize the way VR does audio.
Краткая история VR: часть первая — ранние концепции и первые шаги от 1930-х до 1960-х
Человек на протяжении всей своей истории стремился максимально точно эмулировать реальность, в которой живёт, передать ощущения, имитировать различные аспекты действительности в виде звука, изображения, реже других воздействий на органы чувств. Этим постом я открываю небольшой цикл статей, посвященных истории VR-шлемов, а также других устройств и технологий виртуальной реальности.
Отмечу, что после каждой статьи этого цикла помимо традиционного дисклеймера с рекламой мы предложим небольшой опрос.
От литературы к действию
В 1935-м году был напечатан рассказ американского фантаста и футуриста Стэнли Вейнбаума «Очки Пигмалиона». В произведении главный герой знакомится с профессором, который изобрел очки, позволяющие создать оптическую, слуховую, вкусовую, кинестетическую и обонятельную иллюзию реальности. Таким образом появилось, пожалуй, первое, концептуальное представление о виртуальной реальности.
Не исключено, что произведением вдохновлялся создатель одного из ранних предков современных VR-очков, американский писатель и изобретатель Хьюго Гернсбек. Думаю, не будет ошибкой и то, что детство и юность большинства пионеров VR пришлось на время популярности фантастических рассказов Вейнбаума, и, очевидно, они также заимствовали оттуда идеи. Такой вывод я делаю из того, что большинство ранних прообразов того, что сегодня мы называем VR — реализация идей, описанных в “Очках пигмалиона”.
Ранние практические опыты — Sensorama
Первая известная система имитации реальности была создана кинематографистом Мортоном Хейлитом в 1956-м году, в 1962-м на нее был получен патент. Машина виртуальной реальности из 50-х представляла собой достаточно вместительную будку, в которую были интегрированы кинопроекторы, воспроизводящие кино на стереоскопическом экране, стереозвук, виброкресло для имитации вибрации (например, тонущего корабля или обвала в горах), установка для имитации различных запахов и эмулятор атмосферных явлений, например, ветер и дождь.
По мнению создателя устройства, Хайтинга, Sensorama должна была стать будущим киноиндустрии. Но, как мы знаем, не стала. Устройство осталось спорным аттракционом, для которого было создано всего шесть короткометражных фильмов. Будка была громоздкой и дорогой, что лишило Sensorama шансов на серьезное инвестирование и масштабирование.
Первые шлемы Telesphere Mask и Headsight
Другой ранней системой имитации реальности стала Telesphere Mask, которая уже приобрела форму шлема, можно сказать, что именно эта система была первым прообразом VR-очков. Шлем был оснащён стереозвуком и позволял транслировать стереоскопическое изображение через две небольшие электроннолучевые трубки. VR-гарнитура не была оснащена ситемой отслеживания движения пользователя. Устройство было экспериментальным и использовалось для просмотра видеоконтента и телевизионных программ.
Уже через год в США появляется похожий шлем, но уже с отслеживанием движений головы. Его разрабатывают инженеры Philco Corporation Комо и Брайаном. Шлем не является VR устройством в полном смысле этого слова. Headsight — военная разработка, которая упрощает удаленное наблюдение за объектами. Движения головы передавались на приводы камеры и позволяли наблюдать в шлеме то, на что направлена камера.
Очки-телевизор Хьюго Ге́рнсбека
В 1963-м году появляются серийные очки-телевизор, разработанные писателем и изобретателем Хьюго Ге́рнсбека. Они всё еще не отслеживают движения головы, не предназначены для работы с компьютерами. Очки позволяют принимать телепередачи и воспроизводить телеконтент (в т.ч. и стереоизображения) на двух небольших кинескопах. Торчащие из устройства антенны для приёма, у покупателей в 60-е вызывали стойкие ощущения с космической и даже инопланетной тематикой. В отличие от предыдущих устройств, очки-телевизор выпускались серийно.
Вклад Сазерленда и «Дамоклов меч»
Пионером VR-технологии, связанной с компьютерами, заслуженно считается американский учёный Айвен Сазерленд, более известный как один из отцов интернета. В 1965 году Сазерленд описал концепцию, в которой компьютерная имитация мира воздействует на пользователя через специальный шлем, который создаёт настолько реалистичную иллюзию, что человек не способен отличить имитацию от действительности, при этом у пользователя есть возможность взаимодействовать с объектами в виртуальной реальности.
Описанные в статье возможности в дальнейшем воспринимались исследователями и разработчиками как цель, концепция стала восприниматься как список будущих достижений и некий футуристический план. Пик развития технологии Сазерленд видел в том, чтобы пользователь мог сравнить опыт от использования VR c кэрроловским путешествием Алисы в Страну чудес.
В 1968 году Сазерленд совместно со своим учеником и коллегой Бобом Спроуллом разработали первый компьютерный шлем виртуальной реальности. Его назвали “Дамоклов меч”, в связи с характерными особенностями стационарного крепления. Устройство, по текущим меркам, было достаточно простым и отображало на экране только примитивные 3D-модели в виде незамысловатых объемных геометрические форм.
“Дамоклов меч” был оснащен отслеживанием движений головы, в зависимости от которых менялась перспектива на экране. Устройство было исключительно лабораторным, в первую очередь из-за своей высокой массы, которая требовала крепление к потолку.
Продолжение следует
Сазерленд завершил первый этап развития VR, до появления полноценных серийных систем оставалось ещё полтора десятилетия военных разработок и лабораторных изысканий. Между тем, именно он и его предшественники определили направления развития VR.
У нас в каталоге можно приобрести множество разнообразной электроники: телевизоры, акустические системы, наушники, саундбары и многое другое. Возможно, в ближайшем будущем, у нас появятся VR-очки. Пока мы изучаем спрос на эти устройства.
Хронология: как развивалась виртуальная, дополненная и смешанная реальности
От стереоскопа для просмотра «объёмных» фотографий до AR-очков Magic Leap.
Последние несколько лет VR и AR применяют не только для игр и развлечений, компании используют её для продвижения своих продуктов. Большую популярность виртуальная реальность получила после фильма «Матрица». Однако появилась она задолго до популяризации в фильмах и книгах.
Концепция виртуальной реальности (VR) — полное погружение и ощущение, что человек находится в другом мире. Поэтому сперва технологию опробовали в видеоиграх, где используются устройства ввода-вывода для глубокого погружения.
В отличие от VR, где пользователь «перемещается» в другое место, дополненная реальность (AR) «расширяет» реальный мир виртуальными объектами. Это и маски в Snapchat, и игра Pokemon Go. Качество технологии в значительной степени зависит от машинного обучения и компьютерного зрения, а не от аппаратного обеспечения.
Смешанная реальность (MR) — это комбинация технологии VR и AR. Она получила популярность после запуска Microsoft HoloLens.
Прошлое и будущее VR-индустрии
Рассказ об истории, современном положении и перспективах молодой индустрии.
Сегодня VR-индустрия развивается быстрыми темпами, каждый день предлагается все больше интересных идей, но не все из них доходят до внедрения. В данной статье я предлагаю вам познакомится с VR-индустрией: узнать её историю, взглянуть на современные предложения, изучить принципы работы VR-систем и проанализировать положение дел на рынке.
Первый прототип VR-очков появился ещё в 1837 году. Называлось это устройство — стереоскоп. Правда стереоскоп работал исключительно со статическими изображениями, но внешне он очень похож на современные очки виртуальной реальности. Работа стереоскопа проста, но для тех времён удивительна: в аппарат устанавливались два, казалось бы, одинаковых изображения, но сделанных под разным углом, таким образом создавался эффект объёмного изображения.
Это были лишь первые и не менее важные шаги на пути к современным VR шлемам. Стереоскопов людям было недостаточно. Всё развивалось, и для погружения в иную реальность на помощь картинам пришли фотографии, а после появились кинофильмы.
История популярных ныне 4D-кинотеатров началась с 1956 года! Тогда Мортон Хейлиг придумал как можно максимально погрузить зрителя в происходящее на экране. Придуманный им аппарат назывался Sensorama, из новшеств было подвижное сиденье с вибрацией, имитация ветра и запахов, поддержка цветной картинки со стерео звуком.
Вполне ожидаемо, что столь интересный и в то же время дорогой проект в полном объеме реализоваться не смог. И все же, данное изобретение не только дало Мортону Хейлигу звание «отца виртуальной реальности», но и сделало большой вклад в VR индустрию. Скотт Фишер, будучи руководителем проекта виртуальной среды VIEW от NASA, говорил о большом вкладе Sensorama в его проект. К разработкам NASA вернёмся чуть позже.
Поэтому перенесемся в 60-е годы в лабораторию компании Philco. В 1961 году Philco Company представила проект первого HMT шлема — Headsight. HMT (head motion tracking) — система, которая регистрировала повороты устройства в пространстве в соответствии с тремя углами Эйлера. Это значит, что с помощью данной системы у «зрителя» появлялась возможно осмотреться по сторонам, вращая головой. К сожалению, шлем не покинул пределы лаборатории Philco.
Более удачным проектом оказался The Sword of Damocle’s. С 1965 по 1968 в Гарвардсокм университете шла разработка Айвена Сазерленда и Боба Спроула. Шлем также был оснащен системой HMT. Устройство было больших габаритов и не позволяло свободно передвигаться. Данный проект считается первым шлемом дополненной реальности. К слову, Айвен сделал довольно большой вклад в развитие трехмерной графики и графики в целом.
Первые коммерческие устройства виртуальной реальности появились только в начале 90-ых. Компания VPL Research в 1989 представила рынку свою новую систему — EyePhone. Устройство состояло из очков виртуальной реальности и специальных перчаток (DataGloves). Цена этой «игрушки» была немаленькая — $250,000, в комплекте шли компьютеры для работы системы. Цена была не единственной проблемой, в то время «EyePhone» мог воспроизводить только 7 кадров в секунду, в отличие от телевизоров с их тридцатью кадрами.
По вышеуказанным причинам система не получила широкого распространения, зато какой вклад она внесла в дальнейшее развитие виртуальной индустрии! Компанией VPL Research были разработаны очки, перчатки, а также целый костюм для виртуальной реальности. Для разработчиков был создан графический движок Isaac и новый язык визуального программирования Body Electric.
Интересно, что NASA работала совместно с VPL Research по вышеупомянутому проекту VIEW. Калифорнийский отдел NASA работал над устройством шлема, а VPL в первую очередь над программной составляющей.
Проект, основанный небезызвестной компанией SEGA в 1993 году, оказался в итоге так и нереализованным. Шлем должен был стать дополнением к Sega Mega Drive. Он представлял из себя уже известную HMT систему, LCD экран и стерео наушники. Первый прототип был показан в 1993 году на Summer CES специально для журналистов. Цена гаджета была всего 200$, по сравнению с предшественниками — это значительный прогресс: вес очков был небольшой, голова чувствовала себя комфортно и не болела после длительного ношения. Тогда что же привело к закрытию этот перспективный проект?
Британская газета The Independent on Sunday после Summer CES напишет статью, где заявит о небезопасном ношении очков, после чего Стэнфордский научно-исследовательский институт заявил о возможном вреде для глаз. После этих заявлений релизы по всему миру были отменены. В октябре 1994 представитель SEGA заявил о продолжении работы над SEGA VR. Но после о проекте новостей не поступало, он был тихо закрыт, так и не дойдя до рынка потребителей.
В 1995 году на прилавках Японии и США появляется неожиданный для фанатов Nintendo аппарат — Virtual Boy. Стоимость составляла около 180$. Экран шлема был монохромный, что снизило его цену и уменьшило в размере, наушников не было, для перемещения в трехмерном пространстве использовался контроллер формы «M».
Однако Nintendo ждал крупный провал, не помогло и снижение цены на шлем. Одна из ошибок — сырость проекта. Его старались сделать быстро, так как весь мир был в ожидании нового Nintendo 64. Из-за этого проект показался людям проходным, да и от Nintendo не получил должного внимания. Ещё одной ошибкой было позиционирование проекта как портативного. Добавим малое количество игр, отголоски прошлого о вреде для зрения, а также монохромных черно-красный экран, — всё это негативно повлияло на продажи Virtual Boy.
В том же 1995 году выходит более успешный продукт — VFX1 Headgear. Стартовая цена составила около 695$, но позже снизилась до 599$. Данный шлем уже больше похож на современные девайсы. Он состоял из LCD дисплея разрешением 263×230, отображал 256 цветов, в шлем был встроен микрофон и стерео наушники.
Самое интересное в этом комплекте — контроллер Cyberpuck. Он включал в себя 3 кнопки, а внутри находился гироскоп, с помощью которого осуществлялось передвижение. Персонаж игрока двигался в ту сторону, в которую был наклонён манипулятор. И это один из первых и весьма интересных способов передвижения в игре, проблема которого до сих пор полностью не решена.
Как видим, VR индустрия делала очень большие шаги в нужном направлении. За 20 лет инженеры смогли прийти от лабораторных экземпляров до коммерческой продукции. Уже в 95-ом в магазинах имелся доступный продукт, крайне схожий с современными прототипами.
Сегодня VR индустрия делает большие шаги в распространении данной технологии как в сфере развлечений, так и в сферах труда и образования. С каждым днём виртуальная реальность находит себе новое применение и уже всё меньше выглядит как обычное развлечение, она привлекает новых инвесторов и потребителей. С ростом популярности растёт и качество, а вместе с качеством и цена. Помимо роста качества, в VR пришло множество инноваций, давайте пожалуй поговорим о них, посмотрим, что нового появилось на рынке VR за последние годы.
Ниже я составил вам небольшую таблицу с основными характеристиками последних новинок среди VR шлемов. Сверху вниз шлемы идут по новизне, но я предложил вам далеко не все варианты, только те, что могут нас заинтересовать. Здесь вы можете сравнить цены, увидеть прогресс за годы разработок, поискать разницу между профессиональными и «игровыми» VR устройствами. Если вам что-то неясно из представленных характеристик — не беда, ниже мы рассмотрим их подробнее.
Среди VR-шлемов уже как пару лет существует дешёвый аналог для тех, кто хочет прикоснуться к данному развлечению, но отдать полную стоимость не готов.
В таблице выше, как и далее в статье, данные модели VR-шлемов рассматриваться не будут, так как являются малоинтересными, но не упомянуть их нельзя было. Подобные устройства состоят из корпуса, разъема под телефон, двух линз, которые иногда можно настроить, и ремешка для крепления. Трекинг головы осуществляется за счёт электронного гироскопа в вашем смартфоне, а сами шлемы не содержат электроники.
Данные очки годятся для просмотра видео в 360° и мобильных игр. Однако нельзя не отметить их растущий потенциал на рынке.
Далее рассмотрим основные характеристики для VR-шлемов, которые были указаны в таблице. Попробуем разобраться подробнее что и как работает.
Field of view (в переводе: поле зрения) показывает угол обзора, который передаёт устройство для нас. В профессиональном оборудовании, таком как VRgineers XTAL или Pimax Vision 8K, угол обзора достигает 170º-180º, а где-то, например StarVR One, угол обзора составляет 210º.
Зрение у здорового человека охватывает примерно 220º. Из них 120º является бинокулярным зрением, то есть используется для поглощения основной информации. Для того, чтобы обеспечить наилучшее погружение, значение FOV шлема должно стремиться к человеческому. Но также не стоит забывать, что это лишь средние значения, а истинный угол обзора зависит от персональных характеристик, и это относится в том числе к FOV в VR-шлемах. FOV зависит от положения шлема на голове, расстояния от глаз до линз, бинокулярного зрения, расстояние между зрачками. В действительности невозможно абсолютно точно указать FOV для модели шлема.
В попытке добиться наилучшего результата, инженеры каждый раз балансируют между эргономичностью, угловым разрешением частотой и четкостью картинки. Как раз с этой целью современные модели шлемов вы можете комфортно настроить под себя, закрепив шлем посильнее, изменив eye-relief (расстояние от линзы до глаза) и IPD (расстояние между зрачками).
Скорее всего большинство из читателей и без меня знают, что такое частота обновления экрана, как она связаны с количеством FPS (кадров в секунду) и на что она влияет. Но всё же я проведу небольшое пояснение, ведь принцип работы частоты обновления, что в мониторах, что в VR-шлемах идентичен.
Собственно ничего сложного в понятии частоты обновления нет, ведь принцип её работы раскрыт в самом названии. Значение частоты обновления показывает количество обновлений экрана в секунду. Чаще всего частоту измеряют в Hz (Герцах). Чем большее значение — тем большее количество FPS будет показывать ваш монитор. Ниже я привёл наглядное gif-изображение, которое показывает разницу между различной частотой обновления экрана.
Как я уже говорил, ситуация с VR обстоит так же, как и с мониторами. Средней частотой обновления у шлемов является значение в 90Hz. Рекордсмен на данный момент — Valve Index, частота которого достигает 144Hz. Разница между 90Hz и 144Hz чувствуется не только в плавности картинки, но и в уровне погружения, а это самое главное для VR-шлемов.
Вот мы и подбираемся к более интересным для VR темам. Поговорим же о track-системах. Как понятно из названия, система отвечает за отслеживания действий игрока в пространстве. Но какие же tacking-системы используются VR-устройствами на данным момент?
Eye-tracking система впервые была использована в шлеме Fove 0 ещё в 2017 году, с того момента технология ушла далеко, но всё ещё не привлекла достаточно внимания со стороны инженеров. Доказательством тому является то, что сейчас данная технология имеется далеко не во всех шлемах и скорее направлена на самые дорогие и профессиональные модели. К сожалению, игр, которые бы поддерживали eye-tracking, не так много.
Ниже я вновь изготовил вам наглядную таблицу, по которой вы можете сравнить различные модели шлемов, даты их выходов, наличие eye-tracking системы, их FOV и ценник (в основном представлена стоимость не отдельного шлема, а целого комплекта, потому как зачастую шлемы отдельно не продаются).
Принцип работы eye-tracker’a основан на инфракрасных(ИК) лучах и ИК датчиках. Устройство посылает на глазное яблоко лучи, после чего они отражаются, а датчик фиксирует изменение бликов от глаза. Главное, что данная технология является абсолютно безвредной для зрения человека.
На сегодня eye-tracking выполнять несколько функций:
- Лучшее погружение. В разделе о FOV мы уже обсуждали с вами, как работает зрение человека: оба глаза охватывают
Мы видим, что интерес к eye-tracking системе только растёт и, надеюсь, спадать не будет. Кто знает, может и Sony вскоре порадуют нас шлемом с eye-tracking’ом, а значит и играми для него.
Самым простым примером positional tracking’а является HMT (head motion tracking) и на данный момент она является неотъемлемой частью любого VR-шлема. Но HMT обеспечивает лишь 3DoF (degrees of freedom), то есть 3 степени свободы, в соответствии с углами Эйлера, позволяя игроку «осматриваться».
Ещё три степени свободы даёт возможность перемещения в пространстве, однако если для обеспечения 3DoF хватает электронных гироскопов, встроенных в шлем или мобильное устройство, то с 6DoF дела обстоят немного сложнее. По методу трекинга все 6DoF системы делятся на Inside-out и Outside-in. Давайте же рассмотрим их.
Впервые 6DoF был достигнут при помощи метода Inside-out. Суть данного метода заключается в использовании камер или датчиков непосредственно на VR-устройстве, которые будут помогать определять местоположения игрока в пространстве. Если углы Эйлера определялись с помощью гироскопа, то для определения положения решили использовать акселерометр. Однако данная система positional tracking’а не может существовать самостоятельно.
В 2016 году на рынке появляется Oculus Rift с уникальной системой под названием Constellation. На помощь к акселерометру пришли ИК светодиоды и специальные датчики, которые подключались через USB-порт напрямую к компьютеру. Специальное ПО обрабатывало данные, получаемые от гироскопа, акселерометра и датчиков, на выходе получая изменение положения игрока в пространстве.
Благодаря нововведениям, инженерам удалось снизить стоимость товара (на выходе: $599) и обеспечить высокое качество track-системы, которое работает практически в любой среде. Однако из-за большой нагрузки на материнскую плату, от данной системы в будущем отказались.
Не пройдёт и года, как Sony представит нам PS VR. 2 камеры, идущие в комплекте, отслеживают синие полосы, на шлеме, и цветные сферы, на контроллерах, после передают данные на Playstation. Как вы могли уже догадаться, PS VR использует видимый световой диапазон, в отличие от Oculus Rift и его ИК светодиодов, что не позволяет устройству корректно работать в условиях темноты.
Valve и HTC же пошли немного другим путём. Разрабатывая HTC VIVE они решили прибегнуть к тому же ИК излучению, но теперь датчики находятся не на отдельной камере, а прямо на шлеме и контроллерах. Lighthouse, а именно такое название получила новая разработка, работает следующим образом.
- «Маяки» посылают ИК вспышку, которая попадает на фотодиоды, встроенные в VR-шлем и контроллеры, и задаёт отсчёт до начала сканирования.
- После чего, те же «маяки» начинают сканировать область, посылая ИК лучи.
- Датчики фиксируют ИК лучи. Запоминают время между началом отсчёта и приёмом лучей. После происходит повторная вспышка со сканированием и приёмом ИК лучей. На основе изменения времени, которое обрабатывает микроконтроллер, на выходе мы и получаем изменение положения в пространстве.
Новый метод разгрузил систему, ведь «маяки» не требуют подключения к компьютеру для обработки данных. Качество tracking системы значительно улучшилось, а главное — расширилась зона действия. Более того, теперь вас предупредят о столкновении со стеной или другим объектом в комнате. Однако блестящие поверхности могут вызывать сбои в работе системы.
Учёные и инженеры стараются сделать всё лучше, быстрее и проще, и VR не исключение. Не все были в восторге от новых «устройств слежения», поэтому некоторые компании решили вернуться к истокам и вернуть все датчики на шлем. В итоге был разработан алгоритм SLAM (Simultaneous Location And Mapping), который, благодаря камерам установленным на самом шлеме, собирает данные из окружения и, на основе относительного позиционирования, определяет ваше местоположение в реальном времени. Контроллеры также связаны со шлемом, а точнее с камерами на них, так же через ИК или через видимый свет. В этом и кроется одна из проблем современных Inside-out систем — они не работают в условиях плохой видимости.
Какие-бы варианты positional tracking’а нам не предлагали, все они неидеальны, все имеют свои плюсы и минусы, но вдобавок не всегда решают вопроса с передвижением в самих играх. Давайте же поговорим о способах передвижения и различных контроллерах.
Одним из нерешённых вопросов в VR на данный момент является вопрос передвижения. Проблематика заключается в том, что использование обычных контроллеров не является выходом, ведь это не только мешает погружению в игровой процесс, но и негативно сказывается на ощущениях игрока, потому как диссонанс, возникающий, когда игрок в виртуальном мире движется, а в реальном стоит, вызывает укачивание и тошноту. В поисках выхода разработчики и инженеры придумывают всё новые способы решения данной проблемы.
Если геймплей игры завязан на механике управления транспортом — то ничего нового выдумывать не нужно. Игроки прекрасно чувствуют себя как за геймпадом, так и за игровым штурвалом. Полный набор из штурвала и кресла с обратной совместимостью, а также VR-очков подарит вам полное погружение в игровой процесс.
Данный способ перемещения по миру представляет собой заранее созданный маршрут на который игрок никак повлиять не может. Движение происходит от триггера А к триггеру В. По пути следования вам попадаются различные неприятности для решения которых в ход идут контроллеры.
Благодаря tracking системам, которые фиксируют ваше передвижение, у вас появляется возможность самостоятельно исследовать виртуальный мир, перемещаясь по просторам собственной комнаты. Хотя придётся немного попотеть, ведь для спринта теперь недостаточно нажать одну кнопку — надо будет бежать на месте. Направление движения задаётся направлением взгляда. Возможно это не всегда будет удобно, однако теперь вы можете ещё сильнее вжиться в роль главного героя.
Скорее всего вы сталкивались с видео или гифками, где демонстрировались данные беговые платформы. Главные плюсы данного устройства — безопасность и удобство. Они занимают меньше пространства, вы не боитесь столкнуться с объектами в вашем доме, для использования не нужны никакие «маяки».
Первый минус кроется в компактности, ведь если маяки занимают совсем маленький уголок квартиры и могут быть вписаны в интерьер, то для подобной платформы придётся поискать отдельное место. Второй минус — это цена, а иногда и вовсе невозможность купить данный аппарат, ведь сегодня крайне сложно отыскать продавцов подобных платформ. И завершая данную тему, отмечу, что уже имеющиеся на рынке технологии, такие как Lighthouse и иные трекеры, превосходят подобные treadmill’ы, не говоря о том, что будет в недалеком будущем.
Два этих типа передвижения крайне похожи между собой: игрок с помощью контроллера выбирает место, куда хочет переместиться, при способе shift перемещение происходит плавно, а при teleport — резко, мгновенно перенося игрока в необходимую ему точку. Главное достоинство данного способа в том, что он не вызывает головокружения и для него нужны только очки и геймпад. И всё же назвать данный способ идеальным нельзя.
В комплекте с современными VR-шлемами зачастую идут также и контроллеры. Давайте вновь попытаемся проследить историю развития, но на этот раз не VR-шлемов, а контроллеров.
Первый коммерческий контроллер был связан с проектом EyePhone 1989 года, о котором мы вели речь вначале. Но сами DataGloves (также называются: Wired Glove или же CyberGlove) были разработаны ещё в 1977 лабораторией Electronic Visualization Laboratory.
Наряду с компанией VPL Research, разработкой перчаток занималась небезызвестная компания Nintendo. Их попытка во внедрении перчаток называлась — Power Glove. На территории США они были анонсированы в октябре 1989. Перчатки постигла та же судьба, что и VR-очки — технология была слишком сыра, работала плохо, а поддерживаемые игры были выпущены с опозданием.
К сожалению, в сети сейчас больше обещаний и свёрнутых краудфандинговых проектов, чем реальных продукций. Обычным hand-tracking’ом мало кого удивишь, ведь подобные модели существуют уже давно, поэтому многие из энтузиастов предлагают проекты с тактильной отдачей и передачей жёсткости объектов. Кто знает, может когда-нибудь старые сайты, собирающие заказы, и краудфандинговые страницы проснутся вновь, чтобы запустить продажи.
И хоть на рынке присутствует целый ряд перчаток от разных компаний, но так как спрос на данный вид контроллеров крайне мал — значит и цена будет высокой, в среднем это 530$. К высокой цене добавляется ещё малое количество игр с поддержкой данной технологии, а свежий Hand Tracking от Oculus Quest и вовсе убирает необходимость в подобном гаджете.
Как вы уже знаете, первопроходцем среди кнопочных контроллеров стал Cyberpuck, входивший в комплект VR-очков VFX-1. Компактный контроллер, состоящий из трёх кнопок и гироскопа, отвечал за взаимодействие игрока с виртуальным миром и за передвижение персонажа.
Более продвинутые контроллеры для VR были выпущены в декабре 2016 — это были Oculus Touch. Мы можем видеть, что модель состоит из курка, кнопки захвата, трёх кнопок, джойстика и специальной зоны для отслеживания жестов большим пальцем. Для отслеживания контроллеров в пространстве используются ИК светодиоды, расположенные в «кольце» контроллера, а датчики, по системе Constellation, находятся в «маяках».
В марте 2019 года были выпущенные новые контроллеры с изменённым дизайном под новую систему Inside-out tracking’а, которая определяла контроллеры в пространстве благодаря камере, установленной на шлеме. Вторая версия Oculus Touch всё также работала на АА батарейках и существенных изменений не получила.
В том же 2016 году компания HTC совместно с Valve представляют HTC VIVE, в комплект которого входили Vive Controllers. Помимо привычных кнопок захвата и курков, Vive Controllers имеют тачпад, который одновременно является и кнопками ко всем четырём направлениям. Как бы идея с тачпадом не смотрелась интересно и удобно, на самом деле это не так. поскольку при использовании тачпадов в качестве контроллера передвижения, у игроков появлялись типичные для VR-игр проблемы: тошнота и головокружение.
Ещё на презентации HTC VIVE в 2016 году Valve заявила о создании собственного VR-комплекта, но представила его только в 2019. Valve Index Controllers стали следующим шагом в развитии VR-контроллеров, потому как предыдущие модели от различных производителей не отличались оригинальностью.
На контроллере мы видим привычные джойстики, две кнопки, тачпад, а вот кнопки захвата были заменены датчиками давления, то есть теперь, во-первых, не нужно зажимать курки для взаимодействия с предмета, а во-вторых, система понимает разницу в силе сдавливания предмета. Ещё одной более интересной инновацией стал knuckles-tracker, который регистрирует движение всех пальцев.
В мае 2019 компания Oculus представила свою новую продукцию — Oculus Quest. Что касается контроллеров, то Oculus Quest по-прежнему использует Oculus Touch. Но в мае 2020 года Oculus официально представили систему hand tracking’а. Благодаря машинному обучению система научилась определять положение рук в пространстве и распознавать жесты.
Вот мы и просмотрели весь путь развития контроллеров, который ещё далеко не закончен, а скорее только начинается. Мы видим, как старые и дорогие перчатки сменились на камеры и алгоритмы. Но перед тем, как перейти к другой теме, всё же стоит рассказать о некоторых контроллерах, которые мы пропустили, чтобы не нарушать целостности картины.
Контроллеры PlayStation VR. Принцип их действия основан на считывании данных в видимом световом диапазоне, мы уже обсуждали эту тему выше. Конечно, технология устарела с 2016 года и требует доработок в ряде аспектов. Однако Aim Controller мог бы получить более широкое распространение, если бы не его эксклюзивность. К 2017 году продажи достигли 2 млн, и в целом компания не ожидала подобного спроса на товар, а это значит, что возможно Sony порадуют нас VR-продукцией для консолей нового поколения
Контроллеры от Lenovo, Samsung, HP. Все эти компании делали свои попытки в производстве VR-шлемов и комплектующих к ним. Однако ни сами шлемы, ни контроллеры не отличались новыми идеями, в основном они представляют собой редизайн контроллеров от HTC, так как работают по той же системе Inside-out.
VIVE Tracker. Ещё одно устройство от HTC, которое занимается отслеживанием положения объекта в пространстве. Устройство крепится на необходимый специальный объект — это могут быть те же перчатки, ракетки или оружие. Примерная ценна VIVE Tracker’а без подходящих для него устройств — 145$.
Контроллеры-оружие. Более дорогой и редкий вид контроллеров, большая часть которых базируется на VIVE Tracker’е. Стоимость подобного вооружения варьируется от 300$ до 1000$. Разработчики стараются подарить ощущение взаимодействия с настоящим оружием, создавая искусственную отдачу, утяжеляя, добавляя режимы стрельбы, но у крупных компаний данные идеи интереса пока не вызвали. Зато привлекли внимание различных развлекательных центров по всему миру.
Первый в мире VR парк был открыт в декабре 2016 года в Токио. С тех пор новое направление в индустрии развлечений только набирает свои обороты, с каждым днём по всему миру становится всё больше подобных заведений, аркадных автоматов 21 века.
Не стоит воспринимать VR-парки как какие-то уличные аттракционы, которые всего-лишь прокатят вас по американским гонкам. В современных VR парках находятся дорогие устройства, которые обычно не доступны из-за своей цены, а иногда и вовсе из-за уникальности. Некоторые аттракционы создаются по заказу парка. У всех этих симуляторов одна цель — обеспечить игроку максимальное погружение.
Один из примеров уникальных устройств на изображении ниже. Площадка предназначена для игры «Ковёр Соломона», в которой вам нужно будет держать равновесие при полёте, а специально созданная платформа отлично справляется с симуляцией ковра-самолёта, благодаря наклонам в разные стороны.
Конечно у VR есть перспективное будущее не только в игровой индустрии. Уже сегодня возможности виртуальной реальности используют в обучении и повседневной работе. VR-технологии применяются в архитектуре, дизайне и градостроении. Компания IKEA уже использует возможности дополненной реальности, помогая определиться с выбором мебели специально для вашего декора. Помимо помощи в создании недвижимости, VR также помогает эту недвижимость продать. Это значительно сократит расходы времени и средств на осмотр помещений. Виртуальные магазины тоже не являются чем-то за гранью фантастики. В разделе про eye-tracking мы упоминали, что компании могут перенести свои магазины в виртуальный мир, благодаря чему их продукцию можно будет как следует изучить.
Рано или поздно VR найдет своё место и в индустрии кино, а пока реализацию лишь получили некоторые промо-ролики и видеоклипы на youtube. NextVR, одна из крупнейших компаний, которая занимается созданием онлайн трансляций спортивных мероприятий в 360°.
Использование очков виртуальной реальности быстро нашло своё место в образовании. Здесь речь не только о лётных симуляторах, но и о медицинском образовании. VR/AR позволяет ученикам максимально приблизиться к реальным условиям, проводя опыты, исследования, практикуясь в навыках и обретая больше уверенности.
Виртуальный туризм позволяет попасть на закрытые или уже несуществующие локации. Кроме того, благодаря VR туризму вы можете свободно осмотреть достопримечательности со всего мира, не выходя из дома, при этом вам не будут мешать толпы туристов или плохая погода.
Взгляд на финансовое будущее VR/AR разнится: от самых оптимистичных, до более приземлённых. Инвестиционный банк Goldman Sachs прогнозирует, что к 2025 году объем продаж XR (VR, AR, AV) превысит $100 млрд. Аналитическая компания IDC заявляет о повышении прибыли от $32 млрд. к 2023 году. Наибольший интерес к VR-технологиям проявляет Китай. Ниже я привёл вам прогнозы разных лет от нескольких аналитических компаний.
Благодаря этой статье мы смогли проследить тернистый путь зарождения VR-индустрии. VR-технологии развиваются с каждым годом и на сегодня представляются весьма перспективным направлением как развлекательной, так и профессиональной сферы. Как когда-то аркадные автоматы вышли за пределы клубов, так вскоре и VR-аттракционы смогут заменить привычные нам игровые консоли. Учитывая снижение цен и популяризацию виртуальной реальности — это больше не выглядит как несбыточные мечты. Громоздкие устройства для отслеживания движений сменяются парой камер и искусственным интеллектом, графика улучшается, с каждым днём ещё больше разработчиков портируют свои игры для VR — всё это лишь положительно влияет на молодую индустрию.
Надеюсь из этой статьи вы узнали что-то новое и интересное, мне было приятно стараться для вас! Отдельно выражаю благодарность Алексею Ивановичу за редактирование статьи.