Bunlar mobil VR'ın karşılaştığı zorluklar

İçerik

Sınırlı güç bütçesi
Bant genişliği ve yüksek çözünürlükler
Düşük gecikme süresi ve ekran panelleri
Ses ve sensörler
Geliştiriciler ve yazılımlar
Sarmak

Sonunda, bazılarının belirttiği gibi, piyasada bolca bulunan donanım ve yazılım ürünleri ve yenilikleri teşvik etmek için dökülen kaynaklar ile devrimin derinliklerine dalıyoruz. Ancak, ana ürün bu alanda piyasaya sürüldüğü için bir yıldan fazla bir süredir ve sanal gerçekliği bir ana başarı haline getirmek için hala o katil uygulamasını bekliyoruz. Beklerken, yeni gelişmeler sanal gerçekliği daha uygulanabilir bir ticari seçenek haline getirmeye devam ediyor, ancak özellikle mobil VR alanında aşılması gereken bazı teknik engeller var.

Sınırlı güç bütçesi

Mobil sanal gerçeklik uygulamalarının karşılaştığı en belirgin ve iyi tartışılan zorluk, masaüstü PC eşdeğeri ile karşılaştırıldığında çok daha sınırlı bir güç bütçesi ve termal kısıtlamalar. Yoğun grafik uygulamalarının bir bataryadan çalıştırılması, batarya ömrünü korumak için daha düşük güç bileşenlerinin ve enerjinin verimli kullanılması gerektiği anlamına gelir. Ayrıca, işleme donanımının kullanıcıya yakınlığı, termal bütçenin de daha fazla itilemeyeceği anlamına gelir. Karşılaştırma için, mobil tipik olarak 4 watt'lık bir limit dahilinde çalışmakta iken, bir masaüstü VR GPU'yu kolayca 150 watt veya daha fazla tüketebilir.

Mobil VR'nin ham donanım için masaüstü donanımıyla eşleşmeyeceği yaygın olarak kabul edilmektedir, ancak bu, tüketicilerin net çözünürlükte ve yüksek kare hızlarında sürükleyici 3D deneyimleri talep etmedikleri anlamına gelmez.

Mobil VR'nin ham donanım için masaüstü donanımıyla eşleşmeyeceği yaygın olarak kabul edilmektedir, ancak bu, tüketicilerin, daha sınırlı güce rağmen, keskin çözünürlükte ve yüksek kare hızında sürükleyici 3D deneyimleri talep etmeyeceği anlamına gelmez. bütçe. 3D video izlemek, 360 derece yeniden yaratılmış yerleri keşfetmek ve hatta oyun oynamak arasında, mobil VR için uygun birçok kullanım durumu var.

Tipik mobil SoC'nize bakıldığında, bu daha az takdir edilen ek sorunlar yaratır. Her ne kadar mobil SoC'lar iyi bir okta-çekirdekli CPU düzenlemesi ve bazı önemli GPU gücüne sahip olsalar da, daha önce bahsedilen güç tüketimi ve termal kısıtlamalar nedeniyle bu yongaları tam eğimle çalıştırmak mümkün değildir. Gerçekte, mobil bir VR örneğindeki CPU, mümkün olduğu kadar az bir süre için çalışıp GPU'yu sınırlı güç bütçesinin büyük kısmını tüketmek üzere serbest bırakmak istiyor. Bu sadece oyun mantığı, fizik hesaplamaları ve hatta arka plan mobil süreçleri için mevcut kaynakları sınırlamakla kalmaz, aynı zamanda stereoskopik görüntü oluşturma için çağrı yapma gibi temel VR görevlerine de yük getirir.

Endüstri zaten bunun için yalnızca mobil cihazlar için geçerli olmayan çözümler üzerinde çalışıyor. Çoklu görüntü oluşturma, OpenGL 3.0 ve ES 3.0'da desteklenir ve Oculus, Qualcomm, Nvidia, Google, Epic, ARM ve Sony'den katılımcılar tarafından geliştirilmiştir. Çoklu görüntü, CPU gereksinimlerini azaltan ve ayrıca GPU vertex işini de daraltan her bakış açısı için değil, yalnızca tek bir beraberlik çağrısı ile stereoskopik görüntülemeye izin verir. Bu teknoloji performansı yüzde 40 ila 50 oranında artırabilir. Mobil alanda, Multiview zaten çok sayıda ARM Mali ve Qualcomm Adreno cihazı tarafından desteklenmektedir.

Yaklaşan mobil VR ürünlerinde ortaya çıkması beklenen bir diğer yenilik de mükemmel hale getirildi. Göz izleme teknolojisi ile birlikte kullanıldığında, net görüntü oluşturma, kullanıcının tam odak noktasını tam çözünürlükte göstererek ve çevre görüşü içindeki nesnelerin çözünürlüğünü azaltarak GPU üzerindeki yükü hafifletir. İnsan görüşü sistemini güzel bir şekilde tamamlar ve GPU yükünü önemli ölçüde azaltabilir, böylece güç tasarrufu ve / veya diğer CPU veya GPU görevleri için daha fazla güç tasarrufu sağlar.

Bant genişliği ve yüksek çözünürlükler

Mobil VR durumlarda işlem gücü sınırlanırken, platform düşük gecikmeli, yüksek çözünürlüklü ekran panellerinin talepleri de dahil olmak üzere diğer sanal gerçeklik platformlarıyla aynı şartlara uymaktadır. QHD (2560 x 1440) çözünürlüğe sahip VR ekranları görmüş olanlar veya Rift kulaklığının göz başına 1080 x 1200 çözünürlüğü olan kullanıcılar bile görüntü netliği nedeniyle biraz etkilenmiş olacak. Kenar yumuşatma, gözlerimiz ekrana çok yakın olduğu için, kenarları hareket sırasında özellikle pürüzlü görünen veya pürüzlü göründüğü için sorunludur.

Kaba kuvvet çözümü, bir sonraki mantıksal ilerleme olan 4K ile ekran çözünürlüğünü arttırmaktır. Bununla birlikte, cihazların çözünürlüğünden bağımsız olarak yüksek bir yenileme hızı sağlamaları gerekir, 60Hz minimum olarak kabul edilir, ancak 90Hz ve hatta 120Hz çok daha fazla tercih edilir. Bu, günümüz cihazlarından iki ila sekiz kat daha fazla olan her yerde sistem belleğine büyük bir yük getirmektedir. Bellek bant genişliği, mobil VR'de zaten paylaşılan bir havuz yerine daha hızlı atanmış grafik belleği kullanan masaüstü ürünlerinde olduğundan daha sınırlıdır.

Grafik bant genişliğinden tasarruf etmenin olası çözümleri arasında, her ikisi de OpenGL ve OpenGL ES'nin resmi uzantıları olan ARM ve AMD’nin Uyarlanabilir Ölçeklenebilir Doku Sıkıştırma (ASTC) standardı veya kayıpsız Ericsson Doku Sıkıştırma formatı gibi sıkıştırma teknolojilerinin kullanılması yer almaktadır. ASTC, ARM’in en son Mali GPU’ları, Nvidia’nın Kepler ve Maxwell Tegra SoC’ları ve Intel’in en yeni entegre GPU’larındaki donanımlarda da destekleniyor ve sıkıştırılmamış dokuların kullanılması gibi bazı senaryolarda yüzde 50’den fazla bant genişliği tasarrufu sağlayabiliyor.

Doku sıkıştırma kullanımı, 3D uygulamaların gerektirdiği bant genişliğini, gecikmeyi ve belleği büyük ölçüde azaltabilir. Kaynak - ARM.

Diğer teknikler de uygulanabilir.Mozaiklemenin kullanılması, bazı önemli GPU kaynaklarını gerektirmekle birlikte, daha basit nesnelerden daha ayrıntılı görünüm geometrisi oluşturabilir. Ertelenmiş Rendering ve Forward Pixel Kill, tıkalı pikselleri oluşturmaktan kaçınabilir, ancak Binning / Tiling mimarileri, her biri bant genişliğinden tasarruf edebilecekleri daha küçük ızgaralara veya döşemelere ayrılmak için kullanılabilir.

Alternatif olarak veya tercihen ek olarak geliştiriciler, sistem bant genişliği üzerindeki baskıyı azaltmak için görüntü kalitesinden fedakarlık yapabilir. Geometri yoğunluğu feda edilebilir veya yükü azaltmak için kullanılan daha agresif temizleme işlemi yapılabilir ve vertex veri çözünürlüğü geleneksel olarak kullanılan 32-bit hassasiyetten 16-bit'e düşürülebilir. Bu tekniklerin birçoğu hali hazırda çeşitli mobil paketlerde kullanılmaktadır ve birlikte bant genişliği üzerindeki gerilimi azaltmaya yardımcı olabilir.

Bellek yalnızca mobil VR alanında büyük bir kısıtlama olmakla kalmaz, aynı zamanda CPU veya GPU tüketimine eşit derecede büyük bir güç tüketicisidir. Bellek bant genişliği ve kullanımında tasarruf sağlayarak, taşınabilir sanal gerçeklik çözümlerinin daha uzun pil ömrü görmesi gerekir.

Düşük gecikme süresi ve ekran panelleri

Gecikme sorunlarından bahsettiğimizde, yalnızca OLED ekran panellerini destekleyen VR kulaklıklarını gördük ve bunun nedeni çoğunlukla bir milisaniyenin altındaki hızlı piksel değiştirme süreleridir. Tarihsel olarak LCD, çok hızlı yenileme oranları için hayalet sorunları ile ilişkilendirilmiş ve bu durum VR için uygun değildir. Bununla birlikte, çok yüksek çözünürlüklü LCD paneller OLED eşdeğerlerinden daha ucuza üretildiğinden, bu teknolojiye geçmek, VR kulaklıkların fiyatının daha uygun seviyelere indirilmesine yardımcı olabilir.

Foton gecikmesine kadar olan hareket, 20 ms'nin altında olmalıdır. Buna hareketin kaydedilmesi ve işlenmesi, grafiklerin ve sesin işlenmesi ve ekranın güncellenmesi dahildir.

Ekranlar, sanal gerçeklik sisteminin genel gecikme süresinde özellikle önemli bir parçadır ve çoğu kez görünmez ile alt deneyim arasında bir fark yaratır. İdeal bir sistemde, foto-foton gecikme süresi - başınızı hareket ettirmek ve ekrana cevap vermek arasında geçen süre - 20 milisaniyeden az olmalıdır. Açıkçası, 50ms'lik bir ekran burada iyi değil. İdeal olarak panellerin, sensör ve işlem gecikmesini de barındırabilmesi için 5 ms'nin altında olması gerekir.

Şu anda, OLED'i destekleyen bir maliyet performansı takası var, ancak bu yakında değişebilir. Daha yüksek yenileme hızları ve yanıp sönen arka ışıklar gibi son teknolojilerden yararlanan düşük siyah-beyaz tepki süreleri için destek sunan LCD panelleri, tasarıya çok yakışabilir. Japan Display geçtiğimiz yıl böyle bir panel gösterdi ve diğer üreticilerin de benzer teknolojileri duyurduklarını görebiliriz.

Ses ve sensörler

Yaygın sanal gerçeklik konularının çoğu görüntü kalitesi etrafında dönerken, sürükleyici VR aynı zamanda yüksek çözünürlük, mekansal olarak hassas 3D ses ve düşük gecikmeli sensörler gerektirir. Mobil alanda, bunların hepsi daha fazla zorluk sunan CPU, GPU ve hafızayı etkileyen aynı sınırlı güç bütçesi içinde yapılmalıdır.

Daha önceki 20ms hareket-foton gecikme sınırının bir parçası olarak bir hareketin kaydedilmesi ve işlenmesi gereken sensör gecikme sorunlarına değinmiştik. VR kulaklıklarının 6 derece hareket - her X, Y ve Z ekseninde dönme ve yalpalama - artı göz izleme gibi yeni teknolojiler kullandığını göz önüne aldığımızda, her şeyi minimum düzeyde toplamak ve işlemek için kayda değer miktarda sabit veri var gecikme.

Bu gecikmeyi mümkün olduğu kadar düşük tutabilmek için çözümler hem donanım hem de yazılımla bu görevleri paralel olarak yapabilen uçtan uca bir yaklaşım gerektirir. Neyse ki mobil cihazlar için, özel düşük güçlü sensör işlemcileri ve her zaman açık olan teknolojilerin kullanımı çok yaygındır ve bunlar oldukça düşük güçte çalışır.

Ses için, 3D konumu oyun oynamak için uzun süredir kullanılan bir tekniktir, ancak gerçekçi bir ses kaynağı konumlandırması için gerekli olan kafa ile ilişkili bir transfer fonksiyonunun (HRTF) ve evrişim yankı işleminin kullanılması oldukça işlemci yoğun görevlerdir. Bunlar CPU üzerinde gerçekleştirilebilse de, özel bir dijital sinyal işlemcisi (DSD) bu işlem türlerini hem işlem süresi hem de güç açısından daha verimli bir şekilde gerçekleştirebilir.

Bu özellikleri daha önce bahsettiğimiz grafik ve ekran gereksinimleriyle birleştirerek, birden çok özel işlemcinin kullanımının bu ihtiyaçları karşılamanın en etkili yolu olduğu açıktır. Qualcomm'un, çeşitli işleme ünitelerini, bu mobil VR gereksinimlerinin birçoğunu güzel bir şekilde karşılamaya yönelik yeteneklerle tek bir pakette birleştiren amiral gemisinin ve en yeni orta seviye Snapdragon mobil platformlarının heterojen hesaplama kapasitesinin çoğunu yaptığını gördük. Bağımsız taşınabilir donanım da dahil olmak üzere bir dizi mobil VR ürününde paket türünün gücünü göreceğiz.

Geliştiriciler ve yazılımlar

Son olarak, bu donanım ilerlemelerinin hiçbiri geliştiricileri desteklemek için yazılım paketleri, oyun motorları ve SDK'lar olmadan çok iyi değildir. Sonuçta, her geliştiricinin her uygulama için tekerleği yeniden icat etmesine izin veremeyiz. Çok çeşitli uygulamaları göreceksek, geliştirme maliyetlerini düşük ve hızları olabildiğince hızlı tutmak önemli.

Özellikle SDK'lar, Asenkron Timewarp, objektif bozulma düzeltmesi ve stereoskopik görüntü oluşturma gibi önemli VR işleme görevlerini uygulamak için gereklidir. Heterojen donanım kurulumlarında güç, termal ve işleme yönetiminden bahsetmiyorum bile.

Neyse ki, büyük donanım platformu üreticilerinin tümü geliştiricilere SDK'lar sunuyor, ancak pazar, platformlar arası destek eksikliği ile sonuçlanan oldukça parçalı. Örneğin, Google Android için VR SDK'sına ve popüler Unity motoru için özel bir SDK'ya sahipken Oculus, Samsung için Gear VR için birlikte tasarlanan Mobil SDK'sına sahiptir. Önemli olarak, Khronos grubu geçtiğimiz günlerde, daha kolay çapraz platform geliştirmeyi kolaylaştırmak için hem cihaz hem de uygulama düzeyi katmanlarındaki tüm ana platformları kapsayacak bir API sağlamayı amaçlayan OpenXR girişimini açıkladı. OpenXR, ilk sanal gerçeklik cihazında 2018'den bir süre önce desteği görebiliyordu.

Sarmak

Bazı sorunlara rağmen, teknoloji geliştirilme aşamasında ve bir dereceye kadar burada, mobil sanal gerçekliği birçok uygulama için uygulanabilir hale getiriyor. Mobile VR, aynı zamanda masaüstü eşdeğeri için geçerli olmayan ve bunu yatırım ve entrikaya layık bir platform haline getirmeye devam edecek çok sayıda avantaja sahiptir. Taşınabilirlik faktörü, mobil VR'yi daha güçlü bir PC'ye bağlı kablolara ihtiyaç duymadan multimedya deneyimleri ve hatta hafif oyunlar için çekici bir platform haline getirir.

Ayrıca, pazardaki sanal gerçeklik yetenekleri ile artan bir şekilde artan mobil cihaz sayısı, onu en büyük hedef kitleye ulaşmak için tercih edilen bir platform haline getirmektedir. Sanal gerçeklik bir ana platform haline gelmek için kullanıcılara ihtiyaç duyuyor ve mobil cihazlar ise etrafındaki en büyük kullanıcı tabanı.