Okulary jabłkowe

Mówi się, że Apple ma tajny zespół setek pracowników pracujących nad projektami wirtualnej i rozszerzonej rzeczywistości.

• tak
• Nie

Tajny projekt Apple's Augmented and Virtual Reality

Zawartość

1. Tajny projekt Apple's Augmented and Virtual Reality
• Zestaw słuchawkowy do rzeczywistości mieszanej
• Inteligentne okulary AR
• Wycieki iOS 14 AR
• AR w Xcode
• Współpraca z Valve?
• Inne plotki
2. Rzeczywistość rozszerzona a rzeczywistość wirtualna
3. Zespół Apple VR/AR
• Zatrudnia
• Przejęcia
4. Patenty AR/VR
5. Data uruchomienia
6. Przyszłe plany AR/VR
7. Oś czasu okularów Apple

Apple bada technologie rzeczywistości wirtualnej i rzeczywistości rozszerzonej od ponad 10 lat w oparciu o zgłoszenia patentowe, ale wraz z rosnącą popularnością rzeczywistości wirtualnej i rozszerzonej wraz z wprowadzeniem ARKit, sztuczki Apple stają się coraz poważniejsze i oczekuje się, że doprowadzi to do AR/ Produkt VR w 2022 roku.

Plotka głosi, że Apple ma tajną jednostkę badawczą z setkami pracowników pracujących nad AR i VR oraz badających sposoby wykorzystania nowych technologii w przyszłych produktach Apple. Zatrudnianie VR/AR wzrosło w ciągu ostatnich kilku lat, a Apple przejął wiele firm AR/VR, kontynuując swoją pracę w przestrzeni AR/VR.

Mówi się, że Apple będzie co najmniej pracowało dwa Projekty AR, które obejmują zestaw słuchawkowy do rzeczywistości rozszerzonej, który ma zostać wydany około 2022 roku, a następnie elegancka para okularów rzeczywistości rozszerzonej, która pojawi się w późniejszym terminie. Wiele plotek skupia się jednak wyłącznie na okularach, co prowadzi do pewnych zamieszania co do planów Apple, ale wygląda na to, że zestaw słuchawkowy AR/VR będzie pierwszym produktem wprowadzonym na rynek.

Analityk Apple, Ming-Chi Kuo, uważa, że ​​zestaw słuchawkowy „rzeczywistości mieszanej” firmy Apple wyjdzie pod koniec 2022 r. lub na początku 2023 r., a okulary Apple pojawią się w 2025 r., chociaż inne źródła podają, że okulary pojawią się w 2023 r. Zestaw słuchawkowy to AR/VR, czyli rzeczywistość mieszana, podczas gdy okulary Apple to rzeczywistość rozszerzona.

Zestaw słuchawkowy do rzeczywistości mieszanej

Informacja oraz Bloomberg oboje powiedzieli, że Apple pracuje nad inteligentnymi okularami ORAZ zestawem słuchawkowym AR / VR (inaczej rzeczywistości mieszanej), z zestawem słuchawkowym, który wyjdzie jako pierwszy, a następnie okularami. Mówi się, że zestaw słuchawkowy jest podobny do gogli wirtualnej rzeczywistości Facebooka Oculus Quest, ale ma bardziej elegancki wygląd, który wykorzystuje tkaniny i lekkie materiały, aby zapewnić wygodę zestawu.

Mówi się, że się wyróżnia dwa wyświetlacze o wysokiej rozdzielczości 8K oraz kamery wykrywające oko, które pozwolą użytkownikom „czytać małą czcionkę” i „widzieć innych ludzi stojących przed i za wirtualnymi obiektami”. Zestaw słuchawkowy będzie w stanie mapować powierzchnie, krawędzie i wymiary pomieszczeń z 'większą dokładnością niż istniejące urządzenia na rynku'. Będzie miał bardziej zaawansowany wyświetlacz i chip, który jest nawet szybszy niż procesor M1 w 2020 roku na komputerach Mac.

Informacja w lutym powiedział, że będzie wyposażony w kilkanaście kamer do śledzenia ruchów rąk, oprócz kamer do oglądania świata zewnętrznego, a konstrukcja blokuje widzenie peryferyjne, aby zapobiec przedostawaniu się światła w pole widzenia użytkownika. W wyświetlacz może być również wbudowany wizjer skierowany na zewnątrz, aby umożliwić użytkownikowi pokazywanie grafiki innym.

Elec twierdzi że gogle VR będą wyposażone w wysokiej rozdzielczości wyświetlacz micro OLED o rozdzielczości do 3000 pikseli na cal. Wcześniej plotkowano, że w inteligentnych okularach ma wyświetlacz micro OLED, ale nie w zestawach VR.

Analityk Apple, Ming-Chi Kuo, powiedział, że nadchodzący zestaw słuchawkowy Apple do rzeczywistości mieszanej będzie wyposażony w 15 modułów kamer optycznych w całości. Osiem z 15 modułów kamer będzie wykorzystywanych do przeźroczystych doświadczeń w rzeczywistości rozszerzonej, sześć modułów będzie wykorzystywanych do 'innowacyjnej biometrii', a jeden moduł kamery będzie używany do wykrywania środowiska.

Kuo również wierzy że zestaw słuchawkowy Apple będzie wyposażony w zaawansowany system śledzenia wzroku zapewniający intuicyjne wrażenia wizualne, które płynnie współdziała ze środowiskiem zewnętrznym, a także bardziej intuicyjną obsługę, którą można kontrolować za pomocą ruchów oczu i zmniejszonego obciążenia obliczeniowego w postaci zmniejszonego rozdzielczość, w której użytkownik nie patrzy.

Jeśli chodzi o konstrukcję, zestaw słuchawkowy został opisany jako „elegancki, zakrzywiony daszek przymocowany do twarzy za pomocą siateczkowego materiału i wymiennych pałąków na głowę”. Jeden pałąk rzekomo zawiera technologię dźwięku przestrzennego, taką jak AirPods Pro, zapewniającą dźwięk przestrzenny, a drugi zapewnia dodatkową żywotność baterii w podróży. Apple pracuje nad wieloma metodami kontroli, w tym nad „urządzeniem przypominającym naparstek do noszenia na palcu”. Zestaw słuchawkowy byłby również w stanie reagować na ruchy oczu i gesty rąk użytkownika, podczas gdy jeden prototyp zestawu słuchawkowego miał również fizyczną tarczę po stronie osłony. Apple testował również wejście Siri.

Apple chce utwórz App Store dla zestawu słuchawkowego, z naciskiem na gry, przesyłanie strumieniowe treści wideo i wideokonferencje. Zostało to opisane przez Bloomberg jako „wszechobejmujące środowisko cyfrowe 3D” przeznaczone do gier, oglądania filmów i komunikacji.

Obecne prototypy słuchawek powiedziano ważyć około 200 do 300 gramów, ale Apple zamierza zmniejszyć ostateczną wagę do 100 do 200 gramów, jeśli uda się rozwiązać problemy techniczne, co sprawi, że zestaw słuchawkowy będzie lżejszy niż istniejące urządzenia VR. Zestaw słuchawkowy będzie przenośny z niezależnym zasilaniem i pamięcią, ale nie będzie „mobilny” jak iPhone. Zapewni „imersyjne wrażenia”, które przewyższają obecnie dostępne produkty VR, i można go zintegrować z Apple TV+ i Apple Arcade.

Funkcjonalność rozszerzonej rzeczywistości dla zestawu słuchawkowego jest „bardziej ograniczona” i chociaż premiera planowana jest na 2022 r., mówi się, że Apple napotkał kilka przeszkód rozwojowych i ma „konserwatywne” szacunki dotyczące sprzedaży urządzenia. Apple spodziewa się sprzedać około 180 000 sztuk, co jest równorzędne z droższymi urządzeniami, takimi jak Mac Pro. Oczekuje się, że zestaw słuchawkowy będzie znacznie droższy niż zestawy słuchawkowe innych firm i Informacja mówi, że Apple omówiło wycenę zestawu słuchawkowego na około 3000 USD.

Początkowy projekt zawierał wentylator i wydajne procesory, dzięki czemu urządzenie było zbyt ciężkie. Apple rzekomo zdecydowało się zbliżyć zestaw słuchawkowy do twarzy, aby zmniejszyć rozmiar. Użytkownicy nie będą mogli nosić okularów podczas korzystania z zestawu słuchawkowego, więc Apple stworzył system, w którym niestandardowe soczewki korekcyjne mogą być umieszczane na ekranach VR.

Kuo wierzy, że zestaw słuchawkowy użyje hybrydowej konstrukcji soczewki Fresnela , obejmujący trzy ułożone w stos soczewki na oko wykonane z lekkiego tworzywa sztucznego. Celem projektu jest umożliwienie ultrakrótkich ogniskowych i poprawionych parametrów optycznych, a także szerokiego pola widzenia i utrzymanie wagi zestawu nagłownego poniżej 150 gramów.

Pod względem mocy nadchodzący zestaw słuchawkowy AR/VR będzie wyposażony w: wysokiej klasy procesor główny jest to podobne do chipa M1, który Apple zadebiutował w zeszłym roku dla swoich krzemowych komputerów Mac firmy Apple, wraz z niższym procesorem do zarządzania aspektami urządzenia związanymi z czujnikami.

Analityk Apple, Ming-Chi Kuo, twierdzi, że będzie w stanie działać niezależnie bez polegania na Macu lub iPhonie, co jest odejściem od wcześniejszych plotek, które mówiły, że będzie wymagać uwięzi do iPhone'a. Układ o dużej mocy w zestawie słuchawkowym będzie napędzał parę wyświetlaczy 4K Micro OLED firmy Sony i sześć do ośmiu modułów optycznych, aby zapewnić funkcjonalność opartą na AR. Apple ma ukończona praca na SoC dla zestawu słuchawkowego AR/VR i zoptymalizuje pod kątem bezprzewodowej transmisji danych, kompresji i dekompresji wideo oraz wydajności energetycznej, aby maksymalnie wydłużyć żywotność baterii, a ponadto nie ma silnika neuronowego, jak niektóre inne układy Apple.

Nadchodzący zestaw słuchawkowy do rzeczywistości mieszanej firmy Apple będzie oferują WiFi 6E wsparcie, które jest najnowszą specyfikacją WiFi. Mówi się, że Apple planuje wdrożyć WiFi 6E, aby zapewnić wysokiej klasy, wciągające wrażenia z solidną łącznością bezprzewodową. Wi-Fi 6E ma wszystkie zalety Wi-Fi 6, ale oprócz pasm 2,4 GHz i 5 GHz dodaje pasmo 6 GHz, aby zwiększyć przepustowość i zmniejszyć zakłócenia między urządzeniami.

Rendery zestawu słuchawkowego rzeczywistości mieszanej

Projektant Antonio De Rosa ma opracowane rendery 3D na podstawie danych udostępnionych przez Informacja , co daje nam spojrzenie na to, jak może wyglądać zestaw słuchawkowy Apple do rzeczywistości mieszanej w oparciu o obecne plotki.

Informacja opisał zestaw słuchawkowy jako „elegancki, zakrzywiony daszek przymocowany do twarzy za pomocą siateczkowego materiału i wymiennych opasek na głowę” oferowany w wielu kolorach.

Wczesne prototypy słuchawek

Wcześniejsze plotki z CNET w 2018 r. zasugerował, że Apple pracuje nad potężnym zestawem słuchawkowym AR/VR z wyświetlaczem 8K na każde oko, który byłby odłączony od komputera lub smartfona i działałby zarówno z aplikacjami wirtualnej, jak i rozszerzonej rzeczywistości.

Zamiast polegać na połączeniu ze smartfonem lub komputerem, zestaw słuchawkowy CNET opisany będzie łączyć się z „dedykowanym pudełkiem” za pomocą szybkiej technologii bezprzewodowej krótkiego zasięgu o nazwie 60GHz WiGig. Pudełko byłoby zasilane niestandardowym 5-nanometrowym procesorem Apple, który jest „mocniejszy niż wszystko, co jest obecnie dostępne”. Pudełko najwyraźniej przypomina wieżę PC, ale „nie będzie to prawdziwy komputer Mac”. Ten przypominający pudełko projekt był przedmiotem wczesnych plotek i może być prototypem, który został porzucony na rzecz bardziej eleganckiej wersji, którą obecnie opisują plotki.

Mówi się, że wewnętrzne nieporozumienia z czasem ukształtowały i zmieniły cele Apple dotyczące zestawu słuchawkowego AR. Jabłko było początkowo celowanie za ultra-wydajny system, który był dostarczany z koncentratorem mieszczącym procesor, jak opisano powyżej, ale Jony Ive, który odszedł z firmy, nie chciał sprzedawać urządzenia, które wymagałoby oddzielnego, stacjonarnego urządzenia dla pełnej funkcjonalności.

Ive chciał zamiast tego zestawu słuchawkowego z mniej wydajną technologią, który mógłby być osadzony bezpośrednio w urządzeniu, ale lider zespołu AR/VR, Mike Rockwell, chciał mieć mocniejsze urządzenie. To był pat, który trwał miesiące, a Tim Cook ostatecznie stanął po stronie Ive'a. Mówi się, że Ive woli inteligentne okulary AR, które również są w toku.

Inteligentne okulary AR

Apple pracuje nad zestawem okularów rozszerzonej rzeczywistości, które Leaker Jon Prosser zasugerował Apple nazwie „Apple Glass”. Ta nazwa byłaby nietypowym wyborem, biorąc pod uwagę podobieństwo do nazwy Google Glass, produktu, który istniał na długo przed pojawieniem się prac Apple nad okularami AR, więc może nie być trafna.

Mówi się, że okulary wyglądają podobnie do zwykłych okularów, a oba obiektywy mają wyświetlacze, z którymi można wchodzić w interakcję za pomocą gestów. Dostępna będzie opcja zakupu okularów bez soczewek korekcyjnych w możliwej cenie początkowej 499 USD, z soczewkami korekcyjnymi dostępnymi za dodatkową opłatą.

Według Bloomberg okulary są w wczesny etap rozwoju , nawet wcześniej niż gogle AR/VR, nad którymi pracuje Apple. Okulary zostały opisane jako „za kilka lat”, chociaż Apple początkowo planował wypuścić je już w 2023 roku. Obecny prototyp przypomina wysokiej klasy okulary przeciwsłoneczne z grubymi oprawkami, w których mieści się bateria i chipy.

Apple jest rzekomo planuje użyć najnowocześniejsze mikrowyświetlacze OLED dostarczane przez firmę Sony do jej rzekomych okularów rozszerzonej rzeczywistości. Mikrowyświetlacze OLED firmy Sony charakteryzują się ultraszybkim czasem reakcji, ultrawysokim kontrastem, szeroką gamą kolorów, wysoką luminancją, niskim współczynnikiem odbicia oraz zintegrowanymi przetwornikami, które zapewniają smukłą i lekką konstrukcję. Mówi się, że okulary mają wyświetlacz o przekątnej 0,5 cala i rozdzielczości 1280x960.

Kuo spodziewa się, że okulary AR będą sprzedawane jako akcesorium do iPhone'a i będą przede wszystkim odgrywać rolę wyświetlania, odciążając iPhone'a z komputerów, sieci i pozycjonowania. dostarczanie mobilna „przezroczysta optyczna rzeczywistość AR”. Oferowanie okularów AR jako akcesorium do iPhone'a pozwoli Apple zachować ich smukłość i lekkość. Prosser mówi, że okulary będą wyglądać podobnie do Ray-Ban Wayfarers lub okularów, które nosi Tim Cook.

Bloomberg powiedział, że okulary Apple będą działać z systemem operacyjnym „rOS” lub rzeczywistością. Mówi się, że rOS jest oparty na iOS, systemie operacyjnym działającym na iPhonie. W przypadku zestawu słuchawkowego AR Apple opracowuje układ „system-on-a-package” podobny do tego, który jest w Apple Watch, chociaż będzie polegał na iPhonie, jak wspomniano powyżej.

W trakcie opracowywania zestawu słuchawkowego AR firma Apple rozważała panele dotykowe, aktywację głosową i gesty głowy jako metody wprowadzania, a szereg aplikacji, od mapowania po pisanie wiadomości, jest w trakcie prototypowania. Wirtualne sale konferencyjne i 360-stopniowe odtwarzanie wideo to również koncepcje, które są badane.

Myślałem, że pojawiły się pierwsze plotki premiery w 2020 r. , Bloomberg wierzy w okulary AR móc przyjść minęły lata od premiery, a gogle VR ukażą się w 2022 roku DigiTimes zasugerował, że okulary AR firmy Apple zostaną wprowadzone na rynek w 2021 r., a analityk Apple Ming-Chi Kuo spodziewa się premiery w 2022 r. najwcześniej .

Wyciek Jon Prosser uważa, że ​​Apple zaprezentuje swoje okulary AR w marcu lub czerwcu 2021 roku, ale wydaje się to niedokładne, biorąc pod uwagę szacunki z Bloomberg i Kuo.

Prosser mówi również, że Apple pracuje nad limitowaną wersją „Steve Jobs Heritage” inteligentnych okularów, które mają wyglądać jak okrągłe, bezramkowe okulary, które nosił Steve Jobs, ale Bloomberg Mark Gurman nazwał tę plotkę „kompletną fikcją”.

Jabłko jest współpraca z TSMC opracowanie „ultra-zaawansowanych” wyświetlaczy micro OLED, które będą używane w nadchodzących urządzeniach rzeczywistości rozszerzonej Apple, takich jak inteligentne okulary. Mówi się, że wyświetlacze mają mniej niż jeden cal.

Wyświetlacze Micro OLED są zbudowane bezpośrednio na waflach, a nie na szklanym podłożu, dzięki czemu wyświetlacze są cieńsze, mniejsze i bardziej energooszczędne. Mówi się, że rozwój wyświetlaczy micro OLED jest w fazie próbnej produkcji i minie kilka lat, zanim Apple i TSMC będą gotowe do masowej produkcji, co sprawi, że te wyświetlacze będą odpowiednie dla okularów Apple, które według plotek zostaną wprowadzone na rynek około 2023 roku.

Od początku 2021 r. Apple mówi się wejście w „drugą fazę rozwoju” prototypu okularów rozszerzonej rzeczywistości. Okulary mają przejść trzecią fazę rozwoju za kilka miesięcy, a następnie, gdy projekt prototypu zostanie ukończony, urządzenie do noszenia przejdzie sześcio-, dziewięciomiesięczny okres weryfikacji inżynieryjnej.

Wycieki iOS 14 AR

Kod i obrazy znalezione w iOS 14 potwierdź pracę Apple nad zestawem słuchawkowym AR lub VR, z odkrytym zdjęciem, które przedstawia ogólnie wyglądający kontroler do zestawu słuchawkowego, który jest podobny do zestawu słuchawkowego HTC Vive Focus. Apple używa sprzętu HTC Vive do wewnętrznych testów.

Apple testuje swój sprzęt AR za pomocą aplikacji Gobi na iOS 14 wraz z kodami QR, aby przetestować doświadczenia z rozszerzoną rzeczywistością. Jednym z takich doświadczeń w rozszerzonej rzeczywistości jest gra w kręgle na przejściu dla pieszych, uruchamiana na określonym przejściu dla pieszych w Sunnyvale w Kalifornii.

AR w Xcode

Kod w Xcode 11 potwierdza Praca Apple na jakimś zestawie słuchawkowym AR. Istnieją odniesienia do urządzeń testowych o nazwach kodowych oraz frameworków i powłoki systemowej związanej z tymi urządzeniami. Referencje sugerują, że Apple opracowuje obsługę rzeczywistości rozszerzonej na twarz, która jest podobna do Daydream firmy Google.

Współpraca z Valve?

Według tajwańskiej strony DigiTimes , Apple jest partnerem twórca gier Valve za jego podobno zestaw słuchawkowy AR. Valve wypuściło swój pierwszy zestaw słuchawkowy VR, Valve Index, w kwietniu 2019 roku.

Valve wcześniej współpracowało z Apple, aby wprowadzić natywną obsługę gogli VR do systemu macOS High Sierra, wykorzystując obsługę eGPU w wersji oprogramowania SteamVR na komputery Mac.

Inne plotki

W listopadzie 2017 roku Apple kupiło Vrvanę, firmę, która opracowała zestaw słuchawkowy do rzeczywistości mieszanej o nazwie Totem. Technologia Vrvany może potencjalnie zostać wykorzystana w przyszłych zestawach słuchawkowych Apple. Apple po zakupie Vrvany przejął Akonia Holographics, firmę produkującą soczewki do inteligentnych okularów AR.

Plotki sugerują również, że Apple może włączyć swoje badania rzeczywistości rozszerzonej do swojego trwającego projektu samochodowego w ramach samochodowego systemu oprogramowania, który może obejmować wyświetlacz przezierny lub inne funkcje.

Notatka: Widzisz błąd w tym podsumowaniu lub chcesz wyrazić opinię? .

Rzeczywistość rozszerzona a rzeczywistość wirtualna

Rzeczywistość rozszerzona (AR) i rzeczywistość wirtualna (VR) to podobne technologie, ale istnieje między nimi zasadnicza różnica, a ich potencjalne zastosowania są bardzo zróżnicowane. Rzeczywistość wirtualna odnosi się do pełnego immersyjnego doświadczenia w wirtualnym świecie, podczas gdy rzeczywistość rozszerzona odnosi się do zmodyfikowanego widoku świata rzeczywistego.

Różnicę najlepiej chyba podsumować porównaniem dwóch produktów, jednego AR i jednego VR. Google Glass , nieistniejący już zestaw inteligentnych okularów Google, jest przykładem rozszerzonej rzeczywistości. Noszone do oczu Google Glass pozwalało użytkownikom oglądać świat takim, jaki jest, ale oferowało wyświetlacz heads-up, który nakładał odpowiednie informacje dostarczone przez komputer na rzeczywisty widok świata, takie jak lokalna pogoda, mapy i powiadomienia.

Jest to podobne do tego, nad czym podobno pracuje Apple ze swoimi podobno „inteligentnymi okularami”.

Dla porównania, Facebook Oculus Rift to zestaw słuchawkowy do rzeczywistości wirtualnej, oferujący wciągające wrażenia wizualne, które nie wzbogacają świata rzeczywistego o dodatkowe informacje sensoryczne — całkowicie zastępuje świat rzeczywisty światem symulowanym.

Rzeczywistość rozszerzona zapewnia generowany komputerowo kontekst i informacje o otaczającym nas świecie, jednocześnie umożliwiając nam interakcję z naszym otoczeniem, podczas gdy rzeczywistość wirtualna ma na celu odizolowanie nas od naszego otoczenia, abyśmy mogli wchodzić w interakcje z fikcyjnymi światami.

kiedy wyjdzie iphone 11

Potencjalne zastosowania tych dwóch są bardzo różne. Rzeczywistość wirtualna jest szczególnie skoncentrowana na immersyjnej konsumpcji treści, ponieważ sprawia, że ​​użytkownik czuje się tak, jakby rzeczywiście doświadczał tego, co dzieje się w symulowanym świecie poprzez wizualne, dotykowe i dźwiękowe sprzężenia zwrotne. Rzeczywistość wirtualna jest obecnie w dużej mierze powiązana z grami, ale ma również potencjał do odtwarzania doświadczeń ze świata rzeczywistego w celach edukacyjnych lub szkoleniowych.

Rzeczywistość rozszerzona nie opiera się na wciągającej treści i chociaż jest mniej ekscytująca, ponieważ rozszerza rzeczywistość zamiast ją zastępować, ma szerszy zakres potencjalnych zastosowań. W rzeczywistości aplikacje i gry rozszerzonej rzeczywistości są łatwo dostępne w iOS 11 dzięki ARKit.

Dzięki ARKit urządzenie iOS jest w stanie zidentyfikować powierzchnię, taką jak stół, a następnie można do niej dodać wirtualne obiekty. Ze względu na moc obliczeniową iPhone'a i iPada, możliwości rozszerzonej rzeczywistości ARKit są imponujące. ARKit jest już używany do tworzenia ogromnej gamy aplikacji i gier, łączących obiekty cyfrowe ze światem rzeczywistym.

bawić się

Apple może dążyć do produktu, który działa zarówno z rozszerzoną, jak i wirtualną rzeczywistością, jak sugerują ostatnie plotki wskazujące na prace nad zestawem słuchawkowym AR/VR. Taki produkt mógłby być używany do poważnych aplikacji wirtualnej rzeczywistości, a także do doświadczeń w rozszerzonej rzeczywistości i byłby podobny do Microsoft HoloLens.

Zespół Apple VR/AR

Prace Apple nad wirtualną i rozszerzoną rzeczywistością sięgają wielu lat wstecz, ale plotki pojawiły się w marcu 2015 roku, kiedy pojawiły się wiadomości, że Apple ma mały zespół ludzi pracujących nad rozszerzoną rzeczywistością. W 2015 r. i na początku 2016 r. zespół Apple rozrósł się, ponieważ firma zatrudniała pracowników posiadających doświadczenie w technologii AR/VR i dokonywała wielu powiązanych przejęć.

Zespół AR/VR firmy Apple składa się z kilkuset inżynierów z całego Apple, z których wszyscy posiadają doświadczenie w wirtualnej i rozszerzonej rzeczywistości. Zespół pracuje w parkach biurowych zarówno w Cupertino, jak i Sunnyvale, a Apple bada kilka projektów dotyczących sprzętu i oprogramowania pod kryptonimem „T288”.

Zespół rzeczywistości rozszerzonej Apple łączy „mocne strony weteranów sprzętu i oprogramowania” i jest kierowany przez Mike'a Rockwella, który wywodzi się z Dolby. Byli pracownicy takich firm jak Oculus, HoloLens, Amazon (z zespołu VR), firma zajmująca się animacją 3D Weta Digital i Lucasfilm pracują nad AR w Apple.

Były szef inżynierii sprzętu Apple, Dan Riccio, przeszedł w styczniu 2021 r. do nowej roli gdzie on jest nadzorowanie pracy Apple na zestawie słuchawkowym AR/VR. Projekt stanął w obliczu wyzwań rozwojowych, a szefowie Apple są przekonani, że koncentracja Riccio może pomóc.

Zatrudnia

Jednym z najbardziej znanych pracowników AR/VR zatrudnionych w Apple był profesor informatyki Doug Bowman, który wcześniej kierował Centrum Interakcji Człowiek-Komputer w Virginia Tech. Specjalizuje się w projektowaniu trójwymiarowych interfejsów użytkownika i napisał książkę na ten temat, obejmującą interfejsy 3D i korzyści płynące z imersyjnych środowisk wirtualnych. Posiada doświadczenie zarówno w wirtualnej, jak i rozszerzonej rzeczywistości.

Apple zatrudnił również pracowników, którzy pracowali nad produktami wirtualnej lub rozszerzonej rzeczywistości w firmach Microsoft i Lytro. Mówi się, że niektórzy z niedawnych pracowników pochodzili z zespołu HoloLens firmy Microsoft, podczas gdy inni pracowali w Lytro, firmie pracującej nad kamerą, która może łączyć akcję na żywo z grafiką komputerową w celu uzyskania doświadczenia VR na żywo. Pracownicy wywodzący się z zespołu HoloLens mieliby doświadczenie w tworzeniu zaawansowanego zestawu słuchawkowego rzeczywistości rozszerzonej.

Kamera Lytro Immerge 360 ​​stopni

Zeyu Li, który służył jako główny inżynier ds. wizji komputerowej w Magic Leap (start-up rozwijający montowany na głowie wyświetlacz AR/VR), obecnie pracuje w Apple jako „starszy inżynier algorytmów wizji komputerowej”.

Yury Petrov, były naukowiec w należącej do Facebooka firmie Oculus, jest teraz „naukowcem” w Apple. Zgodnie ze swoim profilem na LinkedIn, Pietrow studiował doświadczenia w wirtualnej rzeczywistości, prototypował optykę i opracował oprogramowanie do symulacji komputerowych.

Ekspert rzeczywistości rozszerzonej, Jeff Norris, dołączył do Apple w kwietniu 2017 r. jako starszy menedżer pracujący w zespole ds. rzeczywistości rozszerzonej firmy. Norris założył w NASA Mission Operations Innovation Office i JPL Ops Lab. Prowadził wiele projektów skoncentrowanych na interakcji człowiek-system z naciskiem na wirtualną i rozszerzoną rzeczywistość.

Firma Apple w maju 2018 r. zatrudniła Sterlinga Crispina, który opracował aplikację do malowania dla mobilnych zestawów słuchawkowych VR. „Cyber ​​Paint” pozwala użytkownikom gogli VR tworzyć dwuwymiarowe 260-stopniowe obrazy na urządzeniach Oculus Go, Daydream, GearVR i Vive Focus. Strona Crispina na LinkedIn mówi, że pracuje jako „badacz prototypów”, co sugeruje, że dołączył do zespołu, który podobno pracuje nad technologią zestawu słuchawkowego VR/AR.

Apple w grudniu 2018 roku zatrudnił byłego starszego projektanta Tesli i Microsoft HoloLens, Andrew Kima, i biorąc pod uwagę jego historię, może on pracować nad rzekomym projektem okularów AR firmy Apple lub nadchodzącym samochodem Apple, który podobno jest w fazie rozwoju.

Założyciel Jaunt VR, Arthur van Hoff, dołączył do Apple jako starszy architekt w kwietniu 2019 roku. Przed rozpoczęciem pracy w Apple, jego firma stworzył sprzęt VR , w tym kamerę 3D VR o wartości 100 000 USD o nazwie Jaunt One. Zanim van Hoff opuścił firmę, Jaunt zawiódł i przestawił się na doświadczenia AR.

Ponieważ zespół Apple składa się z setek pracowników, wielu innych ekspertów zajmujących się rzeczywistością wirtualną zostało zatrudnionych poza radarem. Na LinkedIn jest wielu inżynierów oprogramowania z doświadczeniem w wirtualnej rzeczywistości, którzy są zatrudniani przez Apple, ale nie jest jasne, czy pracują w tajnym zespole AR/VR.

Apple w lipcu 2019 r. przeniósł Kim Vorrath, jednego z dyrektorów ds. oprogramowania, do zestaw słuchawkowy rozszerzonej rzeczywistości podział na „zaprowadzenie porządku” w zespole. Vorrath nadzorował zarządzanie programami w zespole programistycznym od 15 lat i został opisany jako „potężna siła”, która dba o to, by pracownicy dotrzymywali terminów, a jednocześnie wykrywali błędy.

Przejęcia

Wielu członków zespołu AR/VR firmy Apple mogło dołączyć do firmy dzięki przejęciom. Od 2015 roku Apple kupiło kilka firm, które stworzyły produkty związane z AR/VR, a niektóre z jej przejęć sięgają nawet kilku lat wstecz.

Apple w sierpniu 2018 kupiło Akonia Holographics, startup produkujący soczewki do okularów rozszerzonej rzeczywistości. Akonia Holographics reklamuje „pierwszą na świecie dostępną na rynku holograficzną optykę holograficzną i falowodową do przezroczystych elementów wyświetlaczy w inteligentnych okularach”.

Mówi się, że wyświetlacze, które produkuje, wykorzystują technologię HoloMirror firmy w celu uzyskania „ultra wyraźnego, pełnokolorowego działania”, aby umożliwić „najcieńsze i najlżejsze wyświetlacze noszone na głowie na świecie”.

W listopadzie 2017 roku Apple kupiło Vrvanę, firmę, która opracowała zestaw słuchawkowy do rzeczywistości mieszanej o nazwie Totem. Totem, który nigdy nie został publicznie udostępniony, został zaprojektowany w celu połączenia technologii rzeczywistości rozszerzonej i rzeczywistości wirtualnej w jednym zestawie słuchawkowym, łącząc pełne możliwości VR z kamerami przelotowymi, aby umożliwić korzystanie z funkcji rzeczywistości rozszerzonej opartej na ekranie.

Totem zasadniczo używał zestawu kamer do wyświetlania obrazów ze świata rzeczywistego na wbudowanym wyświetlaczu OLED 1440p, co jest dość unikalnym podejściem, które odróżnia go od konkurencyjnych produktów, takich jak HoloLens firmy Microsoft, który wykorzystuje przezroczysty wyświetlacz do łączenia rzeczywistości wirtualnej i rozszerzonej. Apple może planować wykorzystanie części technologii Totem w przyszłym produkcie.

Apple kupił izraelską firmę PrimeSense zajmującą się wykrywaniem ciała w 3D w 2013 roku, co wywołało spekulacje, że funkcje oparte na ruchu zostaną zaimplementowane w Apple TV. Technologia głębi 3D PrimeSense i możliwości wykrywania ruchu zostały wykorzystane w początkowej platformie Kinect firmy Microsoft.

PrimeSense wykorzystał światło bliskiej podczerwieni do projekcji niewidzialnego światła do pomieszczenia lub sceny, które jest następnie odczytywane przez czujnik obrazu CMOS w celu stworzenia wirtualnego obrazu obiektu lub osoby. Umożliwia to sterowanie oparte na ruchu dla interfejsów oprogramowania, ale jest również w stanie wykonywać takie czynności, jak mierzenie wirtualnych obiektów i zapewnianie względnych odległości lub rozmiarów, przydatne w aplikacjach rzeczywistości rozszerzonej, takich jak gry interaktywne, mapowanie wnętrz i wiele innych. Technologia PrimeSense może również tworzyć bardzo dokładne 360-stopniowe skany ludzi i obiektów, potencjalnie przydatne w zastosowaniach wirtualnej rzeczywistości.

Firma Apple nabyła firmę zajmującą się rozszerzoną rzeczywistością Metaio w maju 2015 r. Metaio zbudowała produkt o nazwie Metaio Creator, który można wykorzystać do tworzenia scenariuszy rozszerzonej rzeczywistości w ciągu zaledwie kilku minut. Przed zakupem przez Apple oprogramowanie Metaio było używane przez firmy takie jak Ferrari, które stworzyło salon z rozszerzoną rzeczywistością.

Technologia Metaio została również wykorzystana w Berlinie, aby umożliwić osobom odwiedzającym teren muru berlińskiego korzystanie ze smartfona lub tabletu, aby zobaczyć, jak wyglądał obszar, gdy jeszcze stał mur berliński. Technologia Metaio to taka, która może być potencjalnie wykorzystana do wdrożenia funkcji rozszerzonej rzeczywistości w aplikacjach Apple, takich jak Mapy.

Firma Apple nabyła Faceshift w sierpniu 2015 r., zaznaczając swój drugi zakup w rozszerzonej rzeczywistości w 2015 r. Przed przejęciem przez Apple firma Faceshift współpracowała ze studiami gier i animacji nad technologią zaprojektowaną do szybkiego i dokładnego rejestrowania mimiki twarzy za pomocą czujników 3D, przekształcając je w animowane twarze w czas rzeczywisty. Faceshift pracował również nad produktem zorientowanym na konsumenta, który umożliwiłby ludziom przekształcanie twarzy w twarze z kreskówek lub potworów w czasie rzeczywistym w Skypie.

Technologia Faceshift ma szeroki zakres możliwych zastosowań, a Apple wydaje się używać tej funkcji do zasilania Animoji w iPhonie X.

Emotient, firma, która zbudowała narzędzia do analizy mimiki twarzy, została przejęta przez Apple w styczniu 2016 roku. Technologia Emotient wykorzystuje sztuczną inteligencję i uczenie maszynowe do odczytywania ludzkich emocji, cechy, które były wykorzystywane w realnym świecie przez reklamodawców do określania reakcji emocjonalnych na reklamy.

Istnieją dziesiątki rzeczy, które Apple może zrobić z Emotient, od lepszego wykrywania twarzy w aplikacji Zdjęcia, przez analizowanie odczuć klientów w sklepach Apple, po odblokowywanie urządzeń z systemem iOS, ale ma również potencjalne zastosowania AR/VR. Podobnie jak Faceshift, technologia Emotient może być wykorzystywana do analizowania i przekształcania mimiki twarzy w celu tworzenia wirtualnych awatarów, przydatnych w mediach społecznościowych i grach. W Animoji wykorzystano prawdopodobnie technologię emotikonów.

Zakupiona na początku 2016 roku Flyby Media to kolejna firma, która pracowała nad rozszerzoną rzeczywistością. Przelecieć stworzył aplikację który współpracował ze smartfonem Google Project Tango wyposażonym w czujniki 3D, umożliwiając dołączanie wiadomości do obiektów świata rzeczywistego i przeglądanie ich przez innych za pomocą jednego z urządzeń Google.

Na przykład osoba może „zeskanować” punkt orientacyjny, taki jak most Golden Gate w San Francisco, i napisać do niego dołączoną wiadomość. Osoba odwiedzająca most później będzie mogła zeskanować most za pomocą aplikacji Flyby, aby zobaczyć wiadomość. Aplikacja Flyby prawdopodobnie zwróciła uwagę Apple, ponieważ była w stanie rozpoznać i zrozumieć różne zeskanowane obiekty, technologię, która może być używana przez Apple na wiele sposobów w aplikacjach takich jak Zdjęcia i Mapy.

W lutym 2017 r. Apple kupiło RealFace , firmę zajmującą się cyberbezpieczeństwem i uczeniem maszynowym, która specjalizuje się w technologii rozpoznawania twarzy, która może być potencjalnie wykorzystywana w przyszłych funkcjach rzeczywistości rozszerzonej.

RealFace opracował technologię rozpoznawania twarzy integrującą sztuczną inteligencję w celu bezproblemowego rozpoznawania twarzy. Prawdopodobnie zastosowano technologię Realface w iPhonie X , pierwszy smartfon Apple z funkcjami rozpoznawania twarzy w postaci Face ID.

Jabłko w maju 2020 nabył NextVR , kalifornijska firma, która łączy rzeczywistość wirtualną ze sportem, muzyką i rozrywką, oferując doświadczenia VR do oglądania wydarzeń na żywo na zestawach VR od PlayStation, HTC, Oculus, Google, Microsoft i innych producentów.

Jabłko w sierpniu 2020 r. zakupionych startowych Spaces VR , firma zajmująca się projektowaniem doświadczeń w wirtualnej rzeczywistości, które ludzie mogą doświadczyć w centrach handlowych i innych miejscach, np. „Terminator Zbawienie: Walka o przyszłość”. Firma Spaces stworzyła także doświadczenia z rzeczywistością wirtualną dla aplikacji do komunikacji wideo, takich jak Zoom, które Apple może potencjalnie włączyć do przyszłego produktu AR/VR.

Patenty AR/VR

Apple złożyło wiele patentów, które odnoszą się bezpośrednio do zestawu słuchawkowego rzeczywistości wirtualnej, wszystkie sprzed kilku lat. Chociaż technologia prawdopodobnie rozwinęła się nieco poza te, dostarczają interesującego spojrzenia na pomysły, które Apple badał w przeszłości.

Zgłoszenie patentowe z 2008 r. dotyczyło dość podstawowego „osobistego systemu wyświetlania”, zaprojektowanego w celu naśladowania doświadczenia przebywania w kinie podczas oglądania wideo.

Drugi patent opisuje 'Head Mounted Display System' z 'silnikiem laserowym', który wyświetla obrazy na przezroczystym szklanym wyświetlaczu noszonym na oczach, podobnym do okularów. W tej konfiguracji zestaw słuchawkowy jest podłączony do przenośnego odtwarzacza wideo, takiego jak iPod, w celu zapewnienia mocy obliczeniowej.

Trzeci patent zgłoszony pierwotnie w 2008 r. miał podobny projekt i obejmował podobny do gogli zestaw słuchawkowy, który umożliwia użytkownikom oglądanie filmów i innych treści. Nakreślono dwa regulowane moduły optyczne ustawione w jednej linii z okiem użytkownika, które mogą zapewnić korekcję wzroku i umożliwić oglądanie treści 3D. Apple opisał to jako oferujące osobiste wrażenia z oglądania multimediów.

DO czwarty patent od 2008 roku obejmowała ramkę zestawu słuchawkowego wideo podobną do Google Glass, która pozwalała użytkownikowi wsunąć iPhone'a lub iPoda do zestawu słuchawkowego, aby zapewnić wideo. Zestaw słuchawkowy został opisany jako produkt do rzeczywistości rozszerzonej, który pozwala użytkownikom robić takie rzeczy, jak oglądanie wideo lub sprawdzanie poczty e-mail, jednocześnie obserwując otoczenie.

Oprócz patentów związanych z zestawem słuchawkowym, Apple złożył również wniosek o patenty opisujące inne sposoby implementacji funkcji wirtualnej i rozszerzonej rzeczywistości w swoich urządzeniach. Na przykład wniosek patentowy z 2009 r. obejmował wyświetlacze 3D wyposażone w kamery, których perspektywa zmieniała się w zależności od względnej pozycji użytkownika.

Taki wyświetlacz wykrywałby ruch głowy, umożliwiając użytkownikowi poruszanie głową w celu spojrzenia na obraz 3D pod różnymi kątami, a jednocześnie zawierałby elementy otoczenia użytkownika.

W patentach z lat 2010 i 2012 opisano wykorzystanie czujników ruchu do stworzenia interfejsu 3D dla urządzeń z systemem iOS przy użyciu technik rozszerzonej rzeczywistości. Apple opisał interfejs jako „wirtualny pokój”, w którym można poruszać się poprzez manipulowanie orientacją urządzenia za pomocą wbudowanych czujników lub gestów.

W 2011 roku firma Apple złożyła wniosek patentowy na funkcję rozszerzonej rzeczywistości w aplikacji Mapy związaną z mapowaniem odległości do ważnych punktów orientacyjnych. Dzięki kamerze użytkownik mógł spojrzeć na otaczający go obszar i uzyskać oszacowanie w czasie rzeczywistym odległości między dwoma punktami wraz z nakładkami odpowiednich informacji.

Patent zgłoszony w 2014 r. i przyznany w 2017 r. obejmuje mobilny system rzeczywistości rozszerzonej, który jest w stanie wykrywać obiekty w otoczeniu i nakładać na nie wirtualne informacje za pomocą kamer, ekranu i interfejsu użytkownika. Apple opisuje system jako idealny do wyświetlacza na głowę, ale pokazuje też, że jest używany w smartfonach.

Apple pracuje nad technologią rzeczywistości wirtualnej, która może być stosowane w pojazdach autonomicznych . Kilka patentów Apple opisuje system, który obejmuje samochodowy system rzeczywistości wirtualnej z zestawem słuchawkowym VR noszonym, aby zapewnić rozrywkę i łagodzić chorobę lokomocyjną związaną z zadaniami, takimi jak czytanie i praca, gdy pojazd jest w ruchu.

DO Lipiec 2020 zgłoszenie patentowe obejmuje możliwe metody wprowadzania danych za pomocą okularów Apple, opisując system, w którym okulary wykorzystują wykrywanie ciepła w podczerwieni, aby wykryć, kiedy ktoś dotyka obiektu ze świata rzeczywistego, dzięki czemu okulary mogą następnie wyświetlać elementy sterujące na powierzchni świata rzeczywistego.

Dzięki tej metodzie okulary Apple mogą wyświetlać w interfejsie sterowania AR na dowolny rzeczywisty obiekt w świecie rzeczywistym, aby uzyskać efekt nakładki rzeczywistości mieszanej.

Jabłko w lutym 2021 złożył szereg patentów związane z pracami nad podobno zestawem do rzeczywistości mieszanej, z patentami obejmującymi elementy projektu, regulację obiektywu, technologię śledzenia wzroku i oprogramowanie.

Firma Apple opracowała kilka metod, dzięki którym zestaw słuchawkowy jest wygodniejszy w noszeniu, a jednocześnie jest bezpieczny i blokuje światło, a ponadto istnieje szczegółowy system regulacji soczewek, który wykorzystuje płyn do płynnego przesuwania soczewek, aby dopasować dopasowanie do każdego użytkownika.

Apple opisuje również system śledzenia oczu, który wykorzystuje światło podczerwone do wykrywania pozycji, a także patent na to, jak dokumenty mogą być edytowane w wirtualnej przestrzeni 3D za pomocą zestawu słuchawkowego i wykrywania gestów.

Apple ma opatentowane systemy do nagrywania wideo z zestawu słuchawkowego, gdzie wbudowane czujniki śledzenia wzroku mogą wskazywać, gdzie dana osoba aktualnie patrzy, co może skierować wbudowaną kamerę do rejestrowania sceny, w której znajdują się oczy użytkownika, zamiast po prostu nagrywać co znajduje się przed użytkownikiem.

Kolejne zgłoszenie patentowe złożony w lutym 2021 r. wykazał, że Apple prowadzi badania nad urządzeniem montowanym na palec z szeregiem czujników i dotykowym sprzężeniem zwrotnym, które będzie używane jako urządzenie sterujące dla zestawu słuchawkowego rzeczywistości mieszanej.

Urządzenie sterujące ma kształt, który pozwala użytkownikom w naturalny sposób wyczuć obiekty w ich otoczeniu i może precyzyjnie określić sposób, w jaki użytkownik porusza palcem i wchodzi w interakcję z powierzchniami. Mówi się, że system jest tak dokładny, że może wykryć, jak mocno użytkownik naciska na powierzchnię i dokładny kierunek tej siły, dostarczając w odpowiedzi dotykowe sprzężenie zwrotne.

W połączeniu z zestawem słuchawkowym AR lub VR, Apple twierdzi, że to montowane na palcu urządzenie może „zapewnić użytkownikowi wrażenie interakcji na fizycznej klawiaturze, gdy użytkownik stuka palcem w powierzchnię stołu” lub „umożliwi użytkownikowi dostarczenie joysticka -type input” do gier przy użyciu wyłącznie ruchu opuszków palców użytkownika.

Data uruchomienia

Analityk Apple, Ming-Chi Kuo, powiedział w październiku 2021 r., że nadchodzący zestaw słuchawkowy do rzeczywistości mieszanej ma był opóźniony najwcześniej do końca 2022 r., a rozpoczęcie produkcji w czwartym kwartale 2022 r.

Bloomberg Uważa również, że zestaw słuchawkowy AR/VR, nad którym pracuje Apple, ukaże się w 2022 roku, podczas gdy opracowywane okulary AR pojawią się później. Informacja zasugerował, że zestaw słuchawkowy AR / VR zostanie wydany w 2022 roku, a następnie inteligentne okulary w 2023 roku, ale jest to wcześniejszy harmonogram, niż wskazują inne źródła dla produktu okularów.

Apple rzekomo ma opóźnienia w testowaniu inteligentnych okularów, nad którymi pracuje, co może prowadzić do opóźnień. Apple miał wejść w drugą fazę rozwoju okularów na początku 2021 roku, ale faza druga testów jeszcze się nie rozpoczęła, więc produkcja seryjna w pierwszym kwartale 2022 roku jest nie oczekiwany .

Analitycy Morgan Stanley powiedzieli niedawno, że zestaw słuchawkowy AR „zbliża się do startu” w oparciu o liczba patentów Apple opublikowało. Analitycy uważają, że portfel patentów Apple dla zestawu słuchawkowego AR/VR jest podobny do portfela patentów, które zbudował przed premierą Apple Watch.

Przyszłe plany AR/VR

Analityk Apple, Ming-Chi Kuo, uważa, że ​​Apple może planować „soczewki kontaktowe” rozszerzonej rzeczywistości, które może uruchomić gdzieś w latach 30. XX wieku.

Według Kuo soczewki przeniosą elektronikę z ery „informatyki widzialnej” do „przetwarzania niewidzialnego”. Obecnie nie ma „widoczności” soczewek kontaktowych i nie jest to gwarantowany produkt, który Apple opracuje.