Jabolčna očala

Govori se, da ima Apple skrivno ekipo več sto zaposlenih, ki delajo na projektih virtualne in razširjene resničnosti.

• da
• št

Appleov skrivni projekt razširjene in virtualne resničnosti

Vsebina

1. Appleov skrivni projekt razširjene in virtualne resničnosti
• Slušalke za mešano resničnost
• AR pametna očala
• iOS 14 AR pušča
• AR v Xcode
• Valve Partnerstvo?
• Druge govorice
2. Razširjena resničnost proti virtualni resničnosti
3. Applova ekipa VR/AR
• Zaposluje
• Pridobitve
4. AR / VR patenti
5. Datum zagona
6. Prihodnji načrti AR/VR
7. Časovna os Apple Glasses

Apple že več kot 10 let raziskuje tehnologije navidezne resničnosti in razširjene resničnosti na podlagi patentnih vlog, toda z naraščajočo priljubljenostjo navidezne in razširjene resničnosti z uvedbo ARKit-a, je Appleovo ukvarjanje vse resnejše in naj bi vodilo do AR/ Izdelek VR leta 2022.

Govori se, da ima Apple skrivno raziskovalno enoto z več sto zaposlenimi, ki delajo na AR in VR in raziskujejo načine, kako bi lahko nastajajoče tehnologije uporabili v prihodnjih Applovih izdelkih. Zaposlovanje VR/AR se je v zadnjih nekaj letih povečalo, Apple pa je pridobil več podjetij AR/VR, saj nadaljuje svoje delo v prostoru AR/VR.

Govori se, da naj bi Apple delal vsaj na tem dve Projekti AR, ki vključujejo slušalke z razširjeno resničnostjo, ki bodo izšle okoli leta 2022, čemur bo sledil elegantnejši par očal za razširjeno resničnost, ki bo prišel pozneje. Številne govorice so se osredotočile izključno na očala, kar je povzročilo nekaj zmede glede Applovih načrtov, vendar se zdi, da bodo AR/VR slušalke prvi predstavljeni izdelek.

Applov analitik Ming-Chi Kuo verjame, da so Applove slušalke z mešano resničnostjo bo prišel ven konec leta 2022 ali v začetku leta 2023, očala Apple pa bodo sledila leta 2025, čeprav drugi viri pravijo, da bodo očala prišla leta 2023. Slušalke so AR/VR, imenovana mešana resničnost, medtem ko so Applova očala razširjena resničnost.

Slušalke za mešano resničnost

Informacije in Bloomberg sta oba povedala, da Apple dela na pametnih očalih IN slušalkah AR/VR (tudi mešana resničnost), pri čemer bodo slušalke najprej prišle na trg, nato pa očala. Govori se, da so slušalke podobne Facebookovim slušalkam za navidezno resničnost Oculus Quest, vendar z elegantnejšo zasnovo, ki uporablja tkanine in lahke materiale, da zagotavlja udobje slušalk.

Rečeno je, da deluje dva zaslona z visoko ločljivostjo 8K in kamere za zaznavanje oči, ki bodo uporabnikom omogočile 'brati majhne črke' in 'videti druge ljudi, ki stojijo pred in za virtualnimi predmeti.' Slušalke bodo lahko preslikale površine, robove in dimenzije prostorov z 'večjo natančnostjo kot obstoječe naprave na trgu.' Imel bo naprednejši zaslon in čip, ki bo celo hitrejši od procesorja M1 v računalnikih Mac 2020.

Informacije februarja dejal, da bo poleg kamer za opazovanje zunanjega sveta opremljen z več kot ducatom kamer za sledenje gibanju rok, zasnova pa blokira periferni vid, da prepreči uhajanje svetlobe v vidno polje uporabnika. V zaslon bi lahko bil vgrajen tudi navzven obrnjen vizir, ki omogoča uporabniku, da pokaže grafiko drugim.

Elec trdi, da slušalke VR bodo imele mikro OLED zaslon visoke ločljivosti z do 3000 slikovnimi pikami na palec. Za pametna očala se je prej govorilo o mikro OLED zaslonu, ne pa tudi o slušalkah VR.

Applov analitik Ming-Chi Kuo je dejal, da prihajajo Applove slušalke mešane resničnosti bo vseboval 15 modulov optičnih kamer skupaj. Osem od 15 modulov kamere bo uporabljenih za pregledne izkušnje razširjene resničnosti, šest modulov bo uporabljenih za 'inovativno biometrijo', en modul kamere pa za zaznavanje okolja.

Kuo tudi verjame da bodo Applove slušalke opremljene z naprednim sistemom za sledenje očem, ki se uporablja za zagotavljanje intuitivne vizualne izkušnje, ki brezhibno deluje z zunanjim okoljem, skupaj z bolj intuitivnim delovanjem, ki ga je mogoče nadzorovati z gibi oči in zmanjšano računalniško obremenitev v obliki zmanjšanja ločljivost, kjer uporabnik ne išče.

Oblikovno je bilo za slušalke opisano, da imajo 'eleganten, ukrivljen vizir, pritrjen na obraz z mrežastim materialom in zamenljivimi naglavnimi trakovi.' En naglavni trak naj bi vseboval tehnologijo prostorskega zvoka, kot je AirPods Pro, za izkušnjo prostorskega zvoka, drugi pa zagotavlja dodatno življenjsko dobo baterije, ko ste na poti. Apple dela na več načinih nadzora, vključno z 'naprstnikom podobno napravo, ki jo je treba nositi na prstu osebe.' Slušalke bi se lahko odzvale tudi na gibe oči uporabnika in kretnje rok, medtem ko je en prototip slušalk vseboval tudi fizično številčnico na strani vizirja. Apple je testiral tudi vnos Siri.

Apple želi ustvarite App Store za slušalke, s poudarkom na igranju iger, pretakanju video vsebine in videokonference. Opisal ga je Bloomberg kot 'vseobsegajoče 3-D digitalno okolje', zasnovano za igranje iger, gledanje videa in komunikacijo.

Trenutni prototipi slušalk so rekli tehta okoli 200 do 300 gramov, vendar namerava Apple končno težo zmanjšati na 100 do 200 gramov, če je mogoče rešiti tehnične težave, zaradi česar bi bile slušalke lažje od obstoječih naprav VR. Slušalke bodo prenosne z neodvisnim napajanjem in shranjevanjem, vendar ne bodo 'mobilne' kot iPhone. Zagotavljal bo 'poglobljeno izkušnjo', ki bo presegla trenutno razpoložljive izdelke VR, in bi ga lahko integrirali z Apple TV+ in Apple Arcade.

Funkcionalnost razširjene resničnosti za slušalke je 'bolj omejena' in čeprav je izdaja načrtovana za leto 2022, naj bi Apple naletel na več razvojnih ovir in ima 'konservativne' ocene prodaje za napravo. Apple pričakuje, da bo prodal približno 180.000 enot, kar je enako dražjim napravam, kot je Mac Pro. Slušalke naj bi bile veliko dražje od slušalk drugih podjetij in Informacije pravi, da je Apple razpravljal o ceni slušalk na približno 3000 $.

Prvotna zasnova je vključevala ventilator in zmogljive procesorje, zaradi česar je bila naprava pretežka. Apple naj bi se odločil, da bo slušalke približal obrazu, da bi zmanjšal velikost. Uporabniki med uporabo slušalk ne bodo mogli nositi očal, zato je Apple ustvaril sistem, kjer je mogoče leče na recept vstaviti preko zaslonov VR.

Kuo meni, da slušalke bo uporabljal hibridno zasnovo Fresnelove leče , ki obsega tri zložene leče na oko iz lahke plastike. Namen je zasnova omogočiti ultra kratke goriščne razdalje in izboljšano optično zmogljivost ter široko vidno polje ter ohraniti težo slušalk pod 150 gramov.

Kar zadeva moč, bodo prihajajoče slušalke AR/VR vsebovale a vrhunski glavni procesor to je podobno čipu M1, ki ga je Apple lani predstavil za svoje Apple silikonske računalnike Mac, skupaj s procesorjem nižjega cenovnega razreda za upravljanje vidikov naprave, povezanih s senzorji.

Applov analitik Ming-Chi Kuo trdi, da bo lahko deloval neodvisno, ne da bi se zanašal na Mac ali iPhone, kar je odstopanje od prejšnjih govoric, ki so govorile, da bo potrebujejo privezo na iPhone. Zmogljiv čip v slušalkah bo poganjal par Sonyjevih zaslonov 4K Micro OLED in šest do osem optičnih modulov za zagotavljanje funkcionalnosti, ki temelji na AR. Apple ima dokončano delo na SoC za slušalke AR/VR in bo optimiziral za brezžični prenos podatkov, stiskanje in dekompresijo videa ter energijsko učinkovitost za maksimalno življenjsko dobo baterije in nima nevronskega motorja kot nekateri drugi Applovi čipi.

Applove prihajajoče slušalke za mešano resničnost bodo ponujajo WiFi 6E podporo, ki je najnovejša specifikacija WiFi. Apple naj bi načrtoval implementacijo WiFi 6E, da bi zagotovil vrhunsko, impresivno izkušnjo s solidno brezžično povezljivostjo. WiFi 6E ima vse prednosti WiFi 6, vendar doda 6GHz spekter poleg pasov 2,4GHz in 5GHz za večjo pasovno širino in manj motenj med napravami.

Upodobitve slušalk mešane resničnosti

Oblikovalec Antonio De Rosa ima razvili 3D upodabljanje na podlagi podrobnosti, ki jih delijo Informacije , ki nam daje pogled na to, kako bi lahko izgledale Applove slušalke z mešano resničnostjo na podlagi trenutnih govoric.

Informacije je slušalke opisal kot 'eleganten, ukrivljen vizir, pritrjen na obraz z mrežastim materialom in zamenljivimi naglavnimi trakovi', na voljo v več barvah.

Zgodnji prototipi slušalk

Prejšnje govorice iz CNET leta 2018 je predlagal, da Apple dela na zmogljivih slušalkah AR/VR z zaslonom 8K za vsako oko, ki bi bil odvezan bodisi z računalnikom ali pametnim telefonom, in bi deloval z aplikacijami za navidezno in razširjeno resničnost.

Namesto da bi se zanašali na povezavo s pametnim telefonom ali računalnikom, slušalke CNET opisano, bi se povezal v 'namensko škatlo' z uporabo hitre brezžične tehnologije kratkega dosega, imenovane 60GHz WiGig. Škatlo bi poganjal 5-nanometrski Apple procesor po meri, ki je 'zmogljivejši od vsega, kar je trenutno na voljo.' Škatla je očitno podobna stolpu osebnega računalnika, vendar 'ne bo pravi računalnik Mac.' Ta škatlasta oblika je bila predmet zgodnjih govoric in je morda prototip, ki je bil od takrat opuščen zaradi elegantnejše različice, ki jo govorice zdaj opisujejo.

Notranja nesoglasja naj bi sčasoma oblikovala in spremenila Applove cilje glede slušalk AR. Apple je bil sprva ciljati za izjemno zmogljiv sistem, ki je bil opremljen z vozliščem za namestitev procesorja, kot je opisano zgoraj, vendar Jony Ive, ki je od takrat zapustil podjetje, ni želel prodati naprave, ki bi zahtevala ločeno, stacionarno napravo za popolno funkcionalnost.

Ive je namesto tega želel slušalke z manj zmogljivo tehnologijo, ki bi jih lahko vgradili neposredno v napravo, toda vodja ekipe AR/VR, Mike Rockwell, je želel zmogljivejšo napravo. To je bil spor, ki je trajal več mesecev, in Tim Cook se je na koncu postavil na stran Ivea. Ive naj bi imel raje pametna očala AR, ki so prav tako v izdelavi.

AR pametna očala

Apple dela na kompletu očal za razširjeno resničnost, ki jih Leaker Jon Prosser je predlagal Apple bo imenoval 'Apple Glass'. To ime bi bila nenavadna izbira glede na podobnost z imenom Google Glass, izdelek, ki je obstajal že dolgo preden je Applovo delo na očalih AR prišlo na dan, zato morda ne bo natančno.

Očala naj bi bila podobna običajnim očalom, obe leči pa imata zaslone, s katerimi je mogoče komunicirati s kretnjami. Na voljo bo možnost nakupa očal brez leč na recept po možni začetni ceni 499 $, leče na recept pa so na voljo za doplačilo.

Po navedbah Bloomberg , očala so notri zgodnja faza razvoja , celo prej kot slušalke AR/VR, na katerih dela Apple. Očala so bila opisana kot 'pred nekaj leti', čeprav jih je Apple sprva nameraval izdati že leta 2023. Trenutni prototip spominja na vrhunska sončna očala z debelimi okvirji, v katerih so baterija in čipi.

Apple je menda načrtuje uporabo 'najnovejši' mikrozasloni OLED, ki jih je dobavil Sony za svoja očala za razširjeno resničnost, o katerih se govori. Sonyjevi mikrozasloni OLED imajo izjemno hitro odzivnost, izjemno visok kontrast, širok barvni razpon, visoko svetilnost, nizko odbojnost in integrirane gonilnike za tanek in lahek dizajn. Očala naj bi imela 0,5-palčni zaslon z ločljivostjo 1280x960.

Kuo pričakuje, da se bodo očala AR tržila kot dodatna oprema za iPhone in bodo z očali prevzela predvsem vlogo zaslona pri prenosu računalništva, mreženja in pozicioniranja na iPhone. zagotavljanje prvo mobilno 'optično prosojno izkušnjo AR'. Ponudba očal AR kot dodatka za iPhone bo Apple omogočila, da ostanejo vitka in lahka. Prosser pravi, da bodo očala videti podobna Ray-Ban Wayfarers ali očala, ki jih nosi Tim Cook.

Bloomberg je dejal, da bodo Apple očala poganjala 'rOS' ali realnostni operacijski sistem. rOS naj bi temeljil na iOS-u, operacijskem sistemu, ki deluje na iPhonu. Za slušalke AR Apple razvija čip 'sistem na paketu', podoben tistemu v Apple Watch, čeprav se bo zanašal na iPhone, kot je omenjeno zgoraj.

Med razvojem slušalk AR je Apple obravnaval plošče na dotik, glasovno aktivacijo in kretnje glave kot vnosne metode, v prototipu pa se razvija vrsta aplikacij od preslikavanja do pošiljanja sporočil. Navidezne sejne sobe in 360-stopinjsko predvajanje videa sta tudi koncepta, ki se raziskuje.

Mislil sem, da so bile prve govorice lansiranja leta 2020 , Bloomberg verjame AR očala bi lahko prišel so leta od izdaje, slušalke VR pa bodo izšle leta 2022. Poročilo iz DigiTimes predlagal, da bodo Applova očala AR na voljo leta 2021, Applov analitik Ming-Chi Kuo pa pričakuje lansiranje leta 2022 najprej .

Leaker Jon Prosser verjame, da bo Apple svoja očala AR predstavil marca ali junija 2021, vendar se zdi to netočno glede na ocene iz Bloomberg in Kuo.

Prosser tudi pravi, da Apple dela na omejeni izdaji 'Steve Jobs Heritage' različice pametnih očal, ki so zasnovana tako, da izgledajo kot okrogla očala brez okvirja, ki jih je nekoč nosil Steve Jobs, vendar Bloomberg 's Mark Gurman je to govorico poimenoval 'popolna fikcija.'

Apple je delo s TSMC razviti 'ultranapredne' mikro OLED zaslone, ki se bodo uporabljali v prihajajočih Applovih napravah z razširjeno resničnostjo, kot so pametna očala. Zasloni naj bi bili manjši od enega palca.

Zasloni Micro OLED so vgrajeni neposredno na rezine čipov in ne na stekleni substrat, kar ima za posledico tanjši, manjši in energetsko učinkovitejši zasloni. Razvoj mikro OLED zaslonov naj bi bil v fazi poskusne proizvodnje in bo minilo nekaj let, preden bosta Apple in TSMC pripravljena na množično proizvodnjo, zaradi česar bi bili ti zasloni primerni za Apple Glasses, za katera se govori, da bodo na voljo nekje okoli leta 2023.

Od začetka leta 2021 Apple pravijo, da je vstopa v 'drugo fazo razvoja' prototipa očal za razširjeno resničnost. Očala naj bi v nekaj mesecih šla skozi tretjo fazo razvoja, nato pa, ko bo zasnova prototipa končana, bo nosljivo šlo skozi šest do devetmesečno obdobje tehničnega preverjanja.

iOS 14 AR pušča

Koda in slike najdemo v iOS 14 potrjujejo Applovo delo na slušalkah AR ali VR z odkrito fotografijo, ki prikazuje krmilnik generičnega videza za slušalke, ki so po zasnovi podobne slušalkam HTC Vive Focus. Apple uporablja strojno opremo HTC Vive za namene internega testiranja.

Apple preizkuša svojo opremo AR z aplikacijo za iOS 14, imenovano Gobi, skupaj s kodami QR za testiranje izkušenj razširjene resničnosti. Ena od teh izkušenj razširjene resničnosti je igra kegljanja na pešpoti, ki se sproži na določenem prehodu za pešce v Sunnyvaleu v Kaliforniji.

AR v Xcode

Koda v Xcode 11 potrdi Appleovo delo na nekakšnih AR slušalkah. Obstajajo sklicevanja na testne naprave s kodnim imenom plus ogrodja in sistemsko lupino, povezane s temi napravami. Reference kažejo, da Apple razvija podporo za izkušnjo AR na obrazu, ki je podobna Googlovi Daydream.

Valve Partnerstvo?

Po tajvanski strani DigiTimes , Apple sodeluje z razvijalec iger Valve zaradi govoric o slušalkah AR. Valve je aprila 2019 izdal svoje prve slušalke VR, Valve Index.

Valve je pred tem sodeloval z Appleom, da bi v macOS High Sierra prinesel domačo podporo za slušalke VR, pri čemer je podporo za eGPU izkoristil z različico programske opreme SteamVR za Mac.

Druge govorice

Novembra 2017 je Apple kupil Vrvano, podjetje, ki je razvilo slušalke mešane resničnosti z imenom Totem. Vrvanovo tehnologijo bi lahko potencialno uporabili v prihodnjih slušalkah Apple. Apple je nakupu Vrvane sledil s prevzemom podjetja Akonia Holographics, ki izdeluje leče za pametna očala AR.

Govorice so tudi namigovale, da bi Apple lahko svoje raziskave razširjene resničnosti vključil v svoj tekoči avtomobilski projekt kot del programskega sistema v avtomobilu, ki bi lahko vključeval prikazovalnik glave ali druge funkcije.

Opomba: Vidite napako v tem povzetku ali želite ponuditi povratne informacije? .

Razširjena resničnost proti virtualni resničnosti

Obogatena resničnost (AR) in navidezna resničnost (VR) sta podobni tehnologiji, vendar je med njima velika razlika in njune potencialne aplikacije se zelo razlikujejo. Virtualna resničnost se nanaša na popolno poglobljeno izkušnjo v virtualnem svetu, medtem ko se razširjena resničnost nanaša na spremenjen pogled na resnični svet.

Razliko je mogoče najbolje povzeti s primerjavo dveh izdelkov, enega AR in enega VR. Google steklo , Googlov zdaj že nedelujoči komplet pametnih očal, je primer razširjene resničnosti. Obrabljeno Google Glass je uporabnikom omogočalo ogled sveta, kakršen je, vendar je ponujalo heads-up zaslon, ki je prekrival ustrezne računalniško posredovane informacije nad tem resničnim pogledom na svet, kot so lokalno vreme, zemljevidi in obvestila.

To je podobno tistemu, kar naj bi Apple delal s svojimi govoricami 'pametnimi očali'.

V primerjavi s Facebookom Oculus Rift so slušalke za navidezno resničnost, ki ponujajo poglobljeno vizualno izkušnjo, ki resničnega sveta ne dopolnjuje z dodatnimi senzoričnimi informacijami – v celoti nadomesti resnični svet s simuliranim svetom.

Obogatena resničnost zagotavlja računalniško ustvarjen kontekst in informacije o svetu okoli nas, hkrati pa nam omogoča interakcijo z našo okolico, medtem ko je virtualna resničnost zasnovana tako, da nas izolira od naše okolice, da lahko komuniciramo z izmišljenimi svetovi.

kako namestiti posnetek zaslona na iphone 11

Potencialne aplikacije za oba so zelo različne. Navidezna resničnost je posebej osredotočena na poglobljeno porabo vsebine, saj daje uporabniku občutek, kot da dejansko doživlja dogajanje v simuliranem svetu z vizualnimi, otipnimi in zvočnimi povratnimi informacijami. Navidezna resničnost je trenutno v veliki meri povezana z igranjem iger, vendar ima tudi potencial za poustvarjanje izkušenj iz resničnega sveta za namene izobraževanja ali usposabljanja.

Obogatena resničnost ni odvisna od poglobljene vsebine in čeprav je manj vznemirljiva, ker povečuje resničnost, namesto da bi jo nadomeščala, ima širši nabor potencialnih aplikacij. Pravzaprav so aplikacije in igre razširjene resničnosti na voljo v iOS 11 hvala ARKit.

Z ARKit lahko naprava iOS identificira površino, kot je miza, nato pa ji lahko dodamo navidezne predmete. Zaradi računalniške moči iPhone in iPad so zmogljivosti razširjene resničnosti ARKit impresivne. ARKit se že uporablja za ustvarjanje velikega nabora aplikacij in iger, ki združujejo digitalne predmete z resničnim svetom.

igraj

Apple si lahko prizadeva za izdelek, ki deluje tako z razširjeno kot z virtualno resničnostjo, kot kažejo nedavne govorice, ki kažejo na delo na slušalkah AR/VR. Tak izdelek bi lahko uporabljali tako za resne aplikacije navidezne resničnosti kot tudi za izkušnje razširjene resničnosti in bi bil podoben Microsoft HoloLensu.

Applova ekipa VR/AR

Appleovo delo na področju virtualne in razširjene resničnosti sega več let nazaj, vendar so se govorice začele pojavljati marca 2015, ko so prišle novice, da ima Apple majhno ekipo ljudi, ki dela na razširjeni resničnosti. Leta 2015 in v začetku leta 2016 se je Appleova ekipa povečala, saj je podjetje najelo zaposlene s strokovnim znanjem o tehnologiji AR/VR in opravilo več povezanih pridobitev.

Applova ekipa AR/VR vključuje več sto inženirjev iz celega Applea, ki imajo vsi strokovno znanje o virtualni in razširjeni resničnosti. Ekipa deluje v pisarniških parkih tako v Cupertinu kot v Sunnyvaleu, Apple pa raziskuje več projektov strojne in programske opreme pod kodnim imenom »T288«.

Applova ekipa za razširjeno resničnost združuje 'močne lastnosti svojih veteranov strojne in programske opreme', vodi pa jo Mike Rockwell, ki prihaja iz Dolbyja. Nekdanji zaposleni v podjetjih, kot so Oculus, HoloLens, Amazon (iz ekipe VR), podjetje za 3D animacijo Weta Digital in Lucasfilm, delajo na AR pri Applu.

Nekdanji Appleov vodja inženiringa strojne opreme Dan Riccio je januarja 2021 prestopil v novo vlogo kjer je nadzira Applovo delo na slušalkah AR/VR. Projekt se je soočil z razvojnimi izzivi in ​​Apple-ovi direktorji verjamejo, da bi lahko Ricciov fokus pomagal.

Zaposluje

Eden najvidnejših Applovih najemnikov AR/VR je bil profesor računalništva Doug Bowman, ki je pred tem vodil Center za interakcijo med človekom in računalnikom pri Virginia Tech. Specializiran je za oblikovanje tridimenzionalnih uporabniških vmesnikov in je napisal knjigo na to temo, ki pokriva 3D vmesnike in prednosti poglobljenih virtualnih okolij. Ima strokovno znanje tako z virtualno kot razširjeno resničnostjo.

Apple je najel tudi zaposlene, ki so delali na izdelkih za virtualno ali razširjeno resničnost pri Microsoftu in Lytro. Nekateri nedavni zaposleni naj bi bili iz Microsoftove ekipe HoloLens, drugi pa so delali v Lytro, podjetju, ki se ukvarja s kamero, ki lahko združuje dogajanje v živo in računalniško grafiko za izkušnjo VR v živo. Zaposleni iz ekipe HoloLens bi imeli izkušnje z ustvarjanjem naprednih slušalk za razširjeno resničnost.

360-stopinjski fotoaparat Lytro Immerge

Zeyu Li , ki je služil kot glavni inženir računalniškega vida pri Magic Leap (zagonsko podjetje, ki razvija zaslon AR/VR na glavi), zdaj dela pri Applu kot 'višji inženir algoritma za računalniški vid.'

Yury Petrov , nekdanji raziskovalec pri Oculusu, ki je v lasti Facebooka, zdaj služi kot 'raziskovalni znanstvenik' pri Applu. Glede na njegov profil na LinkedInu je Petrov preučeval izkušnje z virtualno resničnostjo, izdelal prototip optike in razvijal programsko opremo za računalniško simulacijo.

Strokovnjak za razširjeno resničnost Jeff Norris se je Appleu pridružil aprila 2017 kot višji menedžer, ki dela v skupini za razširjeno resničnost podjetja. Norris je ustanovil Inovacijski urad misijskih operacij in JPL Ops Lab pri NASA. Vodil je več projektov, osredotočenih na interakcijo človek-sistem, s poudarkom na virtualni in razširjeni resničnosti.

Apple je maja 2018 2018 najel Sterlinga Crispina, ki je razvil aplikacijo za slikanje za mobilne slušalke VR. »Cyber ​​Paint« omogoča uporabnikom slušalk VR ustvarjanje 2D 260-stopinjskih slik na Oculus Go, Daydream, GearVR in Vive Focus. Crispinova stran LinkedIn pravi, da dela kot 'raziskovalec prototipov', kar kaže, da se je pridružil ekipi, za katero se govori, da dela na tehnologiji slušalk VR/AR.

Apple je decembra 2018 najel nekdanjega višjega oblikovalca Tesle in Microsofta HoloLens Andrewa Kima in glede na njegovo zgodovino bi lahko delal na Applovem projektu očal AR, o katerem se govori, ali njegovem prihajajočem avtomobilu Apple, ki naj bi bil v razvoju.

Ustanovitelj Jaunt VR Arthur van Hoff se je Applu pridružil kot višji arhitekt aprila 2019. Pred delom v Applu je njegovo podjetje ustvarili strojno opremo VR , vključno s kamero 3D VR v vrednosti 100.000 $, imenovano Jaunt One. Preden je van Hoff zapustil podjetje, je Jaunt spodletel in se je preusmeril na izkušnje AR.

Z Applovo ekipo, ki obsega stotine zaposlenih, obstaja veliko drugih strokovnjakov za virtualno resničnost, ki so šli pod radar. Na LinkedInu je več programskih inženirjev z izkušnjami navidezne resničnosti, ki jih zaposluje Apple, vendar ni jasno, ali delajo v skrivni skupini AR/VR.

Apple je julija 2019 preselil Kim Vorrath, enega od svojih izvršnih direktorjev programske opreme, na slušalke za razširjeno resničnost divizije, da 'vnese nekaj reda' v ekipo. Vorrath je v skupini za razvoj programske opreme že 15 let nadzoroval upravljanje programov in je bil opisan kot 'močna sila', ki skrbi, da zaposleni spoštujejo roke, hkrati pa odkrijejo napake.

Pridobitve

Mnogi člani Applove ekipe AR/VR so se morda pridružili podjetju s prevzemi. Od leta 2015 je Apple kupil več podjetij, ki so ustvarila izdelke, povezane z AR/VR, in nekateri njegovi nakupi AR/VR segajo celo več let nazaj.

Apple je avgusta 2018 kupil Akonia Holographics, startup, ki izdeluje leče za očala razširjene resničnosti. Akonia Holographics oglašuje „prvo komercialno dostopno holografsko odsevno in valovodno optiko na svetu za prosojne zaslonske elemente v pametnih očalih.“

Zasloni, ki jih izdeluje, naj bi uporabljali tehnologijo podjetja HoloMirror za 'izredno jasno, polno barvno zmogljivost', da bi omogočili 'najtanjše in najlažje zaslone, ki se nosijo z glavo na svetu.'

Novembra 2017 je Apple kupil Vrvano, podjetje, ki je razvilo slušalke mešane resničnosti z imenom Totem. Totem, ki ni bil nikoli objavljen v javnosti, je bil zasnovan tako, da združuje tehnologije razširjene in navidezne resničnosti v eni slušalki ter združuje popolne zmogljivosti VR s prehodnimi kamerami, da se omogoči zaslonsko zasnovane funkcije razširjene resničnosti.

Totem je v bistvu uporabil nabor kamer za projiciranje slik resničnega sveta v svoj vgrajeni zaslon OLED 1440p, kar je nekoliko edinstven pristop, ki ga je ločil od konkurenčnih izdelkov, kot je Microsoftov HoloLens, ki uporablja pregleden zaslon za združevanje virtualne in razširjene resničnosti. Apple bi morda nameraval uporabiti nekaj Totemove tehnologije v prihodnjem izdelku.

Apple je leta 2013 kupil izraelsko podjetje za 3D zaznavanje telesa PrimeSense, kar je sprožilo špekulacije, da bodo zmožnosti, ki temeljijo na gibanju, implementirane v Apple TV. Tehnologija globine 3D PrimeSense in zmogljivosti zaznavanja gibanja so bile uporabljene v Microsoftovi začetni platformi Kinect.

PrimeSense je uporabil skoraj IR svetlobo za projiciranje nevidne svetlobe v sobo ali prizor, ki jo nato prebere slikovni senzor CMOS, da ustvari navidezno podobo predmeta ali osebe. To omogoča nadzor na podlagi gibanja za vmesnike programske opreme, lahko pa tudi stvari, kot so merjenje navideznih objektov in zagotavljanje relativnih razdalj ali velikosti, kar je uporabno za aplikacije razširjene resničnosti, kot so interaktivne igre, kartiranje v zaprtih prostorih in drugo. Tehnologija PrimeSense lahko ustvari tudi zelo natančne 360-stopinjske preglede ljudi in predmetov, kar je potencialno uporabno za aplikacije navidezne resničnosti.

Apple je maja 2015 kupil zagonsko podjetje Metaio za razširjeno resničnost. Metaio je izdelal izdelek, imenovan Metaio Creator, ki bi ga lahko uporabili za ustvarjanje scenarijev razširjene resničnosti v samo nekaj minutah. Preden jo je kupil Apple, so programsko opremo Metaio uporabljala podjetja, kot je Ferrari, ki je ustvarila razstavni prostor razširjene resničnosti.

Tehnologija Metaio je bila uporabljena tudi v Berlinu, da bi ljudem, ki obiščejo mesto berlinskega zidu, omogočili uporabo pametnega telefona ali tablice, da bi videli, kako je bilo območje videti, ko je Berlinski zid še stal. Tehnologija Metaio je tista, ki bi jo lahko uporabili za implementacijo zmogljivosti razširjene resničnosti v Applove aplikacije, kot so Zemljevidi.

Apple je Faceshift kupil avgusta 2015, kar je pomenilo njegov drugi nakup razširjene resničnosti leta 2015. Preden ga je Apple kupil, je Faceshift sodeloval s studii za igre in animacije na tehnologiji, ki je bila zasnovana za hitro in natančno zajemanje obraznih izrazov s pomočjo 3D senzorjev in jih preoblikovala v animirane obraze v v realnem času. Faceshift je delal tudi na potrošniško usmerjenem izdelku, ki bi ljudem omogočil, da svoje obraze preoblikujejo v risanke ali obraze pošasti v realnem času v Skypu.

Tehnologija Faceshift ima široko paleto možnih primerov uporabe in zdi se, da Apple uporablja to funkcijo za napajanje Animojija v iPhone X.

Emotient, podjetje, ki je izdelalo orodja za analizo izraza obraza, je Apple kupil januarja 2016. Emotientova tehnologija uporablja umetno inteligenco in strojno učenje za branje človeških čustev, funkcije, ki so jih oglaševalci v resničnem svetu uporabljali za določanje čustvenih reakcij na oglasi.

Obstaja na desetine stvari, ki bi jih Apple lahko naredil z Emotientom, od boljšega zaznavanja obraza v aplikaciji Photos do analiziranja občutkov strank v maloprodajnih trgovinah Apple do odklepanja naprav iOS, vendar ima tudi potencialno uporabo AR/VR. Tako kot Faceshift bi se lahko tehnologija Emotient uporabljala za analizo in preoblikovanje obraznih izrazov za ustvarjanje virtualnih avatarjev, uporabnih za namene družbenih medijev in igre. Za Animoji je bila verjetno uporabljena tehnologija emotientov.

Flyby Media, kupljeno v začetku leta 2016, je še eno podjetje, ki je delalo na razširjeni resničnosti. Leteti mimo ustvaril aplikacijo ki je deloval z Googlovim pametnim telefonom Project Tango, opremljenim s 3D senzorji, in omogoča, da se sporočila pripnejo predmetom iz resničnega sveta in si jih drugi ogledajo z eno od Googlovih naprav.

Oseba bi lahko na primer 'skenirala' znamenitost, kot je most Golden Gate v San Franciscu, in ji napisala sporočilo. Oseba, ki kasneje obišče most, bi lahko nato skenirala most z aplikacijo Flyby, da bi videla sporočilo. Aplikacija Flyby je verjetno pritegnila pozornost Appla, ker je lahko prepoznala in razumela različne predmete, ki so bili skenirani, tehnologijo, ki bi jo lahko Apple uporabljal na različne načine v aplikacijah, kot so Fotografije in Zemljevidi.

Februarja 2017 je Apple kupil RealFace, podjetje za kibernetsko varnost in strojno učenje, ki je specializirano za tehnologijo za prepoznavanje obrazov, ki bi jo lahko uporabili za prihodnje funkcije razširjene resničnosti.

RealFace je razvil tehnologijo za prepoznavanje obrazov, ki vključuje umetno inteligenco za prepoznavanje obrazov brez trenja. Verjetno je bila uporabljena tehnologija Realface v iPhonu X , prvi Applov pametni telefon z zmožnostmi prepoznavanja obraza v obliki Face ID.

Apple maja 2020 pridobil NextVR , podjetje s sedežem v Kaliforniji, ki je združilo navidezno resničnost s športom, glasbo in zabavo ter ponuja izkušnje VR za gledanje dogodkov v živo na slušalkah VR PlayStation, HTC, Oculus, Google, Microsoft in drugih proizvajalcev.

Apple avgusta 2020 kupil VR startup Spaces , podjetje, ki je zasnovalo izkušnje z navidezno resničnostjo, ki bi jih ljudje lahko izkusili v nakupovalnih središčih in na drugih lokacijah, kot je 'Terminator Salvation: Fight for the Future'. Spaces je ustvaril tudi izkušnje navidezne resničnosti za aplikacije za video komunikacijo, kot je Zoom, kar bi lahko Apple potencialno vključil v prihodnji izdelek AR/VR.

AR / VR patenti

Apple je vložil več patentov, ki se nanašajo neposredno na slušalke za navidezno resničnost, vsi pa segajo več let nazaj. Čeprav je tehnologija verjetno nekoliko napredovala nad temi, ponujajo zanimiv pogled na ideje, ki jih je Apple raziskoval v preteklosti.

Patentna prijava iz leta 2008 je zajemala dokaj osnovni 'osebni prikazni sistem', zasnovan tako, da posnema izkušnjo v kinu med gledanjem videa.

Drugi patent je opisoval 'sistem za prikazovanje na glavi' z 'laserskim motorjem', ki projicira slike na prozorni stekleni zaslon, ki se nosi nad očmi, podobno kot očala. V tej konfiguraciji so slušalke povezane z ročnim video predvajalnikom, kot je iPod, da zagotovijo procesorsko moč.

Tretji patent, ki je bil prvotno vložen leta 2008, je bil po zasnovi podoben, saj je zajemal video slušalke, podobne očalom, ki so bile zasnovane tako, da uporabnikom omogočajo gledanje filmov in druge vsebine. Orisal je dva nastavljiva optična modula, poravnana z očesom uporabnika, ki bi lahko zagotavljala korekcijo vida in omogočala ogled 3D vsebin. Apple je to opisal kot osebno izkušnjo gledanja medijev.

TO četrti patent od leta 2008 je pokrival okvir za video slušalke, podoben Google Glass, ki bi uporabniku omogočil, da svoj iPhone ali iPod potisne v slušalke, da zagotovi video. Slušalke so bile opisane kot izdelek razširjene resničnosti, ki bi uporabnikom omogočal stvari, kot so gledanje videoposnetkov ali preverjanje e-pošte, hkrati pa pazili na okolico.

Poleg patentov, povezanih s slušalkami, je Apple vložil tudi patente, ki opisujejo druge načine, kako bi lahko funkcije navidezne in razširjene resničnosti implementirali v njegove naprave. Patentna prijava iz leta 2009 je na primer pokrivala 3D zaslone, opremljene s kamero, ki bi se glede na relativni položaj uporabnika premaknili v perspektivi.

Takšen zaslon bi zaznal gibanje glave, kar bi uporabniku omogočilo premikanje glave in pogled na 3D sliko iz različnih zornih kotov, hkrati pa bi vključeval elemente uporabnikovega okolja.

Patenti iz let 2010 in 2012 opisujejo uporabo senzorjev gibanja za ustvarjanje 3D vmesnika za naprave iOS z uporabo tehnik razširjene resničnosti. Apple je vmesnik opisal kot 'navidezno sobo', po kateri se premikate z manipuliranjem orientacije naprave prek vgrajenih senzorjev ali s potezami.

Leta 2011 je Apple vložil patent za funkcijo razširjene resničnosti v aplikaciji Zemljevidi, povezano s preslikavo razdalje do pomembnih znamenitosti. S kamero si lahko uporabnik ogleda območje okoli sebe in v realnem času dobi ocene razdalje med dvema točkama skupaj s prekrivanjem ustreznih informacij.

Patent, vložen leta 2014 in podeljen leta 2017, zajema mobilni sistem razširjene resničnosti, ki lahko zaznava predmete v okolju in jih prekriva z virtualnimi informacijami z uporabo kamer, zaslona in uporabniškega vmesnika. Apple sistem opisuje kot idealen za zaslon na glavi, kaže pa tudi, da se uporablja v pametnih telefonih.

Apple se ukvarja s tehnologijo virtualne resničnosti, ki bi lahko bila uporabljajo v avtonomnih vozilih . Več Applovih patentov opisuje sistem, ki vključuje sistem virtualne resničnosti v avtomobilu s slušalkami VR, ki se uporabljajo za zabavo in ublažitev avtomobilske slabosti pri opravilih, kot sta branje in delo, medtem ko je vozilo v gibanju.

TO julija 2020 patentna prijava pokriva možne metode vnosa z Apple Glasses in opisuje sistem, pri katerem očala uporabljajo infrardeče zaznavanje toplote, da zaznajo, kdaj se nekdo dotakne predmeta iz resničnega sveta, kar omogoča, da očala nato projicirajo kontrole na površino resničnega sveta.

S to metodo bi lahko Apple Glasses v nadzornem vmesniku AR projicirali na kateri koli dejanski predmet v resničnem svetu za učinek prekrivanja mešane resničnosti.

Apple februarja 2021 prijavil številne patente povezano z njegovim delom na slušalkah za mešano resničnost, o katerih se govori, s patenti, ki zajemajo elemente oblikovanja, prilagajanje leč, tehnologijo za sledenje očem in programsko opremo.

Apple je razvil več metod za udobnejše nošenje slušalk, hkrati pa jih ohranja varno in blokira svetlobo, poleg tega pa je na voljo podroben sistem za nastavitev leč, ki uporablja tekočino za nemoteno premikanje leč, da je prileganje prilagojeno vsakemu uporabniku.

Apple podrobno opisuje tudi sistem za sledenje očem, ki uporablja infrardečo svetlobo za zaznavanje položaja, obstaja pa tudi patent o tem, kako je mogoče dokumente urejati v virtualnem 3D prostoru z uporabo slušalk in zaznavanja potez.

Apple ima patentirani sistemi za snemanje videa iz slušalk, kjer bi lahko vgrajeni senzorji za sledenje pogleda zagotovili indikacijo, kam oseba trenutno gleda, kar bi lahko usmerilo vgrajeno kamero, da posname prizor, kjer so nameščene oči uporabnika, namesto da bi preprosto snemal kaj je pred uporabnikom.

Še ena patentna prijava februarja 2021 je pokazala, da Apple raziskuje napravo na prstu z vrsto senzorjev in haptičnih povratnih informacij, ki naj bi se uporabljala kot nadzorna naprava za slušalke z mešano resničnostjo.

Krmilna naprava ima obliko, ki uporabnikom omogoča naravno občutenje predmetov v svoji okolici in lahko natančno ugotovi način, na katerega uporabnik premika prst in interakcijo s površinami. Sistem naj bi bil tako natančen, da lahko zazna, kako močno uporabnik pritiska na površino in natančno smer te sile, pri čemer daje odziv na haptične povratne informacije.

Apple skupaj s slušalkami AR ali VR pravi, da bi ta naprava, nameščena na prst, lahko 'uporabniku zagotovila občutek interakcije na fizični tipkovnici, ko uporabnik s prstom tapka po površini mize' ali 'uporabniku omogočila, da opremi krmilno palico -type input' za igranje iger z uporabo samo gibanja uporabnikovih konic prstov.

Datum zagona

Appleov analitik Ming-Chi Kuo je oktobra 2021 dejal, da prihajajoče slušalke mešane resničnosti imajo je bilo odloženo najpozneje do konca leta 2022, proizvodnja pa naj bi se začela v četrtem četrtletju 2022.

Bloomberg prav tako verjame, da bodo slušalke AR/VR, na katerih dela Apple, izšle leta 2022, medtem ko bodo očala AR, ki so v razvoju, izšla pozneje. Informacije je predlagal, da bodo slušalke AR/VR izšle leta 2022, nato pa pametna očala leta 2023, vendar je to zgodnejši časovni okvir, kot so drugi viri navedli za izdelek za očala.

Apple domnevno zaostaja pri testiranju pametnih očal, ki so v izdelavi, kar bi lahko povzročilo zamude. Apple bi moral v drugo fazo razvoja očal vstopiti v začetku leta 2021, vendar se druga faza testiranja še ni začela, tako da je obseg proizvodnje v prvem četrtletju 2022 ni pričakovano .

Analitiki Morgan Stanleyja so pred kratkim dejali, da se slušalke AR 'približujejo vzponu' na podlagi število patentov Apple je objavil. Analitiki menijo, da je Applov patentni portfelj za slušalke AR/VR podoben patentnemu portfelju, ki ga je zgradil pred predstavitvijo Apple Watch.

Prihodnji načrti AR/VR

Applov analitik Ming-Chi Kuo meni, da bi Apple lahko načrtoval 'kontaktne leče' razširjene resničnosti, ki bi lahko zagnali nekje v 2030-ih.

Kuo pravi, da bodo leče prinesle elektroniko iz obdobja »vidnega računalništva« v »nevidno računalništvo«. Za kontaktne leče trenutno ni 'vidnosti' in ni zagotovljen izdelek, ki ga bo Apple razvil.