Uma análise do Apple Vision Pro feita por um desenvolvedor de realidade aumentada

Encontrei uma análise do Apple Vision Pro feita pelo Andrew Hart. Decidi trazer para cá porque, diferentemente das análises que podem ser facilmente encontradas na mídia, ele tem uma boa experiência com realidade aumentada e então pode falar sobre pontos diferentes da tecnologia, além de comparar com outros óculos de AR/VR.

Sobre o Andrew Hart (dito por ele mesmo):

• Ele trabalha com realidade aumentada (AR) há vários anos (compartilhou este vídeo em 2017, onde destaca alguns pontos conhecidos da cidade, com o nome e a distância).
• Desenvolveu os maiores projetos de código aberto para ambas as estruturas de AR da Apple – ARKit e RealityKit.
• Foi pioneiro da navegação AR, que pode ser experimentado na Apple e no Google Maps.
• Tem uma startup de AR chamada Hyper, onde construíu uma tecnologia AR inovadora para localização interna (indoor) precisa.
• Não tem conhecimento de hardware AR/VR.
• Possui um PSVR, Oculus Go, Quest 1 e 2 – e agora, um Apple Vision Pro.

Para uma análise mais geral sobre as funcionalidades do Apple Vision Pro, o Andrew recomenda ler as análises da Wired ou do The Verge antes de continuar lendo a dele.

Geralmente, ele usa o Apple Vision Pro para trabalhar por meio do recurso Mac Virtual Screen e assistir TV/filmes.

Então, vamos às características que ele comentou no blog dele.

Passthrough

O Passthrough é impressionante em comparação com tudo o mais que tentei, mas ainda dá a sensação de ver o mundo através de uma câmera barulhenta. Fiquei surpreso – muitas das impressões iniciais do ano passado descreveram-no como real, quase impossível de distinguir da realidade.

Ele disponibilizou um exemplo interativo para você ver (quase) a mesma cena com o óculos e sem:

Os pontos levantados pelo Andrew:

• A qualidade do passthrough será uma melhoria ano após ano, mas ainda não chegou lá.
• A Apple fez um trabalho notável ao minimizar a distorção, em comparação com a Meta, que usa o passthrough há cerca de 4 anos, mas ainda enfrenta desafios.
• Alguns comportamentos típicos da câmera permanecem: luzes tremeluzentes, reflexo de lente, problemas de exposição e desfoque de movimento.

Imersão

Ironicamente, o conteúdo virtual parece mais próximo da vida real do que o passthrough da câmera.

• A resolução da tela é impressionante. O conteúdo virtual renderizado parece real, você não consegue ver nenhum pixel.

Ambientes

A Apple abrirá ambientes de alguma forma? Eu pagaria $$ por um pacote de ambientes.

• Os ambientes são impressionantes, mas poderiam ser mais interessantes. O Quest leva você a ambientes domésticos aconchegantes com lareira quente ou a uma estação espacial com janela imersiva.
• Existem alguns ambientes mais divertidos, mas eles estão escondidos em lugares diferentes. Keynote tem uma sala de reuniões e o Steve Jobs Theater. Disney+ tem Nova York e Tatooine. O aplicativo Apple TV tem um ambiente de cinema, além de poder transmitir o vídeo para uma tela de cinema gigante no ambiente do sistema.
• Os ambientes também são um pouco difíceis de mudar agora.

Conforto

Quando o tiro, sinto algum alívio por estar de volta ao mundo real.

• Vários fatores tornam o uso do Vision Pro menos confortável: campo de visão limitado (visão de túnel), qualidade do passthrough, desfoque de movimento e peso.
• Usar sem o Light Seal é uma grande melhoria. Você está mais próximo da tela, o que reduz a visão do túnel e expande o campo de visão efetivo. E em vez de uma borda preta, você tem uma moldura com visibilidade externa.

Inputs

Olhar e tocar parece muito natural e rápido de entender. É o próximo modelo de interação da Apple. Mas não é perfeito.

• Depois de usá-lo por um período de tempo, o Andrew percebeu que os olhos dele se movem para a próxima coisa antes dele tocar. "Mover os olhos para cada botão e encará-los até completar um toque parece uma tarefa que está me atrasando."
• Também há ansiedade porque tudo o que você olha é selecionado imediatamente e um toque acidental pode ser destrutivo. (Particularmente, eu costumo sofrer com isso ao deixar a mão em repouso no mouse então imagino como seria essa situação 😅).
• Ele estava baixando Star Wars, e a única maneira de verificar o progresso no Wi-Fi lento do hotel era observar o círculo de progresso, que também é o botão de cancelar. "Eu estava ciente de que toda vez que verificava o progresso, estava a um espasmo de um dedo de cancelar todo o download."
• O teclado virtual é muito desafiador para digitação no ar. Acontece que você realmente precisa de uma superfície para descansar as mãos e de feedback físico ao tocar. Ele também comenta que até mesmo o teclado do iPhone tem o feedback de tocar uma superfície física conforme você toca em cada tecla.
  Isso me lembrou os projetores de teclado, que eu nunca usei, mas não parecem uma experiência legal:

_Fonte.

• Você também pode "pressionar" cada tecla individualmente olhando e tocando – isso é tão complicado quanto parece.
• A solução mais prática é usar um teclado físico, via Mac Virtual Screen ou conectando diretamente, mas isso é só um remédio.

visionOS

O Andrew disse que a maior inovação do Vision Pro é o visionOS. O visionOS fornece estruturas de aplicativos nativos, para que os desenvolvedores possam criar aplicativos para ele, e isso é algo que a Meta não consegue oferecer há anos.

Cada aplicativo no Quest precisa reinventar como os botões funcionam, como funciona a visualização de rolagem, a que distância do usuário o conteúdo deve estar, etc. e cada aplicativo funciona de maneira diferente. No visionOS, tudo isso é feito pela Apple, e cada aplicativo tem a mesma aparência.

Os aplicativos também podem coexistir uns com os outros, em seu próprio espaço. O Quest e o PSVR são consoles, em comparação. Você toca em um título e ele inicia um aplicativo Unity totalmente envolvente com uma experiência de usuário personalizada. Você clica em um botão home e volta à sua lista de títulos.

No visionOS, os aplicativos não podem congelar o sistema – se houver uma falha, a passagem e os ambientes sempre continuarão sendo renderizados sem perder um quadro, para que você nunca se sinta enjoado com isso. Ele não pisca em branco na sua cara quando você inicia um novo aplicativo, como costuma acontecer no Quest. Pequenos detalhes que importam.

_Vídeo

• Por padrão, todas as janelas abrem na sua frente, o que rapidamente se transforma em uma pilha, onde você precisa mover manualmente cada janela para fora para chegar às que estão atrás dela.
• Para manter alguns dos aplicativos abertos, mas fora de vista, é preciso arrastá-los para o lado e deixá-los empilhados.
• Não há como "ocultar" ou "minimizar" um aplicativo. Se você tocar em fechar no Disney+, o download continuará em segundo plano. Se fizer isso no Apple Music, a música para de tocar.

Conteúdo

• O único conteúdo envolvente disponível atualmente até agora são alguns vídeos curtos e únicos. "Eles são todos incríveis, com resolução muito mais alta que já vi em qualquer vídeo envolvente – mas você pode fazer tudo em menos de uma hora."
• Fotos/vídeos espaciais também são uma experiência incrível.
• Ainda não existem muitos aplicativos disponíveis.
• As experiências iniciais no PSVR e Quest oferecem uma ótima introdução ao sistema. Vision Pro possui apenas as etapas de configuração necessárias.

Compartilhando capturas de tela

• O Vision Pro renderiza imagens de alta resolução para onde você olha e desfoca todos os outros lugares para aumentar a taxa de quadros. Tudo bem, mas quando você tira uma captura de tela, ela inclui o desfoque, então as pessoas que nunca usaram isso ficam confusas e pensam que realmente é uma resolução baixa. A Apple deveria renderizar o quadro completo das capturas de tela.
• Assistir aos programas da Apple TV+ em uma tela gigante refletida nas ondulações da água sob o Monte Hood é impressionante. Mas, por motivos de direitos autorais, se você tentar capturar a maior parte do conteúdo, ele ficará apagado, o que é uma pena.

Modo de convidado

A Apple oferece duas opções para o modo visitante – acesso total ou apenas os aplicativos abertos no momento:

• Acesso total significa acesso total, incluindo suas fotos, e-mail, notas etc.
• Acesso limitado significa que você precisa configurar tudo perfeitamente todas as vezes e, se eles fecharem algo acidentalmente, estarão condenados. Não existe uma forma de redefinir facilmente o modo visitante.

Se o seu convidado tirar o fone de ouvido da cabeça, ele será expulso do modo visitante e terá que devolvê-lo a você. Eles precisam passar pelo processo de configuração de 2 minutos todas as vezes.

Um ótimo recurso do modo de demonstração é o espelhamento do Mac, que projeta a visualização do óculos no seu Mac. Isso é ótimo para fazer demonstrações rapidamente para um pequeno grupo. A ressalva: agora eles não podem tentar assistir a programas de TV e ver o efeito cascata do Monte Hood. Ou qualquer um dos vídeos envolventes, que de outra forma seriam uma ótima demonstração. Ele escurece o vídeo, tanto no espelhamento do Mac quanto dentro do óculos. O convidado ficará olhando para o preto por um tempo, pensando que é apenas atmosférico. Uma dica do Andrew: opte sempre pelos trailers, eles não são protegidos por direitos autorais e ainda ajudam a demonstrar os recursos de TV/filmes.

Conclusão

Vision Pro é uma versão 1 perfeita. Há algumas coisas que precisam ser melhoradas e também alguns problemas iniciais de hardware (meu alto-falante direito está superaquecendo). Estou usando-o de 1 a 2 horas todos os dias, e meu feedback vai na direção de “se x fosse melhor, eu acharia ainda mais valioso”, o que é um sinal positivo. Estou super animado para ver o que vem a seguir.

---

Eu nunca usei nenhum óculos VR/AR, e parece que algumas das coisas boas do Apple Vision Pro poderiam ser adicionadas aos outros óculos sem um grande aumento de custo, como é o caso dos aplicativos nativos e das facilidades do visionOS.

Se você já experimentou algum óculos VR/AR, ou o próprio Vision Pro, compartilhe como foram suas experiências :)