Chega em versão beta o incrível recurso de vídeo espacial para o Apple iPhone, que fica ainda mais impressionante no Vision Pro.

A chegada do recurso de vídeo espacial para o Apple iPhone, ainda em versão beta, traz ainda mais impressionantes possibilidades para o Vision Pro.

Estou olhando para um prato de sushi flutuando na minha frente em 3D. O chef está finalizando os ingredientes nos rolos de cauda amarela e atum, conversando comigo enquanto trabalha. Parece vívido. Parece real. A parte incrível é que acabei de filmar esse vídeo eu mesmo, momentos antes, com um iPhone 15 Pro. E agora é uma experiência de realidade virtual que estou assistindo em lindo 3D no headset Vision Pro da Apple.

Deslizo com meus dedos e vejo outros vídeos fantasmagóricos fornecidos pela Apple. Famílias em uma casa, caminhando pela grama. Abraçando-se. Tudo em um 3D realista. Sinto como se estivesse espiando suas vidas, o que é estranho e íntimo. Mas a vivacidade é inegável.

Estou experimentando o novo recurso da câmera de vídeo espacial do iPhone da Apple, agora disponível na nova versão beta pública do iOS 17.2, com a versão final sendo lançada no 17.2 ainda este ano. Isso permite que você grave vídeos em 3D, mas para usá-lo, você precisará do melhor telefone da Apple, o iPhone 15 Pro de US$ 1.000. E para assistir aos vídeos em 3D, você precisará do headset Vision Pro de US$ 3.500, que será lançado no início do próximo ano.

Os vídeos são ótimos e o 3D é incrivelmente realista. Também são fáceis de gravar e podem ser salvos como vídeos que serão reproduzidos em 2D em um formato de vídeo normal. Mas, no final das contas, esse recurso foi feito para um produto de 2024 que, a US$ 3.500, é seguro dizer que a maioria das pessoas não comprará tão cedo. Ainda assim, a experiência é impressionante.

Assista a isso:

• iOS 17.2 Public Beta 2 O Aplicativo Journal e Mais Poderia Estar Ch...
• Apple lança segunda versão beta pública do iOS 17.2 com o aplicativ...
• Samsung pode estrear um celular dobrável acessível de $400 no próxi...

Vision Pro me impressionou mais uma vez

Eu usei o Vision Pro pela primeira vez na conferência WWDC da Apple em junho, e mais uma vez me lembro de suas capacidades extraordinárias de exibição. Fotos e vídeos têm uma aparência fantástica no headset da Apple. Eu até arriscaria dizer que o Vision Pro supera qualquer tela que eu tenha em casa no momento. Sim, eu gostaria de ver vídeos e fotos – em 3D e outros – se tivesse um Vision Pro.

Minha segunda experiência com o Vision Pro, com lentes de prescrição adequadas às minhas necessidades, me lembra o quão menor o headset é do que eu me lembrava. E também como a interface é fácil de usar.

Configurar o rastreamento ocular foi um processo rápido; olhei para pontos ao redor de um círculo e toquei neles. Também experimentei um novo conjunto de gestos de zoom, apertando os dedos e esticando-os para ampliar as fotos. O gesto funciona com o rastreamento ocular, então, onde quer que eu olhasse, a imagem se expandia. Fazia parecer telepatia. Eu pude ver algumas fotos de teste no aplicativo Fotos e reproduzir fotos em Memórias. Depois de ter usado um Quest 3 recentemente, as câmeras pass-through e a resolução de exibição da Apple estão em um nível completamente diferente.

As fotos panorâmicas foram uma surpresa. Elas se abriram e me envolveram, parecendo janelas para outros lugares – quase 3D, na verdade. E os vídeos espaciais também têm uma boa aparência. Sua qualidade de reprodução 3D, quase fantasmagórica, parece visar uma memória imersiva mais do que uma reprodução de vídeo simples. Mas encontrei algumas limitações mesmo em minha breve demonstração da experiência.

Infelizmente, não há capturas do que vi ou gravei aqui: as fotos são todas fornecidas pela Apple, então você terá que acompanhar e ler sobre minha experiência.

Vídeos espaciais no iPhone 15 Pro: como funcionam

Vídeos espaciais precisam ser gravados segurando o telefone na horizontal. O iPhone 15 Pro usa suas câmeras principal e ultra-angular lado a lado no modo paisagem para criar o vídeo 3D. Ele grava dois vídeos de 1080p e 30fps ao mesmo tempo, resolvendo as diferenças de lentes e distância com fotografia computacional. O arquivo é salvo no formato HEVC, semelhante a outros arquivos de vídeo da Apple, com tamanho de armazenamento de cerca de 130 MB por minuto. Isso não é tão ruim, provavelmente porque os arquivos são limitados a uma resolução e taxa de quadros relativamente baixas de 1080p e 30fps.

Clipes de vídeo espaciais podem ser compartilhados via Mensagens ou AirDrop, mas pode haver casos em que os arquivos são comprimidos em outros aplicativos, perdendo os dados 3D. Ainda assim, os clipes de vídeo devem ser utilizáveis em qualquer lugar como um arquivo de vídeo comum, o que é ótima notícia para quem se perguntou (eu incluso) se você teria que escolher um formato de vídeo 3D “especial”.

Você precisa ativar o modo de vídeo espacial, seja nas configurações do aplicativo Câmera da Apple ou com uma alternância em forma de máscara Vision Pro no próprio aplicativo Câmera. Isso limita a resolução e a taxa de quadros do vídeo e também significa que você precisa filmar na horizontal. Desculpe, não há vídeos 3D verticais.

O aplicativo da câmera dá recomendações para girar a câmera de lado e manter uma certa distância do assunto. Disseram-me para manter entre 0,9 a 2,4 metros do que estava filmando para obter um bom vídeo espacial, mas quando filmei minha gravação de teste de alguém fazendo sushi em uma mesa, cheguei mais perto e ficou perfeitamente bom. Também gravei em um ambiente bem iluminado, mas aparentemente o modo de gravação de vídeo espacial impede ajustes de brilho e contraste, o que significa que gravações com pouca luz podem ficar mais granuladas do que os vídeos normais.

Como o vídeo espacial evoluirá ou será editado?

Não há API para o formato de vídeo 3D HEVC da Apple, o que significa que os arquivos ainda não estão projetados para que aplicativos de terceiros possam reconhecê-los. No entanto, é possível que os desenvolvedores de aplicativos descubram alguma solução. Além disso, é decepcionante que não haja outra maneira de visualizar os vídeos em 3D além de usar um Vision Pro.

A gravação de vídeo estéreo 3D teoricamente é um processo que poderia ser adaptado para outros fones de ouvido de RV, como o Meta Quest 3 de $500. É um vídeo estéreo direto e não usa o lidar ou a detecção de profundidade para qualquer tipo de captura espacial de movimento completo. Infelizmente, isso não está nos planos da Apple no momento.

Não há limite de tempo para a gravação dos vídeos, então teoricamente você pode fazer um filme completo em 3D de vídeo espacial. Mas os clipes só poderão ser cortados, seja no iPhone ou Vision Pro. O Final Cut Pro, software de edição de vídeo da Apple, receberá suporte para edição de vídeo espacial, mas somente no próximo ano. Enquanto isso, se você tentar editar esses arquivos de vídeo em um editor de vídeo Mac ou iOS, eles serão convertidos em arquivos apenas em 2D.

Também é um pouco decepcionante que os vídeos não possam ser gravados em resolução 4K. O headset Vision Pro da Apple possui qualidade e resolução impressionantes, o que ficou claro mais uma vez quando olhei as fotos do iPhone no headset e dei zoom nelas, ou visualizei fotos panorâmicas em um modo de imersão que me fez sentir como se estivesse em uma recriação imersiva vívida de um local, semelhante a uma foto em 360 graus. Os vídeos espaciais têm uma aparência realmente boa, mas senti vontade de vê-los com uma taxa de quadros mais fluída de 60fps, em 4K ou ambos. Talvez algum dia.

Memórias para um futuro 3D

A Apple frequentemente parece estar tentando se tornar não apenas uma marca de estilo de vida, mas também uma empresa de memórias. As coleções de fotos automatizadas já são chamadas de “Memórias”. E é assim que os vídeos espaciais 3D parecem no Vision Pro: com bordas nebulosas, como lembranças digitais em algum futuro semelhante ao Minority Report ou Blade Runner. Também me lembrou um pouco da realidade imersiva 3D que experimentei ao usar as conversas de campo de luz 3D em tempo real do Google no Project Starline, mas neste caso, eu apenas estava assistindo vídeos.

A escolha da Apple de enquadrar os vídeos espaciais com uma espécie de borda embaçada faz com que pareçam quase estar sendo projetados holograficamente na sala, e as bordas se dissolvem um pouco. Mas adoraria ver uma maneira dos vídeos terem uma moldura padrão ao redor deles também.

O formato de vídeo espacial da Apple aparece em uma nova categoria exclusiva no aplicativo Fotos e ainda não aparecerá em Memórias. Talvez essa nova guia de vídeo espacial no Fotos se torne o repositório preferido para novas experiências em 3D. No momento, a Apple não permite fotos espaciais em 3D no iPhone 15 Pro, apenas vídeos, embora o Vision Pro possa capturar fotos por si só. Mas está claro que a Apple espera que todos comecem a gravar no formato antes do lançamento do headset, construindo uma biblioteca de vídeos capazes.

Isso significa que você terá que se lembrar de ativar o vídeo espacial e se importar em usá-lo. Os proprietários do Future Vision Pro terão essa função ativada por padrão no iPhone 15 Pro, mas isso é uma pequena parte dos proprietários do iPhone. Vou ativá-lo, porque quero ver como meus vídeos ficarão no próximo ano em um Vision Pro. Mas a menos que você esteja planejando comprar um Vision Pro para si mesmo, não há muita razão para gravar vídeos espaciais agora, mesmo que seja possível que, um dia, futuramente, você possa se arrepender de não ter gravado o vídeo da festa de aniversário em 3D. Já estou pensando em como seria se eu tivesse gravado um vídeo da bat mitzvah da minha sobrinha na semana passada e pudesse vê-lo em 3D também. Essa nova opção de câmera de vídeo espacial já está mexendo com o meu medo de perder algo no futuro.

• apple
• Augmented Reality
• Virtual Reality