Jeder einzelne Sensor im Apple Vision Pro und seine individuelle Funktion

Für ein Gerät im Wert von 3.499 USD, das Ihr Telefon, Ihren Laptop, Ihre Uhr, Ihr Tablet, Ihren Fernseher und sogar Ihre Maus ersetzen soll, können Sie darauf wetten, dass Apples Vision Pro vollgestopft ist mit Sensoren, die Sie, Ihre Bewegungen, Ihr Sehvermögen, Ihre Gesten, Sprachbefehle usw. verfolgen. und Ihre Position im Raum. Laut Apples eigener Ankündigung verfügt der Vision Pro über bis zu 14 Kameras innen und außen, 1 LiDAR-Scanner sowie mehrere IR- und unsichtbare LED-Beleuchtungen, damit er ein Gefühl dafür bekommt, wo Sie sich befinden und was Sie tun. Darüber hinaus verfügt das Headset auch über einen speziellen R1-Apple-Silikonchip, der die Daten all dieser Sensoren (und einiger anderer) verarbeitet, um Apples allmähliche Umstellung auf „Spatial Computing“ bestmöglich darzustellen.

„Vision Pro ist eine neue Art von Computer“, sagt Tim Cook, als er das Mixed-Reality-Headset zum ersten Mal vorstellt. „Es ist das erste Apple-Produkt, das man durchschaut und nicht ansieht“, fügt er hinzu und markiert damit Apples Umstellung auf Spatial Computing. Was ist Spatial Computing, fragen Sie? Nun, der Desktop wurde als der erste Personal Computer oder PC der Welt angepriesen, wie wir ihn heute so allgegenwärtig nennen. Der Laptop hat den Desktop auf ein tragbares Format verkleinert, und das Telefon hat ihn noch weiter verkleinert ... bis hin zur Uhr, mit der Sie Ihren PC an Ihr Handgelenk tragen können. Spatial Computing markiert die erste Abkehr von Apple vom Personal Computing in dem Sinne, dass Sie nun nicht mehr durch ein Display – ob groß oder klein – eingeschränkt sind. „Stattdessen wird Ihre Umgebung zur Leinwand“, fasst Tim zusammen, als er die Bühne an Alan Dye, Vizepräsident für Design, übergibt.

Spatial Computing markiert eine neue Ära der Datenverarbeitung, in der die vier Ecken eines herkömmlichen Displays keine Einschränkungen für Ihre Arbeitsumgebung darstellen. Stattdessen wird Ihre reale Umgebung zu Ihrer Arbeitsumgebung, und genau wie Sie Ordner, Fenster und Widgets auf einem Bildschirm haben, können Sie mit Vision Pro Ordner, Fenster und Widgets in Ihrem 3D-Raum erstellen. Dye erklärt, dass man beim Spatial Computing ein Fenster nicht minimieren muss, um ein neues zu öffnen. Ziehen Sie einfach ein Fenster zur Seite und öffnen Sie ein anderes. VisionOS von Apple verwandelt Ihren Raum und Ihre visuelle Peripherie in ein Betriebssystem, sodass Sie mehrere Bildschirme/Fenster erstellen, wo immer Sie möchten, sie verschieben und ihre Größe ändern können. Denken Sie an Minority Report oder Tony Starks holografischen Computer … aber mit einer besseren, eleganteren Benutzeroberfläche.

Das Herzstück des Vision Pro-Headsets sind zwei Chips, die zusammenarbeiten, um eine nahtlose Verbindung von Virtualität und Realität zu ermöglichen. Das Vision Pro ist mit dem M2-Siliziumchip von Apple ausgestattet, der Sie beim Rechnen und Multitasking unterstützt, sowie mit einem neuen, proprietären R1-Siliziumchip des Headsets, der mit allen Sensoren innerhalb und außerhalb des Headsets zusammenarbeitet, um Ihr Sehvermögen zu verfolgen, Eingaben zu steuern und Außerdem tragen Sie dazu bei, dass virtuelle Elemente nahtlos in der realen Welt existieren und beeindruckende Dinge bewirken, z. B. Schatten auf die Welt um Sie herum werfen, den Winkel ändern, wenn Sie sich bewegen, oder verschwinden/verblassen, wenn jemand in Ihr Bild tritt.

Der R1-Chip ist so ziemlich Apples Geheimrezept für den Vision Pro. Es verarbeitet die Daten jedes einzelnen Sensors des Geräts und verfolgt gleichzeitig Ihre Umgebung, Ihre Position darin, Ihre Hände und sogar Ihre Augenbewegungen mit erstaunlicher Genauigkeit. Ihre Augenbewegungen bilden die Grundlage dafür, dass der Vision Pro weiß, mit welchen Elementen Sie interagieren möchten, und verwandelt sie praktisch in echte Cursor. So beeindruckend das auch ist, der R1 nutzt auch Ihre Augendaten, um zu wissen, welche Elemente des Bildschirms gerendert werden sollen und welche nicht. Da Sie sich immer nur auf einen begrenzten Bereich konzentrieren können, kann der R1-Chip nur diesen Teil Ihrer visuellen Peripherie mit gestochen scharfer Klarheit wiedergeben, anstatt Ressourcen für die Darstellung der gesamten Szene aufzuwenden. Es ist eine phänomenal clevere Möglichkeit, den Akkuverbrauch zu optimieren und gleichzeitig ein brillantes, immersives Erlebnis zu bieten. Das ist jedoch noch nicht alles…

Ein Neurotechnologie-Ingenieur bei Apple hat den Schleier darüber gelüftet, wie komplex und etwas beängstigend die interne Technologie des Vision Pro ist. Während Sterling Crispin an eine Geheimhaltungsvereinbarung gebunden ist, teilte er in einem Tweet mit, wie der Vision Pro Ihr Sehvermögen verfolgt und weiß, wie Sie auf seiner Benutzeroberfläche so fehlerfrei navigieren. Grundsätzlich ist der R1-Chip so konstruiert, dass er die Augenbewegung und -absicht eines Benutzers nahezu magisch vorhersagen kann. „Eines der coolsten Ergebnisse war die Vorhersage, dass ein Benutzer auf etwas klicken würde, bevor er es tatsächlich tat […]Ihr Schüler reagiert, bevor Sie klicken, teilweise weil Sie erwarten, dass nach dem Klicken etwas passiert„, erwähnt Crispin. „Sie können also Biofeedback mit dem Gehirn eines Benutzers erzeugen, indem Sie dessen Augenverhalten überwachen und die Benutzeroberfläche in Echtzeit neu gestalten, um mehr von dieser vorausschauenden Pupillenreaktion zu erzeugen.“

„Andere Tricks, um auf den kognitiven Zustand zu schließen, bestanden darin, einem Benutzer schnell Bilder oder Geräusche auf eine Art und Weise vor Augen zu führen, die er möglicherweise nicht wahrnimmt, und dann seine Reaktion darauf zu messen.“ Crispin erklärt weiter. „Ein weiteres Patent geht detailliert auf die Verwendung von maschinellem Lernen und Signalen von Körper und Gehirn ein, um vorherzusagen, wie konzentriert oder entspannt Sie sind oder wie gut Sie lernen. Und dann werden virtuelle Umgebungen aktualisiert, um diese Zustände zu verbessern. Stellen Sie sich also ein adaptives Immersivsystem vor.“ Eine Umgebung, die Ihnen beim Lernen, Arbeiten oder Entspannen hilft, indem sie das, was Sie im Hintergrund sehen und hören, verändert.“ Hier ist ein Blick auf den Tweet von Sterling Crispin.

Ich habe 10 % meines Lebens damit verbracht, zur Entwicklung des #VisionPro beizutragen, während ich bei Apple als Neurotechnology Prototyping Researcher in der Technology Development Group gearbeitet habe. Es ist die längste Zeit, die ich jemals an einer einzigen Anstrengung gearbeitet habe. Ich bin stolz und erleichtert, dass es endlich soweit ist ... pic.twitter.com/vCdlmiZ5Vm

— Sterling Crispin 🕊️ (@sterlingcrispin) 5. Juni 2023

Sensoren dominieren die räumlichen Rechenfähigkeiten des Vision Pro, und hier ist ein Blick auf alle Sensoren, die Apple in der Keynote hervorgehoben hat, zusammen mit einigen anderen, die sich unter der Haube des Vision Pro befinden. Diese Liste ist nicht vollständig, da der Vision Pro nicht für eine technische Demontage verfügbar ist, sie enthält jedoch alle von Apple genannten Sensoren.

Kameras – Das Vision Pro verfügt über schätzungsweise 14 Kameras, die dabei helfen, Details innerhalb und außerhalb des Headsets zu erfassen. Bis zu 10 Kameras (2 Hauptkameras, 4 nach unten gerichtete Kameras, 2 TrueDepth-Kameras und 2 seitliche Kameras) am äußeren Teil des Headsets erfassen Ihre Umgebung in stereoskopischem 3D, während 4 IR-Kameras im Inneren des Headsets Ihre Augen verfolgen und 3D-Scans von Ihnen durchführen Iris hilft dem Gerät bei der Authentifizierung des Benutzers.

LiDAR-Sensor – Der Zweck des LiDAR-Sensors besteht darin, mithilfe von Licht Entfernungen zu messen und so eine 3D-Karte der Welt um Sie herum zu erstellen. Es wird in den meisten selbstfahrenden Automobilsystemen und sogar im FaceID-System des iPhones verwendet, um Ihr Gesicht zu scannen und zu identifizieren. Beim Vision Pro sitzt der LiDAR-Sensor vorne und in der Mitte direkt über der Nase und erfasst eine perfekte Sicht auf die Welt um Sie herum sowie ein 3D-Modell Ihres Gesichts, das das Headset dann während FaceTime als Avatar verwendet.

IR-Kamera – Das Vorhandensein einer IR-Kamera auf einem beliebigen Gerät spielt eine Schlüsselrolle dabei, die Aufgabe einer Kamera erfüllen zu können, wenn die Kamera dies nicht kann. IR-Sensoren funktionieren auch bei absoluter Dunkelheit, was ihnen einen deutlichen Vorteil gegenüber herkömmlichen Kameras verschafft. Aus diesem Grund verfügt das Headset innen über vier IR-Kameras und außen über eine nicht genannte Anzahl von IR-Kameras/Sensoren, damit das Gerät trotz Lichtverhältnissen sehen kann. Die IR-Kameras im Inneren des Headsets leisten hervorragende Arbeit bei der Blickverfolgung und erstellen einen 3D-Scan Ihrer Iris, um das sichere OpticID-Authentifizierungssystem von Apple durchzuführen.

Beleuchtungsgeräte – Obwohl es sich hierbei nicht um Sensoren handelt, spielen sie eine Schlüsselrolle dabei, dass die Sensoren ihre Aufgabe perfekt erfüllen können. Das Vision Pro-Headset verfügt an der Außenseite über zwei IR-Strahler, die unsichtbare Infrarot-Punktraster aufblitzen lassen, um dabei zu helfen, das Gesicht einer Person genau zu scannen (sehr ähnlich zu FaceID). Im Inneren des Headsets befinden sich jedoch unsichtbare LED-Beleuchtungen, die jedes Auge umgeben und den IR-Kameras dabei helfen, Augenbewegungen und Reaktionen zu verfolgen und detaillierte Scans Ihrer Iris durchzuführen. Diese Beleuchtungskörper spielen bei schlechten Lichtverhältnissen eine entscheidende Rolle und liefern den IR-Kameras Daten, mit denen sie arbeiten können.

Beschleunigungsmesser und Gyroskop – Obwohl Apple nicht erwähnt hat, dass diese im Headset vorhanden sind, ist es offensichtlich, dass das Vision Pro über mehrere Beschleunigungsmesser und Gyroskope verfügt, die ihm dabei helfen, Bewegungen und Neigungen zu verfolgen. Wie jedes gute Headset ermöglicht das Vision Pro ein Tracking mit 6 Freiheitsgraden und kann Bewegungen nach links, rechts, vorwärts, rückwärts, aufwärts und abwärts erkennen. Der Beschleunigungsmesser hilft dem Headset, diese Bewegungen zu erfassen, während das Gyroskop dem Headset hilft, zu verstehen, wann Sie Ihren Kopf neigen. Diese Sensoren liefern zusammen mit den Kameras und Scannern dem R1-Chip die Daten, die er benötigt, um zu wissen, wo Sie stehen, sich bewegen und schauen.

Mikrofone – Das Vision Pro verfügt über eine unbekannte Anzahl von Mikrofonen, die in das Headset integriert sind und zwei große Aufgaben erfüllen: Spracherkennung und räumliches Audio. Sprachbefehle sind ein zentraler Bestandteil Ihrer Interaktion mit dem Headset. Deshalb verfügt das Vision Pro über Mikrofone, mit denen Sie Suchanfragen durchführen, Apps/Websites aufrufen und ganz natürlich mit Siri sprechen können. Allerdings müssen die Mikrofone auch einen akustischen Scan Ihres Raumes durchführen, genau wie die Kameras einen visuellen Scan durchführen müssen. Sie tun dies, damit sie den Klang an den Raum anpassen können, in dem Sie sich befinden, und so die richtige Menge an Hall, Tonfrequenzen usw. liefern. Darüber hinaus bleiben die Geräusche beim Drehen des Kopfes immer noch an der gleichen Stelle, und die Mikrofone helfen dabei Ermöglichen Sie dies, indem Sie eine Klangillusion erzeugen, die es Ihren Ohren ermöglicht, zu glauben, was Ihre Augen sehen.

Abgesehen von den Sensoren ist der Vision Pro mit einer ganzen Reihe technischer Komponenten ausgestattet, von Bildschirmen bis hin zu Akkus. Hier ist ein Blick darauf, was sich sonst noch unter der Haube des Vision Pro verbirgt.

Anzeigen – Angesichts seines Namens konzentriert sich der Vision Pro offensichtlich stark auf Ihren visuellen Sinn … und das mit einigen der unglaublichsten Displays, die es je gab. Der Vision Pro verfügt über zwei briefmarkengroße Displays (eines für jedes Auge), die jeweils über mehr Pixel verfügen als ein 4K-Fernseher. Dadurch verfügen die Hauptdisplays des Vision Pro über unglaubliche 23 Millionen Pixel zusammen und ermöglichen eine Bildwiederholfrequenz von 12 Millisekunden (was etwa 83 fps entspricht). An der Außenseite des Headsets befindet sich zudem ein Display, das Ihre Augen den Menschen in Ihrer Umgebung zeigt. Obwohl die Qualität dieses Displays nicht bekannt ist, handelt es sich um einen gebogenen OLED-Bildschirm mit einer Lentikularfolie davor, die den Eindruck eines 3D-Displays erweckt, sodass die Leute Tiefe in Ihren Augen sehen und nicht nur ein flaches Bild.

Audiotreiber – Das Band des Headsets verfügt außerdem über in jeden Bügel integrierte Audiotreiber, die beim Tragen des Headsets satten, auf die Umgebung reagierenden Klang in Ihre Ohren übertragen. Apple erwähnte, dass der Vision Pro über zwei Audiotreiber für jedes Ohr verfügt, was möglicherweise auf eine Qualität hinweisen könnte, die mit den AirPods Max mithalten kann.

Fans – Um das Headset kühl zu halten, verfügt das Vision Pro über eine unbekannte Anzahl von Lüftern, die dabei helfen, optimale Temperaturen im Inneren des Headsets aufrechtzuerhalten. Die Lüfter sind leise, aber dennoch unglaublich leistungsstark und kühlen nicht nur einen, sondern gleich zwei Chips im Inneren des Headsets. Ein Grilldetail an der Unterseite hilft dabei, die heiße Luft abzuleiten.

Digitale Krone –In Anlehnung an die Apple Watch verfügt die Vision Pro über eine digitale Krone, die sich dreht, um den Startbildschirm aufzurufen und die immersive Umgebung umzuschalten, die die Welt um Sie herum für ein echtes VR-Erlebnis übertönt.

Auslöser -Die Digital Crown verfügt außerdem über einen Auslöser, mit dem Sie dreidimensionale Fotos und Videos aufnehmen können, die im Vision Pro-Headset angezeigt werden können.

Batterie - Schließlich verfügt das Vision Pro über eine unabhängige Batterieeinheit, die über einen proprietären Stecker an das Headset angeschlossen wird. Der Grund dafür, dass das Headset über einen separaten Akku verfügt, besteht darin, das Gewicht des Headsets selbst zu reduzieren, das bereits aus Metall und Glas besteht. Da Batterien so schwer sind, hilft eine unabhängige Batterie dabei, die Last zu verteilen. Apple hat die Milliamperestunden-Kapazität des Akkus nicht mitgeteilt, es wurde jedoch erwähnt, dass man mit einer vollen Ladung zwei Stunden lang damit arbeiten kann. Wie der Akku geladen wird, wurde ebenfalls nicht erwähnt.

Wenn der Satz „Work Smart, not Work Hard“ ein Roboterstaubsauger wäre, wäre es wahrscheinlich der Roborock S7 Max Ultra. Mit einem Design, das so…

Obwohl der Mensch in erster Linie als ein sehr visuelles Wesen gilt, sind wir uns auch der wichtigen Rolle bewusst geworden, die Geräusche dabei spielen.

Es gibt keinen Grund, warum ein normales Citybike auf Bergwegen verwendet werden sollte. Es ist einfach nicht für diese Bedingungen ausgelegt. Warum also …

Wir leben nicht in einem gelben U-Boot, aber Sie können Ihre Daten auf Wunsch in einem grünen, weißen, roten oder schwarzen U-Boot speichern.

Wir haben alle schon einmal darüber nachgedacht: Man geht auf eine öffentliche Toilette, wäscht sich die Hände und muss dann einen unhygienischen Türknauf berühren, um die Toilette zu verlassen?!…

Das alte Sprichwort „Mutter weiß es am besten“ gilt auch heute noch, denn moderne Mütter zeigen der Welt, was das Beste für ihre Babys und sich selbst ist. Und was ... ist…