Amazon setzt auf erweiterte und virtuelle Realität

Mit Sumerian, einer All-in-One-Entwicklungsplattform, die AR- und VR-Apps für Smartphones und Headsets und - bald genug - AR / VR-Apps, die ordnungsgemäß ausgeführt werden, schafft Amazon einen großartigen Einstieg in den erweiterten Bereich der virtuellen Realität in Ihrem Browser.

Innerhalb dieser Erfahrungen kann Sumerian immersive virtuelle Welten erschaffen, die von "Hosts" bevölkert werden - 3D-Charaktere, die von der gleichen künstlichen Intelligenz-Technologie zum Leben erweckt werden, die Alexa antreibt.

Sumerian ist plattformunabhängig. Anstatt ein eigenes Markengerät oder ein Headset zu entwickeln, entschied sich Amazon für die Integration in bestehende Angebote. Sumerian basiert auf offenen Webstandards und unterstützt sowohl ARKit von Apple als auch ARCore von Google. Dies bedeutet, dass App-Ersteller eine Sumerian-App erstellen können, die unter Android, iOS, Oculus Rift, HTC Vive und darüber hinaus ausgeführt werden kann.

Als Neuzugang zu Amazon Web Services wird Sumerian nicht mit einem Abonnement, sondern mit dem nutzungsbasierten Modell dieses Dienstes berechnet und stellt eine Verbindung zu anderen AWS-Diensten her.

Amazon veröffentlichte eine sumerische Vorschau im November, als sie erstmals angekündigt wurde. Vor dem erwarteten Start im Mai erhielt PCMag jedoch einen exklusiven Einblick in Sumerian und einige frühe Kunden-Apps.

Kyle Roche, General Manager von Amazon Sumerian, führte mich durch eine Demo der 3D-App-Erstellungsplattform. Ich habe eine Tour durch Sumerians Drag-and-Drop-App-Editor und seine 3D-Objektbibliothek, seine Visual State Machine zum Erstellen von Skripten für komplexe automatisierte Szenen, gemacht und mich mit der Erstellung künstlich intelligenter Hosts befasst, mit denen Sie in diesen virtuellen Erlebnissen ausführlich kommunizieren können.

Ich habe auch mit Marco Argenti gesprochen, einem Vizepräsidenten, der nicht nur für AR / VR zuständig ist, sondern auch für die Bereiche AWS Mobile, Serverless Computing und IoT. Amazon hat ehrgeizige Pläne für Sumerian und eine noch größere Vision für die Rolle, die Augmented und Virtual Reality in Kombination mit AI in unserer vernetzten Zukunft spielen werden.

• Warum Amazon auf AR / VR setzt

  Der Einstieg in eine völlig neue Branche oder Branche hat Amazon noch nie zuvor aufgehalten. Schauen Sie sich Whole Foods, Amazon Video oder seine Bemühungen in der Gesundheits- und Pharmaindustrie an.

  Roche scherzte, der Name Sumerian stamme aus dem Science-Fiction-Buch Snow Crash (das Amazon derzeit als Serie adaptiert). und die Idee für "Hosts" kam aus der Westworld von HBO . Laut Argenti beruhte die Entscheidung von Amazon, in den AR / VR-Bereich einzutreten, auf drei Schlüsselfaktoren: dem Aufkommen der Smartphone-basierten Augmented Reality; ungenutzte VR-Möglichkeiten im Business-to-Business-Markt (B2B); und helfen Sie AWS-Kunden, Schwachstellen mit Dingen zu lösen, die sie bereits versucht haben.

  "Diese Signale waren stark genug, um tatsächlich mit dem Entwurf von Sumerian zu beginnen. Auf die klassische Art und Weise von Amazon haben wir angefangen, von Kundenanwendungsfällen rückwärts zu arbeiten und schließlich ein Entwicklungsteam zu finanzieren, um das Produkt zu bauen", erklärte Argenti.

  Die B2B-Anwendungen umfassen Szenarien wie interaktive digitale Beschilderung (denken Sie an die riesigen sprechenden Hologramm-Anzeigen von Blade Runner: 2049 ), virtuelles Training und eine Vielzahl von Anwendungsfällen für das industrielle Internet der Dinge, z. B. die Verwendung von Sensoren zur Erstellung digitaler Zwillinge und komplexer Simulationen. Argenti unterstrich auch die Bedeutung der Smartphone-basierten AR, die durch ARKit und ARCore einen Wendepunkt erreicht.

  "Die Kamera wird zu einem sehr mächtigen Werkzeug, um mit der Realität zu interagieren und die Welt um dich herum zu erkunden", sagte er. "Schnelle Grafikprozessoren können Informationen in Echtzeit überlagern, und Sensoren können bei der Erstellung einer 3D-Realität helfen. Die Idee ist, dass Sie einen hochwertigen, kontextsensitiven High-Definition-Sensor in den Händen von Milliarden von Menschen haben."



Wie Amazon Sumerian baute

Amazon begann Ende 2016 darüber nachzudenken, wie AR und VR für AWS-Kunden aussehen würden, und etwa ein Jahr später debütierte bei AWS re: Invent eine Vorschau. Dazwischen passierten ein paar Dinge.

Zunächst kaufte Amazon ein bankrottes schwedisches Startup namens Goo Technologies. Die 3D-Erstellungsumgebung Goo Create wurde zur Grundlage der integrierten Entwicklungsumgebung (IDE) von Sumerian.

Die visuelle 3D-Modellierung von Goo Create war ebenfalls ein webbasierter Cloud-Dienst, aber Amazon ging noch einen Schritt weiter, indem es das Back-End auf AWS verlagerte. Es gibt viele Vorteile, auf der bereits vorhandenen skalierbaren Cloud-Infrastruktur aufzubauen, aber ein großer Vorteil reduziert die Latenz erheblich. Laut Roche ist eines der größten Verkaufsargumente von Sumerian, dass es trotz der Leistungsfähigkeit des Editors nichts zum Herunterladen oder Installieren gibt. Während der Demo wurde Sumerian innerhalb von Sekunden von einer Browser-URL geladen. Selbst die Verarbeitung natürlicher Sprachen in Echtzeit (NLP) und das Rendern aufwändiger Animationen haben dies nicht wesentlich verlangsamt.

Wie bei Low-Code-Entwicklungsplattformen kann Sumerian auf einer grundlegenden Ebene ohne Entwicklererfahrung verwendet werden. Programmierer und Datenwissenschaftler können jedoch mit programmierbaren APIs und der Befehlszeilenschnittstelle von Sumerian viel tiefer gehen, um Szenen anzupassen und komplexe Anwendungslogik zu schreiben.

"Wir wollen ein Erlebnis, bei dem Sie klicken und sofort in der Szene sind", sagte Argenti. "Dann haben Sie 3D-Grafik-Tools, mit denen Sie Objekte ziehen und ablegen können. Sumerian ist ein visuelles Tool, das zuordnen kann, was passiert, wenn Aktionen oder Ereignisse stattfinden, möglicherweise ohne eine Codezeile zu schreiben."



Erstellen von sumerischen 3D-Apps

Die umfassendere Designphilosophie, die Amazon bei Sumerian verfolgt, besteht darin, das Erstellungserlebnis so weit wie möglich zu festigen. Roche ging davon aus, dass viele der sich wiederholenden Entwicklungsaufgaben maskiert werden sollten, sodass der grundlegende Prozess zum Erstellen einer sumerischen App unabhängig von den AR- und VR-Plattformen, auf denen Sie sie letztendlich veröffentlichen, derselbe ist.

Es beginnt damit, entweder eine Vorlage auszuwählen oder direkt eine neue Szene zu erstellen. Einige der Standardvorlagen von Sumerian umfassen Szenen wie Büroräume, Schulungsräume und Lagerhäuser, ein Frachtschiff und ein Lagerfeuer im Freien. Der Haupteditor unterstützt WebGL und WebVR und ist genauso aufgebaut wie viele der von uns getesteten Low-Code-Tools.

Auf der linken Seite befindet sich ein Entitätsfenster. Eine Entität ist im Wesentlichen eine Tabelle in einer Datenbank, mit deren Hilfe Sie die Daten verwalten können, die in Ihre App abgerufen werden. Darunter befindet sich das Asset-Fenster, in dem Sie nach den Objekten suchen können, die Sie in eine Szene ziehen möchten, oder die vollständige Asset-Bibliothek aller 3D-Modelle von Sumerian öffnen können. Laut Roche bezieht Sumerian eine Reihe von Open-Source-Objektbibliotheken und integriert diese in die Sketchfab-API. Amazon sei auch an einer Integration mit Plattformen wie TurboSquid und Googles Poly AR / VR-Objektbibliothek interessiert, sagte er. Sie können Ihre eigenen Assets auch in Sumerian importieren und in einer Szene ablegen.

"Das Asset-Panel kann als Drop-Zone für eine Anpassungs-Pipeline dienen", erklärte Roche. "Sie können die gängigsten 3D-Dateiformate ziehen. Wir konvertieren sie, optimieren sie und speichern sie für Sie. Wenn Sie dasselbe Asset in mehreren Szenen verwenden, tun wir dies auch im Back-End erstelle tatsächlich einen Referenzlink für dich."

In der Mitte des Bildschirms befindet sich die Hauptleinwand, in der Sie Assets und 3D-Modelle per Drag & Drop in eine Szene ziehen können. In der Ecke des Erstellungsbereichs befindet sich eine Schaltfläche zum Starten einer WebVR-Vorschau Ihrer Szene.

Darunter befindet sich der Timeline-Editor, der ähnlich wie Videobearbeitungswerkzeuge funktioniert. Wenn Sie Animationen und Sounds in Frames ziehen und mit der Visual State Machine Aktionen, Hostverhalten und Ereignisverläufe erstellen, wird alles in der Zeitleiste angezeigt, in der Sie einstellen können, wie ein Status in einen anderen übergeht.

Die rechte Spalte ist das Inspektorfenster, in dem die Details zu den Komponenten angezeigt werden, die Sie anzeigen, und wie Sie sie anpassen können. Bei einem Modell mit möglicherweise hundert verschiedenen Variationen können Sie Attribute und Texturen anpassen, ohne die Szene zu berühren.



Amazons Strategie: Integrieren Sie mit jedem

Sumerian spielt nicht nur im 3D-Entwicklungsbereich mit Plattformen wie Unity, Unreal Engine und Vuforia, sondern auch im erweiterten AR / VR-Ökosystem zusammen mit ARKit, ARCore und Windows Mixed Reality. Laut Roche wendet Sumerian die Philosophie "einmal erstellen, überall ausführen" auf AR / VR-Apps und insbesondere auf Unternehmensentwickler an.

"Pro 3D-Entwickler oder Pro-Animatoren verfügen über ein Studio, das mit ihnen zusammenarbeitet. Bei den meisten Web- oder Mobile-Entwicklern geht es jedoch um das Erlernen von Unity on the Job", so Roche. "Unity ist großartig, aber um wirklich gut darin zu sein, ist es bedeutend schwieriger, die Fähigkeiten, die sie haben - zum Beispiel, wenn sie gut in JavaScript sind - in 3D umzuwandeln. Deshalb haben wir beschlossen, uns darauf zu konzentrieren Teil des Marktes."

Sumerian unterstützt mehrere offene Kernstandards: WebGL, WebAR, WebVR und das kommende WebXR-Framework, mit dem AR / VR-Apps plattformübergreifend auf alle Geräte und Browser übertragen werden. Das World Wide Web Consortium (W3C) wird in den kommenden Monaten über die Ratifizierung von WebXR abstimmen. Ab diesem Zeitpunkt können sumerische Apps direkt in Browsern ausgeführt werden.

Sumerian ist zwischen WebGL, WebVR und WebXR vollkommen plattformunabhängig, und Sumerian hat native Wrapper veröffentlicht, die direkt in ARKit und ARCore für Smartphone-basierte AR-Apps integriert werden können. Laut Roche kann Sumerian Apps für jede Plattform erstellen, die WebVR unterstützt. Dies bedeutet nicht nur Oculus Rift und HTC Vive, sondern auch Samsung Gear VR, Google Daydream View und andere. Sumerian arbeitet auch eng mit dem Google Chrome-Team bei WebXR für browserbasierte Apps zusammen.

Der andere Hauptdarsteller im Raum ist Microsoft. Während Amazon nicht so weit ging zu sagen, dass Sumerian sich in das Windows Mixed Reality-Ökosystem integrieren würde, sagte Roche, dass die neueste RS4-Version von Microsoft HoloLens WebAR-Unterstützung enthält, was bedeutet, dass Sumerian HoloLens-Szenen ausführen kann. Amazon beobachtet auch andere Headsets von Unternehmen wie Magic Leap und Meta, aber sein Ansatz gibt Sumerian den Vorteil von Flexibilität.

"Wir haben eine Wahl getroffen. Wir hätten unseren eigenen Weg beschreiten und die Entwickler dazu drängen können", sagte Argenti. "Stattdessen haben wir uns entschlossen, so umfassend wie möglich den von uns als massiv erachteten Markt zu unterstützen. Sobald alles auf WebXR umgestellt ist, wird das gesamte Geräte-Ökosystem mit einbezogen. Wir verfolgen das zugrunde liegende Fundament."

• Sumerians KI-Hosts sind ein Game-Changer

  Gastgeber sind eines der wichtigsten Alleinstellungsmerkmale von Sumerian. Ein Host ist eine 3D-animierte Figur, die Sie in eine AR- oder VR-Szene einfügen können. Benutzer können Hosts Fragen stellen, und Entwickler können komplexe Aktionen, Verhaltensweisen, Gesten und Bewegungen skripten, die ein Host ausführen kann, wenn er Gespräche führt und Szenen durchläuft. Laut Roche hat Amazon Gastgeber aus aller Welt inspiriert, darunter auch Online-Spiele wie Second Life und Die Sims.

  Sumerian hat derzeit zwei Standard-Hosts - Cristine und Preston -, wird jedoch im Laufe dieses Jahres eine ganze Reihe von Hosts auf den Markt bringen. Amazon hat eine Menge Nuancen in diese KI-Charaktere eingebaut. Roche zeigte mir eine Demo von Cristine, in der er den Moderator in die Szene zog und das Inspektorfenster öffnete, um ihre Emotionen, Mimik und Gesten anzupassen. Amazon generiert automatisch Gesten, wenn der Host auf der Grundlage der Verarbeitung der Konversation in natürlicher Sprache spricht. Wenn Cristine also "Hallo" sagt, könnte dies eine winkende Geste auslösen.

  Mit einem so genannten Point-of-Interest-System können Sie im Editor ein Kontrollkästchen aktivieren, damit die Augen des Gastgebers immer auf die Kamera gerichtet sind. Wenn Sie also ein HTC Vive Pro tragen, das sich auf einer 360-Grad-Fläche bewegt, kann der Host Ihnen folgen. Wenn es sich um eine AR-App handelt, die mit Ihrer Smartphone-Kamera verbunden ist, erklärte Roche, dass das Deep-Learning-System von Amazon eine Gesichtsanalyse durchführen kann, um festzustellen, wo Sie sich befinden und wo sich Ihr Gesicht im Bild befindet, damit es so aussieht, als würde der Host über Ihren Bildschirm zurückblicken direkt bei dir. Es gibt Ihnen die Illusion eines Augenkontakts.

  Kunden können mit dem Amazon Maya SDK auch ihre eigenen benutzerdefinierten Hosts von Grund auf erstellen. Amazon bietet jedoch das Grundgerüst, mit dem Sie das Erscheinungsbild, den Dialekt und die Flexionen eines Hosts, die Sprache usw. anpassen können. Langfristig betrachtet Amazon Möglichkeiten, um die Erstellung von Hosts zu vereinfachen. Argenti sprach über die Idee eines Host-Generators für Ego-Avatare oder die Verwendung der Gesichtserkennung, um gerenderte Charaktere echten Menschen zuzuordnen.

  "Wenn wir in Verbindung mit der Erkennung prozedural so viele dieser Zeichen wie möglich generieren, können wir versuchen, Sie dem nächstgelegenen Avatar zuzuordnen. Wir nehmen Ihr Foto auf, führen eine umgekehrte Gesichtserkennung durch und ordnen es einem zufälligen Charakter zu ein Host, der wie eine Version von dir aussieht."

  Argenti erklärte, wie die Integration anderer AWS-Dienste wie des Amazon Comprehend-Dienstes für die Verarbeitung natürlicher Sprache Hosts noch realistischer machen kann. Verstehen analysiert Text, um Metadaten zu Themen wie Stimmungs- und Stimmungsanalyse zu extrahieren. Ein Gastgeber könnte also einen anderen Gesichtsausdruck oder eine andere Art und Weise haben oder sprechen, basierend auf der Stimmung der Person, mit der er interagiert.

  "Wenn sie wütend sind, beruhigt der Wirt sie vielleicht", sagte Argenti. "Es gibt eine Entwicklung nicht nur in der Art und Weise, wie wir Informationen vermitteln, sondern auch in der Art und Weise, wie wir sie durch eine tiefgreifende Stimmungsanalyse präsentieren."



Die Voice Services hinter Alexa nutzen

Gastgeber sind nicht besonders gut, wenn sie nicht sprechen können. Sie können in einer sumerischen App nicht "Hey Alexa" sagen, so wie Sie Cortana in Windows Mixed Reality aktivieren können. Stattdessen verwendet Amazon die APIs zur automatischen Spracherkennung und zum Verstehen natürlicher Sprachen, die hinter Alexa stehen, um Hosts Gespräche zu ermöglichen.

Sumerian ist in Amazon Lex und Amazon Polly integriert. Polly ist ein Text-zu-Sprache-Dienst, der Text in Skripte umwandelt, die ein Host sprechen kann. Lex ist eine NLP-Engine zum Erstellen von Konversationsschnittstellen. Auf diese Weise können Hosts verstehen und darauf reagieren, was Benutzer in einer AR- oder VR-App sagen. Sumerian unterstützt derzeit über Polly mehr als zwei Dutzend Sprachen, und es gibt eine Lippensynchronisierungsfunktion, die die Mundbewegungen des Gastgebers an die Trittfrequenz der Sprache oder Sprache anpasst.

"Stimme ist ein Medium, das wirklich Sinn macht, während Sie in AR oder VR eintauchen", sagte Argenti. "Ich möchte mit einer Figur sprechen, wenn ich sie dort stehen sehen kann. Also haben wir zwei dieser Werkzeuge aus der KI-Gruppe genommen und versucht, sie wirklich zu personifizieren. Wir möchten, dass die Szene zuhören und auf uns reagieren kann. Also Sie können einen ganzen Lex-Flow wie für einen Chatbot nehmen und ihn einfach auf den Charakter ziehen. In vielerlei Hinsicht ist es tatsächlich einfacher, als eine Alexa-Fertigkeit aufzubauen."



Scripting-Logik in immersiven Welten

Mit der Visual State Machine von Sumerian können Sie komplexe Sequenzen und virtuelle Simulationen erstellen. Mithilfe des visuellen Timeline-Editors oder der vollständigen JavaScript-Oberfläche können App-Ersteller und -Entwickler mithilfe von Skripts steuern, wie Hosts oder andere Objekte in Ihren Szenen auf unterschiedliche Aktionen reagieren. Zum Beispiel enthält Sumerian ein fliegendes Drohnenobjekt, das Sie als Skript zum Herumfliegen verwenden können.

Dies alles wird komplizierter, wenn Sie reale Objekte in die Gleichung einführen. Da Argenti auch die Bereiche Serverless Computing und IoT bei AWS überwacht, sprach er darüber, wie die Verbindung von Sumerian mit AWS-Diensten wie Lambda und Greengrass mehr Möglichkeiten für komplexe Simulationen eröffnen kann. Mit Greengrass können maschinell lernende Modelle lokal auf IoT-Geräten ausgeführt werden. Stellen Sie sich ein ML-Modelltraining mit den Daten vor, die von einer Maschine in einer Fabrik stammen, und ziehen Sie diesen Algorithmus dann nach Sumerian, um dieselbe Maschine mithilfe von KI zu simulieren.

"Es könnte wirklich eine simulierte Welt in AR und VR geben, in der jede Figur oder jedes Objekt aus dem maschinellen Lerntraining in der realen Welt intelligent ist", sagte Argenti. "Letztendlich möchten Sie versuchen, die Realität so realistisch wie möglich nachzubilden. Heute können wir uns dem nähern, aber vom Standpunkt des Verhaltens aus ist es noch nicht ganz so weit, um zu simulieren, wie die Dinge tatsächlich funktionieren."



Weatherbugs simulierter Meteorologe

Als Amazon mich durch ein paar Kundendemos von Sumerian führte, war ich zunächst überrascht, als es sich bei der ersten um eine Wetter-App handelte.

Wie Olivier Vincent, General Manager von WeatherBug, erklärte, ist die virtuelle Realität für Wetterdaten weitaus sinnvoller als man denkt. Während die Leute angefangen haben, ihr Wetter in Apps zu überprüfen, anstatt Prognosen im Fernsehen zu sehen, haben laut Vincent die Wetterberichte einen ihrer schönsten Momente eingebüßt: Ihren lokalen Wettermann vor einem grünen Bildschirm.

"Bei Wetter geht es darum, Ihnen zu sagen, was zu einem bestimmten Zeitpunkt an einem bestimmten Ort vor sich geht. Sie können es in Ihrer App auf nette 2D-Weise für einen kurzen Blick tun, aber wir wussten, wie beliebt Wettermänner und -frauen im Laufe der Jahre waren." sagte Vincent. "Die Idee ist also, diese Wetterperson wieder in die App einzuführen."

WeatherBug baute eine sumerische Szene mit einem virtuellen Nachrichtenstudio mit einem Ankerschreibtisch und Greenscreens auf und ließ Amazons standardmäßigen Cristine-Gastgeber als Meteorologen eintreten. Die App ruft aktuelle Wetterdaten für Ihren Standort ab, die der Host Ihnen dann im Rahmen einer personalisierten Wettervorhersage zurückliest. Über die Haupt-WeatherBug-App startete Vincent den VR-Viewer, der durch ein 3D-Modell von Manhattan zoomte, während Cristine die Vorhersage mit hohen und niedrigen Temperaturen und fallenden Schneeflocken abgab.



Addison, die virtuelle Pflegekraft

Das in New Mexico ansässige Gesundheitsmanagement-Technologieunternehmen Electronic Caregiver hatte eine ganz andere sumerische Erfahrung.

Das Unternehmen bietet Technik für ältere Menschen wie ein Wearable mit einem medizinischen Hilfsknopf an, hat jedoch auch eine Lösung namens Addision Care entwickelt, die die Kosten für die häusliche Pflege senkt und mithilfe von Gesprächs-KI das Sturzrisiko älterer Patienten bewertet. Das Unternehmen gibt einen Kiosk für Apotheken, Krankenhäuser und Kliniker frei, der den Gang eines Patienten mithilfe von maschinellem Lernen analysiert. Die Software verwendet auch Addison, einen benutzerdefinierten sumerischen Host, um Benutzer durch einen verbalen Fragebogen über ihre Sturzhistorie zu führen.

"Senioren dazu zu bringen, Technologie einzuführen, ist nicht so einfach", sagte Bryan Chasko, CTO von Electronic Caregiver. "Wenn es besser wird, wird die Sprachtechnologie diesen Markt erobern. Sie werden sie niemals dazu bringen, sich vor eine Tastatur und eine Maus zu setzen, aber mit Addison können sie einfach ein Gespräch führen."

Electronic Caregiver arbeitet seit Jahren an Addison und hat den 3D-Charakter mit Amazon Lex und Polly entwickelt. Das Unternehmen ist einer der AWS-Kunden, die Amazon geholfen haben, die mit Sumerian zu lösenden Schwachstellen zu konzipieren und die AR / VR-Pipeline für die App-Erstellung zu automatisieren.

Judah Tveito, ein virtueller Entwickler bei Electronic Caregiver, sagte, Sumerian habe Prozesse, an denen sie seit Monaten gearbeitet hatten, in ein paar Klicks umgesetzt. Das Unternehmen arbeitet auch an einer mobilen Addison-App.

"Electronic Caregiver" sieht Addison letztendlich als virtuelle Pflegekraft für zu Hause ", sagte Chasko. Für ältere Benutzer, die alleine leben, kann die KI Dinge tun, die sie daran erinnern, Medikamente einzunehmen, oder automatisch 911 anrufen, wenn es zu einem Sturz oder einem anderen medizinischen Notfall kommt.

"Eines der größten Probleme, mit denen wir uns befassen können, ist die Isolation, die Senioren empfinden, wenn sie alleine leben", sagte Chasko. "Wir möchten wirklich eine permanente, rund um die Uhr verfügbare Umgebung, in der Sie, wenn Sie nicht mit Addison sprechen, im Badezimmer sind und einfach nur schreien können, dass ich Hilfe brauche, kann viele Leben retten."



Die Moneymakers: B2B und IoT

Amazon hat viel darüber gesprochen, wie sumerische Apps in interaktiver digitaler Beschilderung leben können. Stellen Sie sich vor, jemand geht durch eine Hotellobby, ein Einkaufszentrum oder ein Stadion und sieht einen Gastgeber auf einem Bildschirm neben sich. Es mag ein bisschen gruselig klingen, aber die Hosts könnten auch Kontextinformationen wie den Standort verarbeiten, um die Anzeige in eine personalisierte Konversation zu verwandeln. Argenti sieht Hosts als virtuelle Erweiterungen der Marke eines Unternehmens, die sich je nach den Anforderungen eines Unternehmens ändern können.

"Wenn Sie diese Apps irgendwo mit einer Kamera veröffentlichen, können Sie sich einen 3D-Charakter vorstellen, der mit Ihnen persönlich in Kontakt steht: zu wissen, wer Sie sind, vielleicht das letzte Mal, als Sie am Veranstaltungsort waren, oder sogar das Letzte, was Sie bestellt haben", sagte Argenti.

"Ein Kreuzfahrtschiff ist ein gutes Beispiel. Der Gastgeber könnte sagen, 'Hey, je nachdem, wo Sie gerade auf dem Schiff sind, Ihre Reservierung in 20 Minuten, werden Sie es nicht schaffen. Wollen Sie, dass ich es zurückschiebe 15 Minuten? Die Erlebnisse, die Sie neu erstellen, haben auch einen visuellen Aspekt: ​​Ein Gastgeber, der mit Ihnen über Reisen spricht, sieht anders aus als einer, der mit Ihnen über Ihre finanziellen Strategien spricht sie finden sich selbst, wie sie sich kleiden und wie sie sich bewegen, welche Beugungen sie haben."

Amazon untersucht eine Reihe von B2B- und IoT-Anwendungen für sumerische Kunden. Laut Argenti hat Nokia im industriellen Bereich ein System mit Sensoren und Visualisierungen zusammengestellt, mit denen die Umgebung in Versandbehältern überwacht werden kann, um beispielsweise die Innentemperatur und die Stoßdämpfung zu messen, ohne diese tatsächlich zu öffnen.

"Sie können sich eine AR-Welt vorstellen, in der wir Millionen von Geräten an AWS anschließen und viele sensorische Daten aus der realen Welt abrufen", sagte er. "Dann können wir AR mit Triangulation verwenden, um ein Objekt zu identifizieren und relevante Informationen darüber anzuzeigen. Es gibt dort eine enorme Anwendbarkeit für alles, was von Service und Reparatur bis zu Überwachung, Sicherheit usw. reicht."

Es gibt auch breite E-Commerce-Möglichkeiten, wenn Sie mit virtuellen Assets arbeiten. Jedes 3D-Modell in sumerischer Sprache, das aus dem eigenen Einkaufskatalog von Amazon stammt, hat das Potenzial, Empfehlungsgebühren für Entwickler zu verdienen, wenn Sie es einer AR / VR-Szene hinzufügen. Auf diese Weise können sowohl Unternehmen als auch kleinere Unternehmen und unabhängige Entwickler von AWS ihre sumerischen Apps monetarisieren.

Argenti sieht eine Vielzahl von Crossover-Möglichkeiten zwischen der Einzelhandelsabteilung von Sumerian und Amazon.

"Wir können einen Teil der Arbeit, die unser Einzelhandelsteam für Heimtextilien, Heimelektronik und andere hochwertige Artikel leistet, miteinander verbinden, um 3D-Modelle zu erstellen", sagte er. "Dann können Sie sie für einen fotorealistischen Durchgang durch einen Raum verwenden. Wie richte ich ein modernes Loft ein? Welche Art von Möbeln organisieren wir?"



Alles kommt zurück zu AWS

Wenn Sie Brücken zu allen AR / VR-Geräten und -Plattformen bauen, können Sie auf intelligente Weise die Markteintrittsbarriere für die AR / VR-Entwicklung senken. Dies gilt nicht nur für B2B-Unternehmen, sondern auch für Entwickler im Allgemeinen. Gleichzeitig ist der wichtigste Geschäftsanreiz für Sumerian, eine breitere Nutzung von AWS voranzutreiben. Dies gilt sowohl für bestehende Kunden, die den neuen Service ausprobieren, als auch für neue sumerische Benutzer, die damit beginnen, die Speicher-, Rechen-, Verarbeitungs-, KI- und anderen Services von Amazon zu nutzen, da sie alle in das Erlebnis integriert sind. Auch das Preismodell ist attraktiv, da Amazon keine Vorabgebühren erhebt. AWS berechnet nur für das, was Sie verwenden.

Es ist alles Teil dessen, was Amazon als größere Schleife ansieht, in der alles über AWS fließt. Daten stammen von einem IoT-Gerät, werden von einer AWS Lambda-Funktion verarbeitet, in AWS Greengrass bereitgestellt, um zu AWS IoT zu gelangen, wo ein Modul für maschinelles Lernen trainiert wird, und werden schließlich als 3D-Modell in eine AR-Visualisierung in Sumerian gezogen.



Amazons Vision für unsere AR / VR-Zukunft

Amazon hofft, dass Sumerian einen Beitrag dazu leisten kann, die Branche dazu zu bewegen, 3D-Massenprodukte herzustellen und die Kosten zu senken. Auf der AR-Seite sagte Argenti, dass die grundlegenden Aktivierer dank ARKit und ARCore vorhanden sind. Er sagte, der Wendepunkt werde kommen, wenn es genügend Apps und Videoinhalte von Entwicklern gäbe. Auf der VR-Seite besteht die große Hoffnung von Amazon darin, dass der Preis für Hardware sinkt, der Tragekomfort abnimmt und die drahtlose Verbindung hergestellt wird.

"Wenn das passiert und Sie eine VR-Erfahrung wie eine Brille tragen können, wird VR wirklich abheben", sagte Argenti. „Ich denke, es muss so natürlich sein wie das Anschauen eines Videos auf einem Tablet oder das Einschalten eines Fernsehers, bevor es für den Mainstream-Verbrauch auf demselben Niveau wie die anderen Bildschirme, die wir heute haben, bereit ist. So können Sie ein ganzes Ökosystem aus Content-Erstellern, Werbetreibenden, Endnutzern und Unternehmen aufbauen, die diesen Nutzern gerecht werden. “

Argenti unterstrich auch die Wichtigkeit des Eintauchens in virtuelle und gemischte Realitätserfahrungen. Ein weiterer Anwendungsfall von Amazon für sumerische Apps ist die Aus- und Weiterbildung. Egal, ob Sie lernen, wie man ein medizinisches Gerät benutzt, ein Fahrzeug wartet oder eine neue Sprache lernt, es gehe darum, Sie in eine Umgebung zu entführen, die sich so viszeral wie möglich anfühlt.

"Man könnte sich in ein französisches Bistro setzen und die Sprache lernen, ohne wirklich da zu sein", sagte er. „Host-Avatare sprechen Französisch mit dir. Die Menüs sind in Französisch. Und dann könnten Sie innerhalb dieser Realität automatisch ein Menü berühren und sehen, wie es übersetzt wird, indem Sie mit dem Finger über einen Gegenstand fahren, um zu sehen, wie sich die Wörter in eine andere Sprache ändern. So viel Bildung ist kontextabhängig, und als Lerninstrument ist es sehr wichtig, alle Sinne an einer Erfahrung zu beteiligen. “