Zuhause Appscout Schneller Vorlauf: Thad Starner spricht mit Google Glass und hilft Hunden beim Reden

Schneller Vorlauf: Thad Starner spricht mit Google Glass und hilft Hunden beim Reden

Video: Thad Starner Wears the Future (Juli 2024)

Video: Thad Starner Wears the Future (Juli 2024)
Anonim

Ich war letzten Monat in Austin, Texas, für SXSW Interactive, wo ich die Gelegenheit hatte, mich mit einer Reihe von Führungskräften der Technologiebranche für meine Videoserie Fast Forward zusammenzusetzen, darunter Chris Becherer, Vice President of Product bei Pandora.

In dieser Ausgabe von Fast Forward sprechen wir mit Thad Starner, Professor für Computing an der Georgia Tech. Thad war der technische Leiter eines Projekts, das die Welt schließlich zu Google Glass führte, das er während unseres Chats trug. Aber er ist viel länger im tragbaren Raum und seine Arbeit konzentriert sich auf die Natur der Mensch-Maschine-Schnittstelle. Seine jüngste Arbeit besteht darin, tragbare Gedankenlesegeräte für Hunde zu bauen. Schauen Sie sich unseren Chat im Video und im Transkript unten an.

Dan Costa: Es ist eine geschäftige SXSW. Von Augmented Reality ist viel die Rede. Von virtueller Realität ist viel die Rede. Wearables sind immer noch ein sehr heißes Thema. Wenn die meisten Menschen an Wearables denken, denken sie entweder an Google Glass oder an ein Fitbit, das Sie am Handgelenk tragen, um Ihre Schritte zu verfolgen. Was denken Sie, wenn Sie an Wearables denken?

Thad Starner: Nun, für mich ist es jeder Computer, jedes am Körper getragene Gerät, das Ihnen hilft, während Sie eine andere, primäre Aufgabe erledigen. Es ist jeder am Körper getragene Computer, der sekundär sein soll. Es hilft Ihnen bei einer anderen Hauptaufgabe, z. B. beim Beantworten von Fragen während eines Interviews.

Meine Notizen sind auf meinem iPad mini. Ich muss weiter nach unten schauen, um die neuesten Notizen zu erhalten und Ihren Titel richtig zu machen. Sie haben das in sich richtig.

Ja. Alles, was ich tun muss, ist einen Blick nach oben zu werfen, ein paar Worte zu nehmen und gleich zum Gespräch zurückzukehren. Meine alten Systeme, ich weiß nicht, ob Sie sich einige meiner älteren Bilder angesehen haben, aber meine älteren Systeme hatten die Anzeige genau hier. Tatsächlich gab es ab 1997 eine, bei der es sogar in der Linse war. Das hat damals eine Firma namens Micro Optical gemacht. Das erlaubt Ihnen, mit einem intelligenten Assistenten, der Ihnen von Sekunde zu Sekunde helfen kann, ziemlich einfach zu sein. Es ändert wirklich Ihr Selbstvertrauen und Ihre Fähigkeit, Dinge im Handumdrehen zu tun, über die Sie normalerweise stolpern.

Sie gehörten zur ursprünglichen Besatzung. Es sieht so aus, als wären Sie fast im Wettbewerb, um zu sehen, wer das coolste, raffinierteste und funktionellste tragbare System bauen kann.

Ich habe 1990 angefangen, mein System zu bauen, aber ich habe immer wieder versagt. Erst 1993 hatte ich endlich ein System, das ich in meinem täglichen Leben tragen konnte. Zu der Zeit arbeitete ich für eine Firma namens BBN. Sie halfen bei der Herstellung der ersten Router für das Internet. Nachdem ich das Gerät aufgelegt hatte, stellte ich in einem Monat fest, dass es nicht nur eine gute Recherche war. Es war ein guter Lebensstil.

Darum geht es bei diesen Geräten. Es schafft einen Killer-Lebensstil für Sie. Natürlich hatte ich damals eine Handyverbindung für das Internet, die in Fuß und nicht in Bitrate gemessen wurde. Mit anderen Worten, wie viele Meter konnte ich gehen, bevor der analoge Anruf abgebrochen wurde und ich die Verbindung erneut wählen musste?

Schließlich ging ich zurück zum MIT Media Lab und fing an, mehr und mehr Studenten zu rekrutieren, die sich dafür interessierten. Wir hatten einen kleinen Konvoi von Leuten, die die Geräte für ihre speziellen Bedürfnisse herstellten, und wir fanden heraus, wie wir als Gemeinschaft von Cyborgs leben sollten. Das hat unsere Meinung zur Technologie geändert. Ich gebe Ihnen ein Beispiel: Angenommen, Sie kommen als VIP zum Besuch des Labors. Wir lassen eine Person mit Ihnen über Ihre Interessen sprechen. Währenddessen werden Nachrichten zwischen den Augäpfeln der anderen Mitglieder der Gruppe angezeigt, die versuchen, Ihren Tag zu planen. "Oh, er ist sehr interessiert an erweiterten Sinnen. Also nehmen Sie ihn zum Mittagessen mit. Ich muss um drei zum Arzt, damit ich ihn um zwei bekomme." Diese Personen tippen also auf ihren Tastaturen und senden sich gegenseitig Nachrichten, während die Konversation versucht, einen Tag basierend auf Ihren Interessen zu planen. Es kommt irgendwie auf die Bühne der Telepathie.

Oft klingt es sehr nach Slack, wo wir in Echtzeit kommunizieren und verschiedene Segmente Gestalt annehmen. Aber anstatt es terminalbasiert zu machen und es an einen Computer anzuschließen, an dem Sie sich vor Ihrem Laptop oder Telefon befinden müssen, ist es immer da, wo Sie sind. Sie können zwei Dinge gleichzeitig tun. Sie können dieses Gespräch führen und ein Mittagessen einplanen.

Nun, nein, das willst du nicht. Ihr IQ sinkt um 40 Punkte, wenn Sie das versuchen. Sie möchten, dass der Computer die Konversation unterstützt. Zum Beispiel haben wir ein System namens Remembrance Agent, das über ein kleines Mikrofon mit Geräuschunterdrückung verfügt, meine Seite des Gesprächs abhört und alles, was ich sage, wird transkribiert und in einen Textpuffer geschrieben. Und dann sucht der Computer ständig nach früheren E-Mails, früheren Veröffentlichungen und Gesprächen, die sich möglicherweise auf das beziehen, worüber wir sprechen. In meinem Display werden kleine Erinnerungen an die Details angezeigt, die ich möglicherweise in dieses Gespräch einbeziehen möchte. Es unterstützt also das Gespräch und gibt mir Informationen.

Ich hatte einen Studenten, der mit mir über Spracherkennung sprach - wie Sie Spracherkennung mit Wearables verwenden möchten. Und ich sagte, wenn Sie das wirklich tun wollen, sollten Sie - und ich habe meine Notizen hochgezogen, während wir das Gespräch führen -, ich sage zu ihm, Sie sollten sich wirklich Steve Whittakers Vortrag über Filochat von 1995 ansehen. Ich glaube Er hatte einige großartige Details darüber, wie bis zu 93 Prozent des Tages der Menschen in opportunistischer Kommunikation verbracht wird. Ich habe ihn mit all diesen Details versorgt. Mein Schüler sah mich nur an wie "Woher weißt du das alles?" Hier ist alles in Ordnung. Ich wusste genug, um nach Steve Whittaker zu suchen, und dann versorgte mich der Computer mit allen Details. Diese Art von Unterstützung in Echtzeit zu haben, ist wirklich großartig.

Wir haben es auch schon einmal gemacht, als ich an der National Academy of Sciences in Washington, DC, ein Zeugnis darüber ablegte, wie man Menschen vermehrt. Ich habe ihnen gezeigt, was ich tat. Ich hatte meine Studenten, meine Doktoranden, zurück an der Georgia Tech - also war ich in DC, meine Studenten an der Georgia Tech hörten zu und ich zeigte allen, dass ich ein Live-Feedback zur Georgia Tech hatte. Ich habe sowohl meine Präsentationsnotizen als auch die Notizen meiner Schüler erstellt, die sie in Echtzeit vorgeschlagen haben.

Als ich aussagte, sagten sie: "Oh, du solltest darüber reden" und sie warfen mich eine URL, "oder du solltest darüber reden" und Sachen werfen und andere Informationen liefern. Die Jury, die mich interviewte, fing an, Fragen an die Studenten zu richten, nicht an mich.

Ich war nur eine Art Face Man für all das Wissen dieses Konsortiums von Leuten im Labor, die schnell Fragen beantworten konnten, weil sie Experten auf dem Gebiet waren. Aber sie konnten viel schneller nach Informationen suchen als ich. Sie benutzten mich einfach, um zu reden. Diese intellektuellen Kollektive, diese Fähigkeit, sich an Experten zu wenden und Ihnen in kürzester Zeit weiterzuhelfen, ist eine mächtige Sache. Wenn Sie dagegen versuchen, während eines Gesprächs "E-Mail lesen" zu sagen, klingen Sie wie ein Idiot. Menschen können nicht sehr gut mehrere Aufgaben ausführen.

Es ist kein Multitasking. Es ist wirklich eine Erweiterung.

Richtig.

Es scheint, als ob sich die Natur des Schlauwerdens, die Natur des Wissens und die Natur der Intelligenz geändert hat. Früher musste man sich all diese Dinge merken, um sich mit ihnen zu unterhalten, ohne sich auf Ihre Notizen zu beziehen, und das ist nicht mehr das Paradigma. Sie müssen nur wissen, welche Fragen Sie stellen müssen, und mit einem System verbunden sein, das Ihnen diese Antworten liefern kann.

Es gibt eine bestimmte Menge an Informationen, die Sie verinnerlichen müssen, damit Sie sie schnell nachschlagen und in diesen Bereichen nachdenken können. Bei vielen anderen Dingen möchten Sie jedoch nur das Wissen der Welt zur Hand haben und es bereitstellen lassen wenn du es brauchst. Diese Idee des Abrufs von Just-in-Time-Informationen ist sehr wirkungsvoll. Ich denke, das wird in den nächsten fünf oder zehn Jahren passieren. Wir werden diese intelligenten Assistenten haben, die uns von Sekunde zu Sekunde helfen können.

Das ist eines der großartigen Dinge an tragbaren Computern. Was ich für tragbare Computer halte, ist, dass der Computer ein Teil von uns wird. Sie haben wahrscheinlich schon einmal ein Fernglas benutzt, oder? Es ist etwas, das Sie abholen. Sie sehen etwas in der Ferne. Sie stellen den Fokus ein. Sie sind irgendwie pingelig, oder? Sie müssen sie genau richtig halten und den Fokus jedes Mal anpassen, wenn Sie von einem Motiv zum nächsten wechseln. Du legst sie rauf und runter. Sie sehen Ihr Fernglas nicht als Teil von Ihnen. Aber deine Brille, du setzt sie auf und du benutzt sie den ganzen Tag. Du siehst durch. Du denkst nicht an sie. Du benutzt sie einfach. Also, was haben wir gerade mit den meisten dieser Geräte, den meisten dieser Computer, unseren Smartphones, unseren Tablets; Sie sind nicht Teil von uns. Sie sind andere.

Sobald Sie die Geräte in die Nähe des Körpers bringen, kommt die Technologie plötzlich aus dem Weg. Das ist das Paradoxon tragbarer Computer. Indem die Technologie dem Körper nahe gebracht wird, wird sie aus dem Weg geräumt. Ich denke, dort werden wir in Zukunft hingehen. Wir werden immer mehr Möglichkeiten für Technologien finden, um uns zu unterstützen, leistungsfähiger, unabhängiger, selbstbewusster und besser informiert zu werden - von Sekunde zu Sekunde. Ich möchte, dass diese intelligenten Assistenten von etwas ausgehen, mit dem Sie sprechen. zu etwas, das ein Teil von dir ist. Etwas, das Sie von einem Moment zum nächsten sehr proaktiv unterstützt.

Ich denke, dass das Konzept, die Welt durch die Technologie zu erleben und nicht nur die Technologie zu nutzen, ein entscheidender Unterschied ist.

Darauf habe ich hingearbeitet. Vieles davon ist einfach die Zugriffsgeschwindigkeit. Larry Page sagte zu mir: "Es geht darum, die Zeit zwischen Absicht und Handlung zu verkürzen." Ich war geschockt. Ich habe versucht, die Bedeutung der Zugriffsgeschwindigkeit eines Geräts zu artikulieren. Hier tat er es in einem Satz. Die Zeit zwischen Absicht und Handeln ist entscheidend.

Eine der Demos, die ich mache, ist, dass jeder zwei Aufgaben erledigt. Ich lasse sie ihre Hand heben, nachdem sie jede Aufgabe erledigt haben. Also sage ich etwas wie "Okay, wie spät ist es?" Ich werde meine Hand heben, weil meine Zeit gerade auf der Vorderseite meines Bildschirms steht und mein Publikum die Aufgabe auch sehr schnell erledigt. Dann ist die zweite Aufgabe die Beantwortung einer Frage wie "Wo ist der Pinatubo?" Ich kann meine Hand heben, weil die Frage mir jetzt die Antwort auf meinem Bildschirm gab. Es ist auf den Philippinen und tatsächlich habe ich eine kleine Karte, wo es sich gerade auf meinem Bildschirm befindet.

Für mein Publikum ist es so schwierig, schnell an diese Informationen zu gelangen, dass es sich nicht einmal die Mühe macht, dies zu tun. Ich spreche über technische Zielgruppen wie Xerox Park oder Georgia Tech oder Stanford. Hier bin ich also, in einem Publikum voller Nerds, und mache ein Experiment mit ihnen, und die meisten von ihnen machen sich nicht einmal die Mühe, an diese Informationen zu gelangen, weil sie wissen, dass es zu lange dauern wird.

Was ist, wenn wir es von etwas, das zu lange dauert, zu etwas ändern können, das so einfach ist wie das Überprüfen der Zeit. Plötzlich macht man die Leute viel mächtiger. Wenn Sie die Zeit der Handlungsabsicht auf maximal zwei Sekunden verkürzen können, werden die Leute dies plötzlich tun, ohne darüber nachzudenken. Es ist ein Teil von ihnen. Sobald es länger als zwei Sekunden dauert, wird die verwenden geht exponentiell nach unten und die Leute denken an ein "anderes".

Bevor wir mit der Aufnahme begannen, sprachen wir über Schutzheilige. Und wir versuchten herauszufinden, wovon der heilige Stanislaus der Schutzpatron war. Ich habe ein Tablet mit Internetverbindung in der Hand. Ich wollte die Informationen. Aber ich habe mich nicht darum gekümmert, Google zu öffnen, es einzutippen und danach zu suchen, weil es mich nicht so sehr interessierte. Aber nur durch dieses Gespräch tauchte es auf Ihrem Bildschirm auf.

Ich meine, ich habe es hier. Ich habe nur gefragt. Dies ist expliziter. Ich sagte einfach gefragt, "Saint Stanislaus war der Schutzpatron von?" - die Antwort ist Polen - und tauchte dann ein paar Sekunden später auf. Es ist ziemlich mächtig. Es verringert die Zurückhaltung, Informationen darüber in der Welt zu finden. Es ist großartig für mich als Professor, weil es mich intelligenter erscheinen lässt als ich bin.

Das ist etwas, was passiert ist, als ich Student am MIT war. Ich nahm an einem Kurs von Justine Cassell teil und es ging darum Geste . Während einer Überprüfung vor der Abschlussprüfung fragte sie: "Was war die Bedeutung von Deixis?" Ich hatte alle meine Notizen auf meinem Computer und konnte mit dieser Tastatur sehr schnell darauf zugreifen. Es war, bevor die Spracherkennung sehr gut wurde. Ich würde meine Sätze so aufbauen, dass ich die Antwort rechtzeitig finde, um einen Satz zu beenden.

Also hob ich meine Hand, um die Frage zu beantworten. Sie hat mich angerufen. Ich sagte: "Zu Beginn des Unterrichts sagten wir, die Bedeutung der Deixis sei ähm, ähm, ähm, " weil ich einen Fehler gemacht habe. Ich habe meine Tastatur fallen lassen. Ich bin in den falschen Modus von E-Macs geraten. Ich sagte: "Ich muss mich bei Ihnen melden. Ich bin im falschen Modus."

Die ganze Klasse brach in Lachen aus. Sie hatten die ganze Zeit mit mir verbracht und nicht bemerkt, dass ich das täglich tue. Ein Professor, der den Kurs mit mir nahm, beugte sich vor und sagte: „Jetzt will ich einen. Sie tun dies die ganze Zeit, oder? Sie können Informationen so schnell abrufen. Ja, genau das ist der Grund, warum ich das tue.

Es war erstaunlich, dass diese Professoren und Studenten, mit denen ich jahrelang zusammengearbeitet hatte, nie realisiert haben, wie viel Unterstützung mir das Gerät bietet. Als ich das erste Mal einen professionellen Vortrag hielt, kam einer der älteren Studenten auf mich zu und sagte: "Das war das beste Gespräch, das ich je von Ihnen gehört habe, aber warum haben Sie Ihren Computer getragen?"

Sie hatte keine Ahnung, dass die meisten Leute 3 mal 5 Karteikarten haben, aber ich habe es hier oben. Diese Art von Unterstützung hat mich zu einem besseren Redner gemacht. Zu der Zeit war es für die Leute einfach überwältigend, dass Sie Ihre Maschine auf diese Weise nutzen konnten.

Machen wir also einen kleinen Pivot. Wir haben viel über menschliche Wearables gesprochen. Du arbeitest jetzt mit Hunden. Erläutern Sie Ihre Arbeit.

Das Projekt heißt FIDO, Facilitating Interactions for Dogs with Occupations. Ja, es ist ein Akronym, aber es ist süß. Die Idee ist, dass es all diese Arbeitshunde gibt. Hunde, die allergisch oder medizinisch alarmiert sind, suchen und retten, erkennen Bomben, untersuchen TSA auf Schmuggelware oder in der Landwirtschaft. Diese Hunde machen viele Jobs, aber es fällt ihnen sehr schwer, ihren Hundeführern mitzuteilen, was sie fühlen und was sie denken.

Wir hatten vor ein paar Jahren einen unserer Trainer, um eine Demonstration zu machen. Sie ist eine Diabetikerin und eine dieser Menschen, die an einem Mangel an Blutzucker ohnmächtig werden kann. Sie hat einen Hund, der darauf trainiert ist, auf diese Alarmsituation zu reagieren. Der Hund geht und findet die nächste Person, packt sie und versucht, sie zu ihr zu bringen, weil sie bald ohnmächtig wird.

Bevor sie in Ohnmacht fällt, geht es und holt Hilfe?

Ja. Es kann tatsächlich spüren, dass sich die Körperchemie verändert Geruch und holen Sie sich Hilfe. Dies geschah am Sicherheitstor des Flughafens von Atlanta, und der Hund tat, wozu er ausgebildet war - und stieg in einen TSA-Sicherheitsbeamten ein. Der Sicherheitsbeamte dachte nur, der Hund sei freundlich, aber unser Trainer sagte: "Ich werde in einer Sekunde ohnmächtig. Ich muss mich setzen." Sie können sich vorstellen, dass es viel besser wäre, wenn der Hund sprechen könnte.

Also haben wir eine Weste gemacht, bei der der Hund Alarm schlägt, indem er die Weste zieht. Wenn der Sensor aktiviert ist und sagt: "Bitte folgen Sie mir. Mein Besitzer benötigt Ihre Unterstützung." Natürlich denken die Leute, wenn Sie dies zum ersten Mal testen, dass ihnen ein Streich gespielt wird, oder sie glauben es einfach nicht. Hat dieser Hund gerade mit mir gesprochen?

Es ist eine Audioaufnahme einer menschlichen Stimme, die diesen Satz tatsächlich sagt?

Ja. Wir müssen den Hund zweimal trainieren, weil die Menschen es das erste Mal nicht glauben.

Sagt der Hund beim zweiten Mal: ​​"Nein, wirklich! Ich meine es diesmal so?"

Nein, wir lassen es einfach das Gleiche wiederholen und es scheint zu funktionieren. Wir testen es immer noch. Wir müssen es an einigen ahnungslosen Leuten von Georgia Tech testen und sehen, was sie sagen. Wenn es Ihnen passiert, wissen Sie, dass es Teil unserer Tests ist. Wir werden einen unserer Assistenzhunde im Training haben, der hierher kommt, um diese Demonstration zu machen.

Dieser Hund muss heute Nachmittag um 14 Uhr neue Tricks lernen?

Eigentlich dachten wir anfangs, dass wir Probleme haben würden, den Hund zu SXSW zu bringen, und deshalb werden wir heute viel trainieren, um zu zeigen, was wir wollen.

Die Vorstellung, dass diese Hunde all diese Wahrnehmungen haben, die sie uns vermitteln können, ist irgendwie neu. Wir hatten etwas Druck auf unserer FIDO-Weste und die Polizei von Georgia Tech rief an, ob die Weste für Hunde verwendet werden dürfe, die Bomben schnüffeln. Wir waren überrascht zu erfahren, dass sie bombenschnüffelnde Hunde haben, und erklärten, dass die Hunde verwendet werden, um die Sportstätten zu scannen, bevor die Leute hereinkommen. "Wir sind wie" Oh. Erzählen Sie uns etwas über das Schnüffeln von Bomben. "Wir sind interessiert um mehr zu lernen .

Es stellt sich heraus, dass die Hunde für Dinge wie Schießpulver und C4, aber auch für Dinge wie Peroxidbomben, die… ganz anders riechen, ausgebildet sind. Peroxidbomben sind auch sehr instabil. Wenn Sie eine davon haben, möchten Sie nicht, dass der Hund oder der Hundeführer in der Nähe ist. Schießpulver oder C4 sind sehr stabil und es ist kein Problem. Die Polizei von Georgia Tech wollte, dass die Hunde ihre Weste mit zwei kleinen Ziehspielzeugen trugen. Wenn der Hund riecht Schießpulver Sie ziehen das Schießpulver ein und aus geo-locates sie und es zeigt die Position des Hundes auf der Anzeige des Offiziers, in der der Hund ist. Dann wissen sie, dass es hier eine Bombe gibt, aber es ist eine stabile Bombe, und sie können dem Hund einfach befehlen, dort zu bleiben und die Bombe einfach so lange zu bellen, bis sie sie schnell finden.

Wenn der Hund an der anderen Seite der Weste zieht, handelt es sich um eine Peroxidbombe. Wir wissen, dass es instabil ist, und dann rufen Sie den Hund zurück, um ihn aus dem Weg zu räumen, und senden dann eine andere Art von Bombenentsorgungseinheit.

Dasselbe gilt für Suche und Rettung… und diese TSA-Landwirtschaftshunde für das, was sie im Gepäck der Menschen riechen. Sie können und sogar tun, um die Felder der Landwirte zu inspizieren. Es gibt Dinge wie Süßkartoffelfäule, bei denen man äußerlich nicht erkennen kann, dass es ein Problem gibt. Es ist eine neue Sache in North Carolina, die nur ihre Ernten verwüstet. Die Hunde können es riechen. Sie können die Hunde aussenden und sie haben, damit sie die Felder durchsuchen können, bis sie sie finden. Wenn sie es finden, alarmieren sie. Sie sehen, wo sie sind. Geh dahin. Sie können sehen, wo sie sich befinden, die Wurzeln ausgraben, bestätigen, dass sie tatsächlich verrotten, und dann diesen Teil des Feldes loswerden und von vorne beginnen.

Es stellt sich heraus, dass, sobald wir anfangen, diese Hunde für diese Aufgaben einzusetzen, mehr Menschen aus der Holzarbeit herauskommen und neue Anwendungen entdeckt werden. Zum Beispiel Hunde, die Trüffel schnüffeln.

Das ist was ich gedacht habe.

Das ist einer meiner Favoriten. Wir haben einen Hobbyisten, der jetzt mit uns spielen möchte.

Kann ich den Hund für das Wochenende ausleihen?

Genau.

Das, was ich daran mag, ist, dass Sie den Menschen Zugang zu den Wahrnehmungen des Hundes verschaffen, die den Menschen in vielerlei Hinsicht überlegen sind, und nur die Technologie nutzen, um ihnen zu ermöglichen, diese Wahrnehmungen zu kommunizieren.

Ihr Geruchssinn ist 100-mal besser als alles, was wir elektronisch tun. Sie haben einen sehr guten Gehörsinn. Ihr Sehvermögen ist nicht so gut wie das unsere, aber sie nehmen es anders wahr. Wenn wir ihnen nur erlauben, besser zu kommunizieren, können wir möglicherweise viel mehr darüber lernen, wozu sie in der Lage sind und wie sie ihre Arbeit besser erledigen können. Die Hunde finden das natürlich sehr lustig. Das ist alles Spiel für sie.

Kommen wir zu haptischem Feedback und haptischem Lernen und einigen Systemen, die Sie dort ausgeführt haben. Stimmt es, dass Sie jemandem beibringen können, wie man Klavier spielt, ohne wirklich zu spielen? Klavier ?

Es ist ziemlich verrückt. Wir nennen dieses Ding passives haptisches passives Feedback-Lernen. Es ist eine der Superkräfte, die tragbare Computer Ihnen geben können. Die Idee, dass es Ihnen eine komplexe mechanische Aufgabe oder eine komplexe manuelle Aufgabe beibringen kann, ohne dass Sie sich darum kümmern müssen. Es ist etwas überraschend. Wir haben das schon mehrmals mit Klavier gemacht.

Angenommen, Sie möchten Beethovens "Ode an die Freude" lernen. Es ist eines der einfacheren, die wir für unsere Demonstrationen verwenden. Wir haben dir einen Handschuh angezogen und der Handschuh hat kleine Vibrationsmotoren an jedem Finger. Sie setzen Ihr Bluetooth-Headset auf und es spielt den Song immer wieder ab, während Sie und ich uns unterhalten, E-Mails lesen oder fahren, was auch immer. Du ignorierst es und es spielt das Lied immer und immer wieder ab. Während des Spielens tippt jede Note auf den Finger, der zu dieser Note gehört. Nach 20 Minuten haben Sie die erste Strophe von "Ode an die Freude".

In den nächsten 20 Minuten haben Sie die zweite. In ungefähr einer Stunde und 30 Minuten dieses Klopfens müssen wir es in die richtigen Stücke aufteilen, aber nach ungefähr einer Stunde und 30 Minuten haben Sie das ganze Lied. Wenn Sie Ihre Finger nach unten legen, legen Sie Ihre Hand auf das Klavier. Wir markieren, wo die erste Note liegt Andernfalls Sie würden nicht wissen, und Ihre Hand wird besessen und es spielt nur das Lied, das es. Wenn Sie sich zu sehr darauf konzentrieren, können Sie es nicht tun, aber wenn ich Sie ablenke, können Sie es.

Du spielst das Lied und ich stelle mir vor, du spielst die Geräusche in deinem Kopf zurück, um zu versuchen, die gleichen Noten zu spielen.

Wir haben das einmal mit Chad Myers auf CNN gemacht. Er hat kein musikalisches Talent. Wir haben es ihm auf die Hand gegeben, als er einen Hurrikan im Golf verfolgte, und ihn dann live auf CNN rausgebracht. Du könntest sehen, dass er diesen Lampenfieber hat. Dieser Typ ist jeden Tag vor 20 Millionen Menschen, bekommt jedoch Lampenfieber, als er seine Hand auf das Klavier legt. Sie konnten sehen, dass er nicht einmal wusste, was das Lied war. Er fängt einfach an, darauf zu klopfen. Er weiß nicht, was es sein würde, aber als er weitergeht, erkennt er die Melodie. Plötzlich wird sein Rhythmus besser und er wiederholt ihn dann. Er wird besser und besser darin, wie er geht. Sie konnten diese "Oh mein Wort" Offenbarung auf seinem Gesicht sehen. Nachdem ich es ein paar Mal für mich getan habe, werde ich sagen, dass es eine sehr seltsame Sache ist.

Die Sache, die wir jetzt versuchen zu tun ist Figur herauszufinden, wie weit wir damit gehen können. Wir begannen mit einer einzigen Note, Melodien mit einer Hand. Dann hat meine Schülerin Caitlyn herausgefunden, wie man Akkorde spielt. Jetzt ist Mozarts Türkischer Marsch unser Standardwerk. Für Musiker wissen Sie, dass zwei Hände sehr unterschiedliche, sehr unterschiedliche Rhythmen haben. Es ist so komplex, dass es nicht trivial ist, es zu lernen. Wir nehmen Anfänger mit, ziehen ihnen die Handschuhe an und nach ein paar Sessions spielen sie dieses komplexe Stück. Ich sage nicht, dass sie großartige Musiker sind, aber ich sage, dass sie die Tonfolge kennen. Wir haben Interesse an dann in was sonst könnten wir unterrichten.

Eines der Dinge, die wir uns angesehen haben, war das Tippen. Da wir herausgefunden haben, wie man Akkorde spielt, haben wir versucht, Braille zu schreiben. Braille beinhaltet diese sechs Finger, also sind es die Punkte oder diese acht Finger, wenn Sie die erweiterte Form davon machen. Die meisten Menschen lernen mit zunehmendem Alter kein Braille, da sie ihre Sehkraft verlieren. Es ist auch eine echte Krise mit Studenten. Etwa 40 Prozent von ihnen lernen niemals Braille, zumindest nicht ausreichend, um mit der Verwendung zu kommunizieren. Das Erlernen der Blindenschrift für blinde Schüler ist einer der wichtigsten Indikatoren für den künftigen Bildungsfortschritt und den wirtschaftlichen Erfolg. Diese Braille-Lehrer, die Braille unterrichten, bewegen sich. Sie gehen einfach von Schule zu Schule, weil es nicht genug Nachfrage gibt, um einen ständigen Lehrer an einer bestimmten Schule zu haben.

Wir begannen, Handschuhe herzustellen, mit denen man die Braille-Schrift passiv lernen kann. Die Antwort war ja. In vier Stunden kann ich Ihnen einen Ohrhörer und diese Handschuhe geben. Während du tust und du kannst, was immer du willst, und es wiederholt sich nur zu dir: "Der schnelle braune Fuchs springt über den faulen Hund." Es tut jeden Buchstaben auf einmal und Sie fühlen den Buchstaben an Ihren Fingern. Nach ungefähr vier Stunden sage ich: "Was ist der Buchstabe G", und Sie wissen, dass es das ist. Was ist der Buchstabe "A"? Das. Sie können es nicht nur eingeben, sondern auch fühlen. Sie fahren mit dem Finger über die pips und wissen, wie man den Buchstaben schreibt. Sie sagen: "Okay, wie soll ich das jetzt eingeben? Okay, das ist also das G." Zu unserer Überraschung funktioniert es einfach.

Was passiert Ihrer Meinung nach im Gehirn, um eine solche Verbindung herzustellen? Weil es nicht bewusst und nicht nur intellektuell ist? Es ist etwas anderes zwischen Geist und Körper.

Es gibt eine Menge, die ich wirklich nicht weiß. Aber es gibt einige Spekulationen von einem Kollegen von mir, der glaubt, dass der Tastsinn ein viel früher entwickelter menschlicher Sinn ist, den Menschen evolutionär bekommen haben. Fast alle Tiere haben einen Tastsinn. Dies scheint mit der Vorstellung zu vereinbar zu sein, dass Berührung Teil eines sehr schlecht funktionierenden Teils unseres Gehirns ist, eines Stoffes mit einem sehr niedrigen Echsenhirntyp. Vielleicht ist es die Belichtung, die uns wirklich dazu veranlasst, diese Muster zu erkennen. Während Sie versuchen, etwas wie Sprache zu lernen, wenn Sie schlafen, funktioniert es nicht wirklich gut, weil Audio eine sehr viel höhere Gehirnsache ist. Deshalb haben wir nicht damit gerechnet, dass das Experiment zur Texteingabe funktioniert. Musik ist sehr gehirnarm, während Sprachsysteme als höhere Gehirnfunktion angesehen werden.

Es ist nicht sprachassoziiert.

Richtig. Die Tatsache, dass die Texteingabe funktioniert hat, hat uns überrascht. Wir sind uns nicht ganz sicher, wie weit wir gehen können. Können wir Gebärdensprache unterrichten? Können wir tanzen unterrichten? Können wir Experten helfen, effizienter zu werden? Eines der Dinge, die wir tun möchten, ist, ein paar Baseballkrüge zu holen und ihre Armbewegungen aufzuzeichnen und zu prüfen, ob wir ihnen dies in ihrer Ausfallzeit vorspielen und ihre Beständigkeit erhöhen können.

Ich habe keine Ahnung, ob irgendetwas davon funktionieren wird. Eine Sache, die wir versucht haben, war Morsecode. Braille ist nur eine Tastenfolge. Morsecode ist Rhythmus.

Wir haben festgestellt, dass wir den Induktionswandler auf Glas verwenden können. Tippen Sie auf die Seite Ihres Kopfes. Dies funktioniert normalerweise, indem Sie Ihren Schädel vibrieren lassen und den Ton direkt an Ihre Cochlea senden, wobei das Trommelfell umgangen wird. Deshalb kann ich diese tragen und bekomme kleine Warnungen und nichts blockiert meine Ohren, aber wenn Sie mit 15 Hertz schlagen, fühlt es sich an wie ein Hahn.

Wir begannen mit dem "schnellen Springen von Braunfuchs über den faulen Hund" -Stil, aber jetzt tippen wir in Morsecode nur auf die Seite Ihres Kopfes und glauben es oder nicht in 4 Stunden - es scheint die magische Zeit für das Alphabet zu sein - Die meisten unserer Teilnehmer sind auf 0 Fehler gefallen… wenn wir sie bitten, S einzugeben. Wir können ihnen Bindestriche und Punkte auf Papier zeigen und sie können die Buchstaben dafür aufschreiben. Wir können wieder auf die Seite ihres Kopfes tippen und sie können wissen, welche Nachricht wir senden.

Also vier Stunden und wir lassen sie das während eines Videospiels machen. Also stellen wir sicher, dass wir sie mit einem Videospiel ablenken. Videospiele sind die effizienteste Ablenkung.

Das wissen wir schon sehr lange.

Das ist richtig. Wir versuchen es mit Aufnahmeprüfungen. Geben Sie ihnen Leseverständnis oder mathematische Probleme. Es stellt sich heraus, dass nur Videospiele ablenken.

Das ist eine interessante Sache. Wir haben heute gerade mit Poppy Crum über Audio und das Mischen von Sinnen gesprochen. Es gibt viel AR bei dieser Show; es gibt viel virtuelle Realität. Einige der interessantesten Dinge geschehen nicht nur in einem Sinne, sondern in einer Sammlung von Sinnen. In diesem Gespräch haben wir also über den visuellen Raum gesprochen, über den Audioraum und auch über den physischen. Das taktile Gefühl. Wenn man all diese Dinge zusammenfügt, scheint es wirklich so, als würden wirklich interessante Dinge passieren.

Das ist die ganze Sache. Es ist nicht nur die Synthese oder die Sinne. Es ist auch die Tatsache, dass Sie es den ganzen Tag über bei sich tragen können. Sobald Sie diese Nähe zum Körper haben, können Sie alle möglichen Dinge mit dem Körper tun, über die wir vorher nicht nachgedacht haben.

Passives taktiles Klopfen lernen ist eine Sache, und eine andere, die aufkam, war die passive taktile Klopfrehabilitation. Dies war auch für uns eine ziemliche Überraschung. Wir hatten ein Tag der offenen Tür, an dem unser Klavierspiel demonstriert wurde, und eine unserer Kolleginnen im Shepherd Center, die viel Arbeit bei Rückenmarksverletzungen leistet, kam vorbei und sagte: "Hey, ich will das für meine Patienten." Ich konnte nicht verstehen, warum sie wollte, dass Menschen mit Tetraplegie Klavier üben. Sie sagte: "Nein, du verstehst nicht, Tetraplegie bedeutet nur, dass alle vier Gliedmaßen betroffen sind. Meine Patienten mit einer partiellen Rückenmarksverletzung haben immer noch einige Empfindungen und Geschicklichkeit. Ich wette, wir ziehen sie an und trainieren sie zum Klavierspielen.", dass sie tatsächlich etwas Empfindung wiedererlangen, ihre Empfindung und Geschicklichkeit verbessern."

Sie hatte recht. Wir haben über acht Wochen ungefähr acht verschiedene Lieder unterrichtet. Die Teilnehmer hatten die Handschuhe zwei Stunden am Tag, fünf Tage die Woche und dann drei Mal pro Woche Klavierunterricht. Am Ende der acht Wochen schnitten die Teilnehmer mit den Handschuhen viel besser ab. Sie hatten im Vergleich zu den Leuten, die nur normalen Klavierunterricht hatten, signifikante Verbesserungen in ihrer Handempfindung und Fingerfertigkeit.

Die Idee, dass wir Rehabilitation leisten können, dass wir Ihr Gehirn dazu bringen können, mehr und mehr Ressourcen einzusetzen, um diese Signale zu erklären, die aus Ihrer Hand kommen, ist einfach erstaunlich. Ich weiß nicht, ob Sie jemals ein gebrochenes Bein hatten oder ein Elternteil, das sich einer Hüftoperation unterzogen hatte, aber die Rehabilitation dauert lange. Es ist sehr langweilig und es ist schwer, es lustig zu machen. Compliance ist schwer zu bekommen. Wenn ich nur einen Handschuh anziehen kann und eine Reha machen kann, und im Übrigen werden wir dir diese Super-Kraft geben, die du am Ende lernen wirst, Klavier zu spielen, das ist eine Art Motivation für einen viele Leute.

Das machen wir gerade. Wir machen es gerade. Wir versuchen herauszufinden, ob dies zur Wiederherstellung des Handgefühls nach einem Schlaganfall beitragen kann. Wenn sich herausstellt, dass das funktioniert, dann gibt es eine Million Menschen pro Jahr, denen wir helfen könnten. Das ist sehr spekulativ. Wir haben keine Ahnung, ob es funktionieren wird oder nicht, aber wir werden sehen.

Gut. Kommen wir zu einigen Fragen, die ich allen meinen Gästen stelle. Welche Technologietrends sehen Sie gerade, die Sie am meisten beschäftigen? Was hält dich nachts auf?

Sehr wenig hält mich nachts wach. Ich schlafe ganz gut

Sie haben drei Jobs.

Ich habe drei Jobs. Ich habe keine zeit zum schlafen Die Sorgen vieler Menschen über Technologie sind das, was Sie in der Presse sehen. Die Realität ist viel langweiliger als das, was viele Kommentatoren glauben machen oder was die Filme tun. Ich denke, das, worüber ich mich am meisten Sorgen mache, ist die Echokammer, die Social Media verursachen kann. Die Leute können Pseudowissenschaft glauben. Menschen können dazu gebracht werden, Dinge zu glauben, die einfach nicht wahr sind. Die Leute machen Kommentare zu meiner Arbeit, und ich bin der Meinung, das ist falsch.

Ich arbeite viel mit der Gehörlosengemeinschaft. Es stellt sich heraus, dass das Unterrichten der Gebärdensprache Ihrem Kind dabei hilft, schneller Sprachkenntnisse zu erwerben. Die längste Zeit glaubten die Menschen, dass wenn Sie Ihren Kindern Gebärdensprache beibringen, dies den Beginn normaler Sprache verzögern würde. Das ist genau falsch. Das Unterrichten von Gebärdensprache von Geburt an scheint dabei zu helfen, die Sprachkenntnisse aller zu verbessern.

Die meisten Kinder können die Wörter nicht wirklich zusammenhängend bilden, bis sie 12 Monate alt sind. Sie können die Zeichen formen, Sie wissen Dinge wie Milch oder Essen. Sie können das mit sechs Monaten tun. Kinder in der Lage zu haben, sich auszudrücken, ist das, was ihnen gibt kurzfristig Erinnerung. Sie lernen das Kurzzeitgedächtnis, indem Sie lernen, wie man kommuniziert. Wenn die Kinder also sechs Monate früher unterschreiben können, als sie sprechen können, hat dies möglicherweise einen Vorteil für das Gedächtnis und die Sprache im Allgemeinen. Die ursprüngliche Forschung war 20 Jahre alt, aber sie sind sich jetzt ziemlich sicher. Daher hat bis vor kurzem nicht einmal die medizinische Gemeinschaft gesagt: "Oh, du solltest nicht nur gehörlose Kinder unterrichten, sondern alle Kinder sollten Gebärdensprache sprechen." Es ist eine ziemlich mächtige Sache.

Wir haben ein Spiel namens Pop Sign, das es Eltern gehörloser Kinder ermöglicht, Gebärdensprache zu lernen, oder Eltern, die Gebärdensprache lernen, indem sie auf dieser süchtig machenden Spieleseite oder auf ihren Mobiltelefonen spielen.

Wenn ich also auf Ihre ursprüngliche Frage zurückkehre, sehe ich die anderen Situationen, in denen Menschen, insbesondere mit seltenem Wissen, in Echokammern geraten. Es ist einfach, Leute auf den falschen Weg zu bringen.

Auf der optimistischen Seite, was ermutigt Sie am meisten und auf was hoffen Sie am meisten?

Nun, ich mag die Dinge, die Elon Musk unternimmt, um uns auf Solarenergie umzustellen. Ich bin der Typ, der darauf wartet, dass diese Dachziegel zur Verfügung stehen, damit ich mein Haus umbauen kann.

In meinem eigenen Raum, dem Wearable Computing, hebt der intelligente Assistent ab. Dass sich das Leben von Menschen durch die Verfügbarkeit dieses Geräts verändert, liegt nicht nur daran, dass es ihr Privatleben oder ihr Berufsleben verbessert, sondern auch daran, dass Leben auf dem OP-Tisch gerettet werden, nur weil wir dem Chirurgen rechtzeitig Informationen liefern können.

Also diese Idee, dass wir diese intelligenten Assistenten haben, die uns von Sekunde zu Sekunde helfen können. Endlich kommen wir auf die Bühne, wo diese Dinge nützlich werden.

Welches Gerät, ein Dienst oder ein Gerät, das Sie jeden Tag nutzen, hat Ihr Leben verändert? Was liebst du am meisten? Sie können Google Glass nicht auswählen.

Kann ich meinen vorherigen Prototyp auswählen? Fotosystem ?

Das werde ich wohl zulassen.

Das System, das ich vor Glass hatte, war ein mikrooptisches SVB6-Display und die Twiddler-Tastatur sowie ein Schulterpack-Computer. Die Hardware war nicht der Game Changer, sondern die Fähigkeit, sich während eines Gesprächs Notizen zu machen und auf diese Notizen zu verweisen hat veränderte mein Leben. Wenn ich beim Mittagessen einem Nobelpreisträger gegenüber sitze, möchte ich mich an dieses Gespräch erinnern können. Ich möchte nur die fünf Wörter kennen, die mein natürliches Gedächtnis beflügeln.

Es stellt sich heraus, dass ich mit dieser Tastatur, mit der ich unter dem Tisch tippen und Notizen zu diesem Gespräch machen kann, ein viel effektiverer Mensch und auch sozial anmutiger geworden bin. Eines der Dinge, die meine Schüler schockiert gesehen haben, ist, dass ich, bevor ich jemanden sehe, meine Rolodex auf sie ziehe. Es war das letzte Mal, dass wir miteinander gesprochen haben und worüber wir gesprochen haben. Es hilft mir wirklich, mein Gehirn über unsere Gespräche aufzuladen.

Angenommen, ich besuche einen alten Freund. Ich habe Notizen wie "Hey, ja, das Kind seiner Tochter ging aufs College. Sie studierte Geologie. Ich wollte sie mit meiner Frau in Kontakt bringen. Ich sollte ihn fragen, ob das passiert ist." Es ermöglicht Ihnen wirklich, nicht nur in Ihrer beruflichen Laufbahn, sondern auch sozialer zu sein.

Ja, wir haben viel darüber gesprochen, dass diese Geräte uns schlauer machen und uns schlauer erscheinen lassen. Diese Speichererweiterung, bei der Sie plötzlich mit mehr von Ihrem Leben verbunden sind, weil Sie sich an mehr erinnern können, weil Sie auf mehr davon zugreifen und diese Erinnerungen in Echtzeit erhalten können, ist eine interessante Anwendung.

In den Anfängen des Wearable Computing haben wir drei Dinge getan. Wir haben Augmented / Alternate Reality, intellektuelle Kollektive und Augmented Memory gemacht. Das intellektuelle Kollektiv ist eine Art Social Media. Augmented Reality ist in diesen Tagen der letzte Schrei. Die meisten Leute wissen nicht, dass es Künstliche Realität genannt wurde, bevor wir den Begriff Alternative Augmented Reality geprägt haben. Eigentlich kann ich dir sagen, warum wir den Namen geändert haben.

Warum hast du das getan?

In meinen frühen Tagen als ich diese künstliche Realität studierte, gab es einen Typen namens Myron Krueger, der ein wundervolles Buch namens Artificial Reality 2 schrieb . Ich kann es jedem nur empfehlen, der Augmented Reality verstehen will. Wie auch immer, ich denke, es war Timothy Leary, der mit der Durchführung von Presseinterviews begann, in denen er davon sprach, dass Virtual Reality und Artificial Reality wie LSD-Drogenreisen sind. Zu der Zeit war ich ein Student, der einen Zuschussantrag schrieb, und ich wollte nicht, dass sie den Begriff Künstliche Realität nachschlagen und sehen, dass er mit LSD zusammenhängt.

Also dachte ich, ich müsste einen anderen Begriff finden, der mich nicht in Schwierigkeiten bringen könnte. Deshalb haben wir uns bewusst dafür entschieden, ihn Augmented Reality zu nennen. Zum Glück für mich Diese anderen Boeing-Mitarbeiter wollten Augmented Reality auch für die Montage dieses Materials für die Herstellung elektrischer Kabelbäume und Flugzeuge verwenden, und sie kamen auf den gleichen Begriff. Ich glaube, ich hatte die erste schriftliche Version davon und sie hatten die erste Veröffentlichung darauf. Der Name Augmented Reality ist geblieben.

Hast du das Stipendium bekommen?

Ich tat. Deshalb bin ich heute hier. Ich danke dem NDSEG, dem National Defence Science and Engineering Graduate Fellowship. Ohne euch wäre ich nicht hier. Ich wäre kein Professor. Dieses Stipendium ermöglichte es meinem Professor, einen weiteren Doktoranden einzustellen und tragbare Computer entstehen zu lassen. Also vielen Dank.

  • Vorspulen: 'Notiz an mich' Host Manoush Zomorodi Vorspulen: 'Notiz an mich' Host Manoush Zomorodi
  • Schneller Vorlauf: Steve Singh von SAP zu Automatisierung, Geschäft ohne Grenzen Schneller Vorlauf: Steve Singh von SAP zu Automatisierung, Geschäft ohne Grenzen
  • Schneller Vorlauf - Fragen und Antworten: So bauen Sie emotionale Maschinen Schneller Vorlauf - Fragen und Antworten: So bauen Sie emotionale Maschinen

Wenn die Leute dir folgen und herausfinden möchten, woran du arbeitest, wie können sie das online tun?

Am einfachsten ist es, wenn Sie zu Google Scholar gehen und meinen Namen eingeben. Sie erhalten dann Zugriff auf alle meine Dokumente und klicken einfach auf die neuesten. Wenn Sie mehr von Tag zu Tag sehen möchten, wenn Sie in die Google+ Community zu Wearable Computing gehen, ist dies das, was ich betreibe. Ich versuche, die coolsten Dinge zu veröffentlichen, die da draußen passieren. Zumindest aus meiner Forschung und wir werden anfangen, einige der Dinge zu überprüfen, die im Allgemeinen passieren.

Schneller Vorlauf: Thad Starner spricht mit Google Glass und hilft Hunden beim Reden