Ibm Watson hilft Universitätsstudenten beim Erlernen von Mandarin

Die Universitäten haben in ihrem Sprachunterricht einen langen Weg zurückgelegt und sind über den traditionellen Unterricht in einem Hörsaal und den vorab aufgezeichneten Unterricht ohne Interaktion hinausgegangen. Jetzt haben die Schüler Zugang zu Technologien wie künstlicher Intelligenz (KI) und natürlicher Sprachverarbeitung (NLP) in einer immersiven Lernumgebung. Genau das passiert im Cognitive and Immersive Systems Lab (CISL) auf dem Campus des Rensselaer Polytechnic Institute (RPI) in Troy, New York. Hier hat das Institut in Zusammenarbeit mit IBM Research die Technologie für einen sechswöchigen Sommerkurs entwickelt, in dem die Studenten mit KI-Agenten in Umgebungen wie Straßenmärkten und Restaurants interagieren.

Der Kurs mit dem Titel "AI-Assisted Immersive Chinese" bietet ein 360-Grad-Panorama-Anzeigesystem für computergenerierte Szenen im Cognitive Immersive Room (CIR) des Labors, der auch als "Situations Room" bezeichnet wird. Die virtuellen Szenen finden in China statt. Die Schüler unterhalten sich mit Avataren, die von Watson Assistant unterstützt werden, und werden in Bezug auf Sprache und Aussprache korrigiert. In der CIR verwenden die Schüler Konversations-KI, narrative Generierung, räumliches Kontextbewusstsein sowie Technologie zur Erkennung von Gesten und Gesichtern.

Das CIR ist ein Beispiel für das vielfältige Potenzial von IBM Watson in verschiedenen Branchen neben dem Bildungsbereich. Diese Branchen umfassen Landwirtschaft, Personalwesen (HR) und Flottenmanagement.

Am RPI verwenden die Schüler neben Watson Assistant in ihrem Studium Watson Speech to Text, Watson Text to Speech und Language Translator.

Die Schüler lernen Mandarin mithilfe von KI auf dem RPI-Campus. (Bildnachweis: IBM Research / RPI)

Eine aktive Lernerfahrung

Für Julian Wong, einen Junior am RPI, war die eindringliche KI-Erfahrung eine ansprechende Möglichkeit, Mandarin zu lernen, da er dadurch aktiver lernen kann. Da Mandarin eine Tonsprache ist, in der eine Änderung der Tonhöhe die Bedeutung von Wörtern verändern kann, geben die Avatare in der KI-Erfahrung Feedback zum Ton, um sicherzustellen, dass Wong und die anderen Schüler die Aussprachen richtig verstehen.

Die Arbeit mit KI im CIR bietet laut Wong eine gute Balance zur regulären Unterrichtszeit. "Treffen, um mit dem Computer zu sprechen… hilft definitiv bei vielen Aspekten des Sprachenlernens, insbesondere bei den verbalen Fähigkeiten", sagte Wong.

Wongs Mandarin-Klasse trifft sich viermal pro Woche. Montags und freitags besucht er eine Klasse in einem traditionellen Klassenzimmer bei Helen Zhou, Associate Professor am RPI. Dort lernt er neues Vokabular und bekommt eine Einführung in Phrasen und grammatikalische Strukturen. Dienstags und donnerstags trifft sich die Klasse im CIR, wo die Schüler Gespräche mit virtuellen Agenten führen. In einem Restaurant, sagte Wong, können die Schüler den gesamten Prozess des Sitzens im Restaurant durchlaufen, ein Menü ansehen, Essen bestellen, mit einem Kellner darüber sprechen, wie das Essen zubereitet wird, und die Rechnung bezahlen. Andere Umgebungen umfassen einen Garten, einen Markt und einen Schulcampus.

Die Mandarin-Klasse im immersiven Klassenzimmer unterscheidet sich von einer traditionellen Umgebung, da sie laut Zhou ein multimodales Sprach- und Videoerlebnis bietet. Sie sagte, ein traditioneller Unterricht wäre weniger einfühlsam und interaktiv. "In der Simulation im immersiven Klassenzimmer haben wir zwei Agenten, die miteinander kämpfen müssen, um die Schüler zum Kauf des Produkts zu überreden", sagte Zhou. "Die Schüler würden also durch persönliche Erfahrung verstehen, anstatt nur Videos anzusehen oder Vorträge zu hören. Ich glaube, sie würden die Kultur leichter erlernen als nur durch das Lernen aus Lehrbüchern oder durch das Hören von Bändern."

Im CIR nehmen die Schüler an Quizfragen zu den Szenen teil, mit denen sie interagiert haben, und heben die Hände, um ihre Antworten zu geben. Computer Vision Tech von den Kameras im Raum erfassen ihre Gesten. Der KI-Assistent gibt ein Quiz, das sich auf die Szene bezieht, und die Schüler müssen mit einer chinesischen Phrase antworten.

"Wenn Sie eines der Popups auf dem Bildschirm auswählen möchten, können Sie Ihre Hand ausstrecken, die Handfläche öffnen und dann Ihre Hand schließen", erklärte Wong. "Sie wählen aus, worauf der Cursor gerade steht. Wenn Sie für die kleinen Tests wissen, wie die richtige Antwort lautet, können Sie Ihre Hand auf die Zeichen bewegen, die Sie auswählen möchten, und dann Ihre Hand schließen, um sie auszuwählen werde dich wissen lassen, ob du es richtig gemacht hast oder nicht."

Der virtuelle Agent versteht die Schüler die meiste Zeit, es sei denn, sie haben ihr Mikrofon nicht in der Nähe ihres Mundes. Das System verfügt über verschiedene Spracherkennungseinstellungen, mit denen Schüler erfasst werden, wenn ihre Aussprache nicht stimmt. Es bietet auch sofortiges Feedback in einem Gespräch, wenn kein Professor anwesend ist. In ihrer Freizeit besuchen die Schüler der Mandarin-Klasse eine Website, um auf Sprachclips zum Üben zuzugreifen.

Ein cooles Merkmal der immersiven Erfahrung beim RPI ist die räumliche Kontexterkennung, bei der mehrere virtuelle Agenten auf dem Bildschirm erkennen können, mit welchem ​​Sie Augenkontakt haben. "Wenn Sie etwas sagen, während Sie einen Agenten ansehen, wird dieser Agent antworten und nicht der andere", sagte Wong.

Ein Student verwendet die IBM Watson-Technologie für Gesten- und Gesichtserkennung als Teil eines Mandarin-Kurses am RPI. (Bildnachweis: IBM Research / RPI )

Wie sich die immersive Erfahrung entwickelte

Die eindringliche Erfahrung beim RPI entstand, als sich Sprachprofessoren und Professoren für Spieledesign trafen, um einen besseren Weg zu finden, Sprache zu unterrichten. Hui Su, Director Cognitive User Experience bei IBM Research und Director CISL, erklärte, dass der Plan, ein Rollenspiel zu entwickeln, bald zu einer Diskussion über das Unterrichten von Mandarin durch Simulation realer Szenarien führen sollte. IBM und das RPI haben Ende 2015 mit der Entwicklung des Kurses begonnen und zu diesem Zeitpunkt das gemeinsame Labor eingerichtet. Die CISL nahm bald darauf Gestalt an.

"Der Zweck des Labors ist es, die kognitive und immersive Umgebung zu schaffen, um Gruppenaktivitäten zu verbessern und die Gruppenintelligenz im Kontext des Lernens und der Entscheidungsfindung zu verbessern", sagte Su. "Wir konzentrieren uns auch auf die Erstellung kognitiver, immersiver Sitzungssäle… um die Daten einer kritischen Situation zu untersuchen und zu versuchen, die Informationen zu verstehen und Entscheidungen oder Empfehlungen für die Entscheidungsträger zu treffen."

Im Rahmen des AI-Sprachlernprogramms experimentieren IBM und das RPI mit der Analyse der Tonhöhenkonturen. Su beschrieb, wie diese Technologie funktioniert. "Wenn Sie eine Silbe sprechen, wenn Sie eine Silbe aussprechen, erfasst der zugrunde liegende Tech die Stimme und erzeugt eine visuelle Kontur, wie Sie diese Silbe aussprechen", sagte Su. "Dann verwendet es diese visuelle Kontur und vergleicht diese visuelle Kontur mit der visuellen Kontur eines Muttersprachlers."

Die Schüler können dann ihre Aussprache anpassen, um den richtigen Ton zu erreichen. Sie werden lernen, dass sie die Aussprache bestimmter Silben ändern müssen. Mit den Kenntnissen, die die Schüler durch das Erlernen von Mandarin im immersiven Klassenzimmer mit Watson-Technologie gewinnen, werden sie laut Su mehr Selbstvertrauen haben, sich im wirklichen Leben zu unterhalten.

"Die ganze Idee ist es, durch unsere immersive Umgebung und KI-Technologie genügend kulturellen Kontext bereitzustellen, damit die Schüler eine Übung üben können", sagte Su. "Sie werden also keine Angst haben, mit Menschen im wirklichen Leben zu reden."

Ein Schüler übt Mandarin in einer virtuellen Restaurantumgebung mithilfe der IBM Watson-Technologie. (Bildnachweis: IBM Research / RPI )

Eine Brücke zwischen der Tech-Industrie und dem akademischen Bereich

IBM und das RPI können eine Brücke zwischen IBM-Forschern und Fakultätsmitgliedern schlagen, indem IBM einen Forscher auf dem Campus einbindet, nämlich Su. In der Zwischenzeit gibt Zhou, der Professor der Klasse am RPI, den Designern, Benutzern und Lehrern ein Feedback, wie das immersive Erlebnis im Klassenzimmer verbessert werden kann.

"Ich muss ihnen sofort Feedback geben, um Fehler zu beheben oder das Design zu verbessern, damit wir den Schülern ein natürlicheres Klassenzimmer bieten können", sagte Zhou. "Es ist also viel Arbeit, aber es lohnt sich."

Die Zukunft des Sprachenlernens

• Die beste Sprachlernsoftware für 2019 Die beste Sprachlernsoftware für 2019
• IBM veröffentlicht vorgefertigte Watson AI-Tools in verschiedenen Branchen IBM veröffentlicht vorgefertigte Watson AI-Tools in verschiedenen Branchen
• Spricht AI wirklich unsere Sprache? Spricht AI wirklich unsere Sprache?

Diese Art von immersiver Umgebung ist wertvoll, da laut Zhou eine scheinbar reale Umgebung geschaffen werden kann. "Die immersive KI-Umgebung kann nicht nur das Sprechen und Zuhören der Schüler verbessern, sondern auch die Pragmatik der Verwendung dieser Sprache in realen Situationen", sagte Zhou. "Deshalb ist AI für mich als Ausbilder idealer, damit die Schüler schon früh ein Gefühl für den Umgang mit der Sprache bekommen, auch für Anfänger, ohne in das Land zu reisen."

Multimodale Lernumgebungen, wie sie am RPI angeboten werden, werden die Rolle der KI im Klassenzimmer erweitern. Mit der Erfahrung, die AI durch die virtuellen Agenten bietet, werden die Schüler darauf vorbereitet, verschiedene Szenarien in der realen Welt mit den erforderlichen Sprachkenntnissen zu bewältigen.