Die Computerfotografie ist bereit für ihre Nahaufnahme

Mehr als 87 Millionen Amerikaner reisten im Jahr 2017 international, eine Rekordzahl nach Angaben des US National Travel and Tourism Office. Wenn Sie unter ihnen waren, haben Sie vielleicht ein Reiseziel wie Stonehenge, das Taj Mahal, die Ha Long Bay oder die Chinesische Mauer besucht. Möglicherweise haben Sie mit Ihrem Telefon ein Panorama aufgenommen, oder Sie drehen sich sogar ganz mit Ihrem Telefon, um eine superweite 360-Grad-Ansicht der Landschaft zu erhalten.

Wenn Sie erfolgreich waren - das heißt, es gab keine fehlerhaften Schnitte, Vignettierungen oder Farbverschiebungen -, dann haben Sie ein einfaches, aber effektives Beispiel für Computerfotografie erlebt. In den letzten Jahren hat sich die computergestützte Fotografie jedoch über solche engen Verwendungen hinaus erweitert. Es könnte uns nicht nur eine andere Perspektive auf Fotografie geben, sondern auch unsere Sicht auf unsere Welt verändern.

Was ist Computerfotografie?

Marc Levoy, Professor für Informatik (emeritiert) an der Stanford University, Principal Engineer bei Google und einer der Pioniere auf diesem aufstrebenden Gebiet, hat Computerfotografie als eine Vielzahl von "Computerbildtechniken" definiert, die die Fähigkeiten der digitalen Fotografie verbessern oder erweitern Die Ausgabe ist ein gewöhnliches Foto, das aber mit einer herkömmlichen Kamera nicht hätte gemacht werden können."

Laut Josh Haftel, Hauptproduktmanager bei Adobe, eröffnet das Hinzufügen von Computerelementen zur traditionellen Fotografie neue Möglichkeiten, insbesondere für Bildbearbeitungs- und Softwareunternehmen: "Ich sehe Computerfotografie als eine Möglichkeit, zwei Dinge zu tun Sie versuchen, viele der physischen Einschränkungen, die in mobilen Kameras bestehen, auszugleichen."

Ein gutes Beispiel ist, wenn ein Smartphone eine geringe Schärfentiefe simuliert - ein Kennzeichen für ein professionell aussehendes Bild, da es das Motiv optisch vom Hintergrund trennt. Was eine Kamera auf einem sehr dünnen Gerät wie einem Telefon daran hindert, ein Bild mit einem flachen DOF aufzunehmen, sind die Gesetze der Physik.

"Das kannst du nicht haben flach Schärfentiefe mit einem wirklich kleinen Sensor ", sagt Haftel. Für einen großen Sensor ist jedoch ein großes Objektiv erforderlich. Da die meisten Menschen ein ultradünnes Handy möchten, ist ein großer Sensor in Kombination mit einem großen, sperrigen Objektiv keine Option. Stattdessen, Telefone sind mit kleinen erstklassigen Linsen und winzigen Sensoren ausgestattet, die eine große Schärfentiefe erzeugen, mit der alle Motive nah und fern scharf abgebildet werden.

Haftel sagt, dass Hersteller von Smartphones und einfachen Kameras dies ausgleichen können, indem sie mithilfe von Computerfotografie "betrügen, indem sie den Effekt auf eine Weise simulieren, die das Auge täuscht". Folglich werden Algorithmen verwendet, um zu bestimmen, was als Hintergrund und was als Vordergrundthema angesehen wird. Dann simuliert die Kamera einen flachen DOF, indem der Hintergrund unscharf wird.

Der zweite Weg, wie Haftel sagt, dass Computerfotografie verwendet werden kann, besteht darin, neue Verfahren und Techniken anzuwenden, um Fotografen dabei zu unterstützen, Dinge zu tun, die mit herkömmlichen Werkzeugen nicht möglich sind. Haftel nennt als Beispiel HDR (High Dynamic Range).

"HDR ist die Fähigkeit, mehrere Aufnahmen gleichzeitig oder schnell hintereinander zu machen und sie dann zusammenzuführen, um die Grenzen der natürlichen Fähigkeit des Sensors zu überwinden." Tatsächlich kann HDR, insbesondere auf Mobilgeräten, den Tonwertumfang über das hinaus erweitern, was der Bildsensor auf natürliche Weise erfassen kann, sodass Sie mehr Details in den hellsten Lichtern und dunkelsten Schatten erfassen können.

Wenn Computational Photography zu kurz kommt

Nicht alle Implementierungen der Computerfotografie waren erfolgreich. Zwei mutige Versuche waren die Lytro- und Light L16-Kameras: Anstatt herkömmliche und rechnergestützte Fotofunktionen (wie iPhones, Android-Telefone und einige Standalone-Kameras) zu kombinieren, versuchten die Lytro- und Light L16, sich ausschließlich auf die rechnergestützte Fotografie zu konzentrieren.

Die erste Kamera, die 2012 auf den Markt kam, war die Lytro-Lichtfeldkamera, mit der Sie den Fokus eines Fotos einstellen können, nachdem Sie die Aufnahme gemacht haben. Dabei wurde die Richtung des in die Kamera eintretenden Lichts aufgezeichnet, was bei herkömmlichen Kameras nicht der Fall ist. Die Technologie war faszinierend, aber die Kamera hatte Probleme, darunter eine niedrige Auflösung und eine schwer zu bedienende Benutzeroberfläche.

Es hatte auch einen ziemlich engen Anwendungsfall. Dave Etchells, Gründer, Herausgeber und Chefredakteur von Imaging Resource, betont: "Obwohl es möglich war, scharf zu stellen, nachdem dies ein cooles Feature war, war die Blende der Kamera so klein, dass man Entfernungen nicht wirklich unterscheiden konnte es sei denn, es war etwas wirklich nah an der Kamera."

Angenommen, Sie schießen einen Baseballspieler auf einen örtlichen Baseball-Diamanten. Sie könnten ein Foto in der Nähe des Zauns aufnehmen und den Spieler auch durch den Zaun einfangen, selbst wenn er weit weg ist. Dann ändern Sie leicht den Fokus vom Zaun zum Spieler. Aber wie oft schießen Sie tatsächlich so ein Foto ?, erklärt Etchells.

Ein neueres Gerät mit dem Ziel, eine eigenständige Computerkamera zu sein, war die Light L16, ein Versuch, eine dünne, tragbare Kamera mit einer Bildqualität und Leistung zu produzieren, die mit einer High-End-D-SLR- oder spiegellosen Kamera vergleichbar ist. Die L16 wurde mit 16 verschiedenen Objektiv- und Sensormodulen in einem einzigen Kameragehäuse entwickelt. Kraftvoll Onboard-Software würde ein Image aus den verschiedenen Modulen erstellen.

Etchells war anfangs vom Konzept der Light L16 beeindruckt. Aber als tatsächliches Produkt sagte er: "Es hatte eine Vielzahl von Problemen."

Zum Beispiel Licht, die Kamera und Das Fotounternehmen, das Light L16 herstellt, behauptete, dass die Daten all dieser kleinen Sensoren einem großen Sensor entsprechen würden. "Sie behaupteten auch, dass es D-SLR-Qualität sein würde", sagt Etchells. Bei ihren Feldtests stellte Imaging Resource jedoch fest, dass dies nicht der Fall war.

Es gab noch andere Probleme, darunter, dass bestimmte Bereiche des Fotos übermäßiges Rauschen aufwiesen, "sogar in hellen Bereichen des Bildes… und es gab praktisch keinen Dynamikbereich: Die Schatten wurden sofort verstopft", sagt Etchells, was dies in bestimmten Fällen bedeutet Ausschnitte von Fotos - einschließlich der Beispielfotos, mit denen das Unternehmen die Kamera bewarb - zeigten kaum Details in den Schatten.

"Es war auch nur eine Katastrophe bei schlechten Lichtverhältnissen", sagt Etchells. "Es war einfach keine sehr gute Kamera, Punkt."

Was kommt als nächstes?

Trotz dieser Defizite treiben viele Unternehmen neue Implementierungen der Computerfotografie voran. In einigen Fällen verwischen sie die Grenze zwischen dem, was als Fotografie angesehen wird, und anderen Medientypen wie Video und VR (Virtual Reality).

Beispielsweise wird Google die Google Photos-App mithilfe von KI (künstliche Intelligenz) um neue Funktionen erweitern, darunter das Kolorieren von Schwarzweißfotos. Microsoft verwendet AI in seiner Pix-App für iOS, damit Benutzer LinkedIn nahtlos Visitenkarten hinzufügen können. Facebook wird in Kürze eine Funktion für 3D-Fotos einführen. "Dies ist ein neuer Medientyp, mit dem Menschen 3D-Momente mit einem Smartphone auf Facebook festhalten können." In der Lightroom-App von Adobe können Fotografen auf Mobilgeräten HDR-Funktionen nutzen und Bilder im RAW-Dateiformat aufnehmen.

VR- und Computerfotografie

Während mobile Geräte und sogar Einzelkameras Computerfotografie auf faszinierende Weise nutzen Mehr Leistungsstarke Anwendungsfälle kommen aus der Welt der Extended-Reality-Plattformen wie VR und AR (Augmented Reality). Für James George, CEO und Mitbegründer von Scatter, einem immersiven Medienstudio in New York, Computerfotografie ist den Künstlern neue Möglichkeiten eröffnen, ihre Visionen auszudrücken.

"Wir bei Scatter sehen in der Computerfotografie die Grundlage für die Technologie neuer kreativer Disziplinen, mit der wir Pionierarbeit leisten wollen. Das Hinzufügen von Computern könnte dann beginnen, einige der gleichen Dinge zu synthetisieren und zu simulieren, die unsere Augen mit den von uns aufgenommenen Bildern tun sehen Sie in unseren Gehirnen ", sagt George.

Im Wesentlichen kommt es auf die Intelligenz an. Wir benutzen unser Gehirn, um über die Bilder nachzudenken und sie zu verstehen, die wir wahrnehmen.

"Computer beginnen, in die Welt hinauszuschauen, Dinge zu sehen und zu verstehen, was sie sind, so wie wir es können", sagt George. Computerfotografie ist also "eine zusätzliche Schicht aus Synthese und Intelligenz, die über die reine Erfassung eines Fotos hinausgeht und tatsächlich die menschliche Erfahrung simuliert, etwas wahrzunehmen."

Die Art und Weise, wie Scatter Computerfotografie verwendet, wird als volumetrische Fotografie bezeichnet. Dabei handelt es sich um eine Methode, mit der ein Motiv aus verschiedenen Blickwinkeln aufgenommen und anschließend mithilfe von Software analysiert und alle diese Blickwinkel in einer dreidimensionalen Darstellung wiederhergestellt werden. (Sowohl Fotos als auch Videos können volumetrisch sein und als 3D-ähnliche Hologramme angezeigt werden, die Sie innerhalb einer VR- oder AR-Erfahrung bewegen können.) "Ich bin besonders an der Fähigkeit interessiert, Dinge nicht nur zweidimensional zu rekonstruieren. "sagt George. "In unserer Erinnerung, wenn wir durchgehen ein Leerzeichen können wir uns räumlich erinnern, wo die Dinge in Beziehung zueinander standen."

George sagt, dass Scatter in der Lage ist, eine Darstellung eines Raums zu extrahieren und zu erstellen, der "vollständig und frei navigierbar ist, so wie Sie sich vielleicht wie ein Videospiel oder ein Hologramm darin bewegen können. Es ist ein neues Medium, aus dem heraus geboren wurde die Schnittstelle zwischen Videospielen und Filmemachen, die Computerfotografie und volumetrisches Filmemachen ermöglicht."

Scatter hat DepthKit entwickelt, eine Softwareanwendung, mit der Filmemacher den Tiefensensor von Kameras wie Microsoft Kinect als Zubehör für eine HD-Videokamera nutzen können. Dabei produziert DepthKit, ein Hybrid aus CGI und Video-Software, naturgetreue 3D-Formen, die "für die Echtzeitwiedergabe in virtuellen Welten geeignet sind", sagt George.

Scatter hat mit DepthKit mehrere leistungsstarke VR-Erlebnisse unter Verwendung von Computerfotografie und volumetrischen Filmtechniken erzielt. 2014 arbeitete George mit Jonathan Minard an der Erstellung von "Clouds", einem Dokumentarfilm, der sich mit der Kunst des Codes befasst und eine interaktive Komponente enthält. 2017 produzierte Scatter eine auf dem Film Zero Days basierende VR-Adaption, die dem Publikum mit VR eine einzigartige Perspektive in der unsichtbaren Welt der Cyberkriegsführung eröffnete - um die Dinge aus der Perspektive des Stuxnet-Virus zu betrachten.

Eines der mächtigsten Projekte im Zusammenhang mit DepthKit ist "Terminal 3", ein Augmented-Reality-Erlebnis des pakistanischen Künstlers Asad J. Malik, das Anfang dieses Jahres beim TriBeCa-Filmfestival uraufgeführt wurde. Mit dieser Erfahrung können Sie über eine Microsoft HoloLens virtuell in die Rolle eines US-Grenzschutzbeamten schlüpfen und ein gespenstisches 3D-Volumenhologramm von jemandem abfragen, der muslimisch zu sein scheint (es gibt insgesamt sechs Charaktere, die Sie interviewen können).

"Asad ist ein Pakistani, der in die USA ausgewandert ist, um das College zu besuchen. Er hatte einige ziemlich negative Erfahrungen mit seinem Hintergrund und warum er dort war. Von dieser Erfahrung schockiert, schuf er 'Terminal 3'", sagt George.

Einer der Schlüssel zu dieser faszinierenden Erfahrung ist, dass Maliks Team von 1RIC, seinem Augmented-Reality-Studio, DepthKit verwendet hat, um Videos in volumetrische Hologramme umzuwandeln, die dann in Echtzeit-Videospiel-Engines wie Unity oder 3D importiert werden können Grafiktools wie Maya und Cinema 4D. Durch Hinzufügen der Tiefensensordaten vom Kinect zum D-SLR-Video zur korrekten Positionierung des Hologramms im virtuellen AR-Raum wird das Video von der DepthKit-Software in umgewandelt rechnerisch Video. Mit einem Schwarzweiß-Schachbrettmuster werden die Spiegelreflexkamera und der Kinect zusammen kalibriert. Anschließend können beide Kameras gleichzeitig zum Aufnehmen von Volumenfotos und -videos verwendet werden.

• 10 schnelle Tipps zum Korrigieren Ihrer schlechten Fotos 10 schnelle Tipps zum Korrigieren Ihrer schlechten Fotos
• 10 Beyond-Basic-Tipps für Digitalfotografie 10 Beyond-Basic-Tipps für Digitalfotografie
• 10 einfache Tipps und Tricks für bessere Smartphone-Fotos 10 einfache Tipps und Tricks für bessere Smartphone-Fotos

Da diese mit DepthKit erstellten AR-Erlebnisse der Funktionsweise von Videospielen ähneln, können mit einem Erlebnis wie "Terminal 3" leistungsstarke interaktive Effekte erzielt werden. Zum Beispiel, sagt George, lässt Malik zu, dass die Hologramme ihre Form ändern, wenn Sie sie befragen: Wenn Ihre Fragen während der Befragung anklagbar werden, dematerialisiert sich das Hologramm und erscheint weniger menschlich. "Aber wenn man sich auf die Biografie, die eigenen Erfahrungen und die Werte der Person beruft, füllt sich das Hologramm tatsächlich und wird fotorealistischer."

Indem Sie diesen subtilen Effekt erzeugen, können Sie über die Wahrnehmung des Vernehmers nachdenken und darüber, wie er eine Person als "nur ein Emblem statt einer tatsächlichen Person mit einer wahren Identität und Einzigartigkeit" betrachten könnte. In gewisser Weise könnte dies den Benutzern ein besseres Verständnis vermitteln. "Durch eine Reihe von Aufforderungen, bei denen Sie die eine oder andere Frage stellen dürfen", sagt George, "werden Sie mit Ihren eigenen Vorurteilen konfrontiert und gleichzeitig mit dieser individuellen Geschichte."

Wie die meisten neuen Technologien erlebt die Computerfotografie sowohl Erfolge als auch Misserfolge. Dies bedeutet, dass einige wichtige Merkmale oder ganze Technologien eine kurze Haltbarkeit haben können. Take the Lytro: Im Jahr 2017, kurz bevor Google das Unternehmen kaufte, schloss Lytro pictures.lytro.com aus, sodass Sie keine Bilder mehr auf Websites oder in sozialen Medien veröffentlichen konnten. Für diejenigen, die es vermissen, hat Panasonic eine Lytro-ähnliche Fokussierungsfunktion namens Post Focus, die in verschiedenen spiegellosen High-End-Kameras und Point-and-Shoots enthalten ist.

Die Tools und Funktionen für die Computerfotografie, die wir bisher gesehen haben, sind genau das Richtige Anfang . Ich denke, diese Tools werden viel leistungsfähiger, dynamischer und intuitiver, da mobile Geräte mit neueren, vielseitigeren Kameras und Objektiven, leistungsstärkeren integrierten Prozessoren und erweiterten Funktionen für das Mobilfunknetz entwickelt werden. In naher Zukunft werden Sie möglicherweise die wahren Farben der Computerfotografie erkennen.