Fakultät Informatik

DFG Schwerpunktprogramm 1147

Bildgebende Messverfahren für die Strömungsanalyse

Teilprojekt zum Paketantrag
Bildgebende Diagnosesysteme für mikroskopische Untersuchungen

Echtzeitverfahren zur modellbasierten Analyse und Visualisierung
von Partikelsequenzen und instationären Vektorfeldern

 P. Kondratieva,  J. Georgii, Prof. Dr. R. Westermann

Lehrstuhl für Computer Grafik und Visualisierung, Technische Universität München

Background

Ziel im beantragten Forschungsprojekt ist es, Konzepte und Verfahren zur Extraktion, Visualisierung und quantitativen Analyse strömungsphysikalisch relevanter Merkmale in Partikelsequenzen und instationären Vektorfeldern zu entwickeln und diese Verfahren an konkreten Strömungssituationen zu validieren. Zunehmend gewinnt die modellbasierte Analyse und interaktive Visualisierung von Partikelsequenzen und Strömungsfeldern im Bereich der experimentellen und numerischen Strömungsgewinnung an Bedeutung. Der Schwerpunkt der Arbeiten soll daher auf der Entwicklung von Verfahren liegen, die charakteristische Eigenschaften der Messsensorik und spezifisches Wissen um die strömungsphysikalischen Eigenschaften der induzierten Strömungen in den Analyse- und Visualisierungsprozess integrieren. Interaktive Verfahren ermöglichen hierbei eine signifikante Beschleunigung der Auswertung und erlauben die Variation modellspezifischer Parameter und deren direkte Validierung. Ausgangspunkt sind interaktive Verfahren zur Rekonstruktion von Vektorfeldern aus Partikelsequenzen und partikelbasierte Visualisierungstechniken für stationäre Strömungsfelder, die im Rahmen des Paketantrags "Mikro-PIV" in der ersten Bewilligungsphase des Schwerpunktprogramms entwickelt wurden. Im Weiteren werden diese Verfahren im Kontext der Mikro-Fluidik erprobt und anwendungsspezifisch erweitert bzw. optimiert. Darüber hinausgehend sollen Techniken zur Visualisierung von instationären 3D Vektorfeldern, die im Rahmen des Schwerpunktprogramms zukünftig von zentraler Bedeutung sein werden (siehe hierzu z.B. die Leitexperimente von Prof. Leder und Prof. Thiele), erarbeitet werden. Besonderes Augenmerk wird auf der Entwicklung von Visualisierungstechniken liegen, die den quantitativen Vergleich von experimentell bestimmten und numerisch berechneten Feldern ermöglichen.

Ergebnisse 2006:

Im diesen Antragszeitraum lag der Schwerpunkt der Forschungsaktivitäten auf der Entwicklung von Methoden zur modellbasierten Strömungsbestimmung aus Partikelsequenzen und zur interaktiven visuellen Analyse von instationären 3D Strömungsfeldern.

Ein Resultat dieser Aktivitäten ist ein wesentlich verbessertes Verfahren zur Rekonstruktion von Strömungsfeldern aus experimentell bestimmten Partikelsequenzen. Das Verfahren integriert a priori Wissen um die strömungsphysikalischen Eigenschaften realer Fluide in den Rekonstruktionsprozess. Diese Forschungsaktivitäten sind im Kontext der Mikro-Fluidik angesiedelt und behandeln spezielle Biokonvektionsvorgänge, die durch laminare, instationäre und wirbelbehaftete Strömungen charakterisiert sind. Durch die Kombination klassischer Auswerteverfahren für Bildsequenzen mit einem modellbasierten Korrekturschritt basierend auf der numerischen Lösung der Navier-Stokes-Gleichungen kann die Qualität des rekonstruierten Feldes erheblich verbessert werden. Insbesondere eignet sich das Verfahren zur automatischen Beseitigung von Ausreissern, und es führt zu Verschiebungsfeldern, die den Modellannahmen genügen.

Ein weiteres Forschungsergebnis sind neue Visualisierungstechniken zur Darstellung der Dynamik in hochaufgelösten 3D Strömungen. Die echtzeitfähige Berechnung und gleichzeitige Darstellung von Partikelbahnen in instationären 3D Feldern ermöglicht die gezielte Analyse spezifischer strömungsphysikalischer Eigenschaften der zugrunde liegenden Strömungsvorgänge.

Modellbasierte Rekonstruktion

Um die Effektivität der vorgestellten Methode zur Rekonstruktion von Vektorfeldern aus Partikel-Bildpaaren zu demonstrieren, wurde die Methode an experimentell bestimmten Datensätzen erprobt.

Ciliaten-Datensatz (Özmutlu et al. 2004)

Ziel des ersten Experiments ist die Bestimmung der durch bewegende Mikroorganismen (Ciliaten) in Wasser (Re = 1.25x10-3) induzierten Strömung aus Partikelbildpaaren [Özmutlu et al. 2004, Hartmann et al. 2006]. Bild 1 vergleicht das optische Flussfeld mit den Ergebnissen der vorgestellten modellbasierten Methode. Zu beachten ist hierbei, dass der OF-Ansatz die strömungsinduzierenden Mikroorganismen nicht berücksichtigen kann, also das Verschiebungsfeld im gesamten Beobachtungsraum berechnet.

Bild 1: Rekonstruiertes Vektorfeld, Datensatz (512x512) von Özmutlu 2004.
links: OF; rechts: nach vier Iterationen des modellbasierten Ansatzes.

Ciliaten-Datensatz (Petermeier et al. 2006)

Die folgenden Partikelbildpaare wurden mit besserer Aufnahmesensorik gemessen und weisen folglich im Vergleich zu den oben dargestellten Bildpaaren einen größeren Rauschabstand auf [Petermeier et al. 2006]. Die rekonstruierten Vektorfelder sind in Bild 2 visualisiert.

Bild 2: Rekonstruiertes Vektorfeld, Datensatz (256x256) von H. Petermeier & A. Delgado 2006.
links: OF; rechts: nach vier Iterationen des modellbasierten Ansatzes.

Die Ergebnisse in beiden Beispielen zeigen deutlich, dass der OF nur eine grobe Approximation des echten Vektorfeldes liefert und viele der Strömungsstrukturen entweder "verschmiert" werden (zu großer Regularisierungsterm) oder physikalisch nicht plausibel sind. Die vorgestellte Methode produziert mit jeder Iteration bessere und klarer erkennbare Strukturen, die zudem dem zugrunde liegenden physikalischen Modell genügen. Im Gegensatz zum OF werden Hindernisse im Beobachtungsraum korrekt simuliert (siehe helle Bereiche der Ciliaten).

Rotaria-Datensatz (Holtmann und Denz 2006)

Das letzte Beispiel (siehe Bild 3) demonstriert die Qualitä der vorgestellten Methode in Kombination mit novelty-gefilterten Bilddaten, wie sie von Prof. Denz, Kooperationspartnerin im Paketantrag "Mikro-PIV", bereitgestellt werden.

+
+

Bild 3: Rekonstruiertes Vektorfeld, Datensatz (256x256) von von F. Holtmann & C. Denz 2006.
oben: OF und 4 Iterationen des modellbasierten Ansatzes auf den Originalbildern;
unten: OF und 4 Iterationen des modellbasierten Ansatzes auf den novelty-gefilterten Bildern.

Es ist klar zu erkennen, dass der OF ohne Korrekturschritt die induzierte Strömung nicht rekonstruieren kann. Dies gilt auch für die Rekonstruktion der Strömung aus den nicht gefilterten Daten. Bemerkenswerter Weise liefert der Prädiktor-Korrektor-Ansatz bereits nach einigen wenigen Iterationen eine sehr gute Näherung an das tatsächliche Strömungsfeld. Die signifikanten Vorteile der vorgefilterten Daten, in denen statische Bildanteile weitestgehend entfernt wurden, sind hier klar und deutlich zu erkennen.

Berechnungsgeschwindigkeit

Zur Auswertung der Partikelbildpaare wurde ein Standard-Desktop PC (3 GHz Pentium IV, 2 GB RAM, GeForce 6800 GT Grafikkarte mit 256MB Videospeicher) verwendet. Die Laufzeiten und ausgeführten CG-Iterationen (Konjugierte Gradienten Methode) – zur Lösung des linearen Gleichungssystems in der OF-Berechnung und der Poisson-Gleichung in der Navier-Stokes-Simulation – für je einen Prädiktor-Korrektor-Schritt auf der GPU sind in Tab. 1 zusammengetragen. Da die Berechnung des OF und die Lösung der Navier-Stokes-Gleichungen die meiste Zeit beanspruchen, wurden diese getrennt gemessen (Spalten 2 und 3). Die Gesamtzeit ist in Spalte 4 gegeben.

Datensatz

Auflösung

OF Laufzeit [s], (#V-Zyklen)

NS Laufzeit [s], (#CG Iterationen)

Laufzeit
[s]

Petermeier, 2006

256x256

0.037

(5)

0.027

(20)

0.067

Özmutlu, 2004

512x512

0.160

(5)

0.112

(40)

0.300

Referenz Bild

860x1024

0.693

(5)

0.503

(80)

1.341

Tab. 1: Laufzeiten für eine Prädiktor-Korrektor Iteration auf der GPU

Interaktive Visualisierung von instationären 3D Feldern

Wie die Ergebnisse der ersten Antragsphase gezeigt haben, eröffnen gerade interaktive Techniken einen völlig neuen Zugang zu strömungsrelevanter Information in hochaufgelösten Daten. Im Bereich der Vektorfeldrekonstruktion ermöglichen solche Techniken die Variation modellspezifischer Parameter und die instantane Validierung der resultierenden Änderungen. In der Strömungsvisualisierung können völlig unterschiedliche, der Zielsetzung entsprechende Darstellungen frei gewählt oder gar kombiniert werden, um somit zu vergleichenden Aussagen zu gelangen. Schließlich leisten solche Techniken wesentlich der sog. Phänomenvisualisierung (siehe Projektantrag von Prof. Rist und Prof. Ertl) Vorschub, in dem der Anwender Suchregionen und relevante Merkmale interaktiv bestimmen und variieren kann.

Da der Anspruch bestand, die in diesem Teilprojekt entwickelten Verfahren vor allem in den Leitexperimenten des Schwerpunktprogramms (siehe Prof. Leder und Prof. Thiele) und im Teilprojekt von Prof. Rist zur Visualisierung von instationären Feldern zu nutzen, mussten geeignete Konzepte und Methoden entwickelt werden. In der aktuellen Projektphase lag der Forschungsschwerpunkt auf der Entwicklung von neuen Ansätzen zum "Streaming" und zur vergleichenden Visualisierung von instationären 3D Feldern. Durch die Integration der Forschungsergebnisse in die im ersten Antragszeitraum entwickelte offene Schnittstelle für die partikelbasierte Visualisierung von stationären Feldern auf GPUs [Krüger et al. 2004] ist bereits heute ein sehr mächtiges Visualisierungswerkzeug entstanden. Bild 4 zeigt einige Resultate dieser Entwicklungen.

Bild 4: Unterschiedliche Visualisierungstechniken für instationäre 2D- und 3D-Strömungsfelder.
a) Partikelverfolgung in einer durch Mikroorganismen induzierte instationären Strömung;
b) Semitransparente λ2-Flächen und Streichlinienbündel in einer Grenzschichtströmung (Datensatz: 512x229x129, 50 Zeitschritte, Darstellungsrate: 30 fps, Streamingrate 4Hz).
c,d) Durch die Möglichkeit einer vergleichenden Darstellung von Strom-, Pfad- und Streichlinien in Echtzeit kann die Dynamik der zugrunde liegenden Strömung dargestellt werden.

Das Visualisierungssystem basiert auf einem Streaming-Ansatz, um die Zeitachse als wichtige Visualisierungseigenschaft zu erhalten. Dazu werden zeitaufgelöste Daten von der Festplatte zur Grafikkarte geladen, wenn sie benötigt werden. Um den Transfer aktuell benötigter Daten effizienter zu gestalten, werden Haupt- und Grafikkartenspeicher als 2-Level Cache verwendet. Um eine flüssige Bildrate zu gewährleisten, wird der Ladevorgang durch einen zusätzlichen Thread asynchron implementiert. Dadurch ist es möglich während des Streamings neuer Daten eine beliebige Anzahl an Zwischenbildern zu generieren. Insbesondere profitiert dieses System von aktuellen Multikern-Architekturen, da diese jedem Thread einen Prozessorkern zuweisen können. Aber auch auf herkömmlichen Einkern-Prozessoren lässt sich eine deutliche Beschleunigung des Darstellungsvorganges messen. Dies liegt daran, dass Streaming und Rendering durch Multi-Threading entkoppelt werden, während Single-Threading zur Blockierung der Grafikeinheit führen würde. Da das System die verfügbaren Daten beliebig interpolieren kann, können sowohl adaptive Schrittweiten im Raum als auch in der Zeit gewählt werden.

Für die Visualisierung instationärer 3D Felder auf GPUs wurden die in der ersten Antragsphase entwickelten dynamischen Datenstrukturen und numerischen Integrationsverfahren höherer Ordnung in Bezug auf zeitaufgelöste Daten erweitert. Diese Entwicklungen nutzen gezielt die spezielle Berechnungspipeline heutiger GPUs für die parallele Berechnung einer großen Menge ähnlich strukturierter Eingabedaten im Sinne klassischer SIMD-Vektorprozessoren aus. Vor allem durch die Kombination massiver Datendurchsatzraten, enormer Fließkomma-Rechenleistung und der parallelen Prozessorarchitektur konnten im speziellen Kontext der Strömungsvisualisierung wesentliche Beschleunigungen gegenüber reinen CPU-Codes erzielt werden. Insbesondere wurde durch die Arbeiten im aktuellen Forschungsprojekt das erste Mal die interaktive Visualisierung instationärer 3D Strömungen auf PC-Architekturen ermöglicht. Von besonderem Interesse im Kontext des SPP1147 ist hierbei die Möglichkeit, gleichzeitig die dynamischen Änderungen mehrerer strömungsrelevanter Parameter und unterschiedlicher Visualisierungsmodi, z.B. Strom- , Pfad- und Streichlinien zu berechnen und zu visualisieren (siehe Abbildungen 5 b-d). Dies ermöglicht im weiteren Verlauf des Forschungsprojektes die gezielte vergleichende Analyse von numerische be-rechneten und experimentelle bestimmten Strömungsfeldern.

Durch die Integration topologiebasierter Visualisierungsmethoden, etwa die Darstellung von λ2-Flächen oder Wirbelkernen, die im Rahmen des SPP1147 von den Gruppen um Prof. Rist und Prof. Ertl entwickelt wurden, kann nun sowohl die Dynamik komplexer Strömungsvorgänge als auch deren Topologie interaktiv exploriert werden. Diese Techniken werden somit vor allem auch der Phänomenvisualisierung (siehe Projektantrag Rist/Ertl) Vorschub leisten, in dem sie gerade das interaktive Verfolgen und die vergleichende Analyse von Phänomenen ermöglichen.

Ergebnisse 2004-2005:

Bild 1: Die Benutzeroberfläche des entwickelten PIV-Systems. Verschiedene Optionen zur Bestimmung der lokalen Maxima des Korrelationssignals stehen dem Benutzer zur Verfügung. Bei Verwendung von Interrogation-Windows der Größe 32x32, 50% überlapp und der 5-Punkt Zentroid Methode zur Bestimmung lokaler Maxima der Korrelationssignals können Strömungsfelder aus einem Bildpaar der Größe 1024x1024 ca. 10-mal pro Sekunde berechnet werden.

Bild 2: Ein mikrobiologischer Datensatz auf unterschiedlichen Auflösungsstufen der Wavelet-Hierarchie. Von links nach rechts sind die Beträge (oben) und die lokalen Maxima der Beträge (unten) der Koeffizientenvektoren der Wavelet-Transformation dargestellt.

+
+

Bild 3: Links ist das Ergebnis der Strömungsrekonstruktion aus den Originaldaten dargestellt. Rechts wurde die Rekonstruktion durch die Integration der hierarchischen Wavelet-Transformation verbessert. Wirbelstrukturen prägen sich sehr viel stärker und realistischer in den Daten aus.

+
+
+

Bild 4: Unterschiedliche Visualisierungstechniken für 2D und 3D Strömungsfelder. Die ersten beiden Bilder zeigen eine durch Mikroorganismen induzierte Strömung. Das rechte Bild zeigt das Simulationsergebnis einer turbulenten Blockumströmung. Selbst für hoch aufgelöste Daten, z.B. 512x512x128 im rechten Bild, können pro Sekunde ca. 1000 Pfadlinien mit jeweils 10000 Integrationsschritten rekonstruiert werden.

+
+

Bild 5: Das linke Bild zeigt die Farbkodierung von Lamda2-Werten zur Visualisierung von Vortex-Strukturen in einer Grenzschichtströmung. Grün bzw. rot korrespondiert zu Lambda2-Werten kleiner bzw. größer als 0. Mit zunehmendem Abstand der Werte vom Iso-Wert 0 werden die Partikel transparenter und darum weniger sichtbar. Pro Sekunde kann die Berechnung der Lambda2-Werte für ca. 2 Millionen Partikel durchgeführt werden. Auf der rechten Seite wurden Strombänder berechnet und visualisiert, anhand derer die lokale Rotation der Strömung analysiert werden kann.

Additional References

  • Gleirscher, M.: Modellbasierte, computergestützte Analyse von Daten aus dem DPIV-Verfahren, Diplomarbeit 2004. [ html] [PDF]
  • Özmutlu, Ö., Petermeier, H., Hartmann, C., Delgado, A., Krishnamachari, V., Denz, C., Brede, M., Leder, A., Fried, J.: Mikroorganismische Konvektion im Lichte eines bildgebenden Verfahrens. 12. Fachtagung über Lasermethoden in der Strömungsmeßtechnik (GALA 2004)
  • Hartmann, C., Özmutlu, Ö., Petermeier, H., Fried, J., Delgado, A.: Analysis of the Flow Field Induced by the Sessile Peritrichous Ciliate Opercularia asymmetrica. Journal of Biomechanics, 2007, Vol. 40, n. 1, pp. 137-148
 

News

Matthias Niessner, our new Professor from Stanford University, offers a number of interesting topics for  master theses.

 

PhD positions on   Computational Fabrication and 3D Printing and  Photorealistic Rendering for Deep Learning and Online Reconstruction are available at the Computer Graphics & Visualization group.