Guten Tag, meine Damen und Herren, ich möchte Sie herzlich begrüßen.
Zur heutigen Vorlesung kognitive Systeme, wir kommen jetzt zum zweiten
Teil der Vorlesung.
Spracherkennung lernen hat Herr Weibel vorgetragen.
Ich werde jetzt im weiteren die Bildverarbeitung, die zu Beginn des
Semesters begonnen wurde, fortsetzen.
Und dann haben wir den Block Planung, Planungsverfahren und Robotik.
Beiden waren also kognitive Verfahren, Lernverfahren, Beobachtungen
aus der Umwelt benötigt, um Handlungen zu planen und letztendlich auch
auszuführen.
Gut, das also zu den Themen heute.
Am Mittwoch, wenn wir die erste Übung machen, kommen wir im GDH-Saal
zu dem Stoff der Bildverarbeitung.
Zur Wiederholung, kognitive Systeme, wir sind immer noch bei der
Wahrnehmung, bei der visuellen Wahrnehmung der Umgebung.
Sie haben jetzt also die sprachliche Wahrnehmung, die akustische
Wahrnehmung schon behandelt, also Sprachverstehen, Worterkennung und
die Lernverfahren, die dazu benötigt werden.
Die Störungen, die Methoden, die benötigt werden.
Und wir setzen jetzt eben die Bildverarbeitung fort.
Heute ist das Thema Merkmalsextraktion.
Ich mache immer so einen kleinen Diskurs noch, wie das bei Menschen...
Man vermutet, dass das bei Menschen funktioniert, die Wahrnehmung.
Und dann eben auch die Frage, wie weit können wir denn tatsächlich von
kognitiven Systemen sprechen.
Gut, Maschinensehen hatten wir hier schon mal besprochen.
Das weitgehende Ziel hier ist, visuelle Wahrnehmungen durchzuführen.
Visuelle Wahrnehmungen sind in der Natur in mannigfaltiger Art
vorhanden.
Also wir haben aktive Augen mit Linsen, mit der Möglichkeit der
Adoption.
Es gibt aber auch Lebewesen wie Spinnen, die haben also Facettenaugen
oder mehrere Augen auf dem Körper verteilt, sodass sie eben die
Umgebung wahrnehmen können.
Und dann eben sehr spezialisierte visuelle Organe unter Wasser
funktionieren, also die Lebewesen im Wasserfisch sind auch sehr
hochgezüchtete visuelle Wahrnehmungen.
Und was wir behandeln, sind Halbleiterkameras, die werden also immer
stärker, immer leistungsfähiger.
Und nicht nur was die Auflösung betrifft, sondern auch was die
Merkmale betrifft.
Also wir bekommen heute Kameras mit verschiedenen Wellenlängen, das
heißt mit Auflösung im Infrarotbereich, im Weißbereich, im
Röntgenbereich, mit dem man doch eine ganze Menge an Informationen
aufnehmen kann.
Und dann eben andere Prinzipien, das heißt Scanner, das Abtasten, gibt
es in der Natur nicht.
Dass man also mit Lichtimpulsen Flugzeiten misst und dann eben aus den
Antwortzeiten, ähnlich wie im Ultraschall, dann 3D-Bilder erzeugt oder
mit Radarwellen arbeitet.
Das heißt also ferngekuppelte Systeme, bei denen also Wellen
ausgesandt werden und dann eben die Antwort zur Bilderzeugung
verwendet wird.
Ja, an Merkmalen gibt es eine ganze Menge.
Farbe.
Ich habe noch einen, den ich noch gar nicht behandelt habe, das sind
die Gerüche.
Auch die Möglichkeit, Arten, Umgebungen wahrzunehmen nach Gerüchen,
das wieder mit optischen Eindrücken zu kombinieren und dann einen
entsprechenden Eindruck zu erzeugen.
Dann haben wir hier Formmerkmale.
Das ist also Kanten, Ecken, das wären so die klassischen Formmerkmale,
die Sie in jedem Schulbuch für Bildverarbeitung finden.
Dann aber auch Krümmungen, Löcher, geometrische Merkmale,
Textbeschriftungen, Reflexionseigenschaften der Objekte, die wir
benutzen, also Strukturen.
Und dann Relationen, das heißt also, wie sind die geometrischen
Relationen zwischen Objekten, sind die nah beieinander, aufeinander,
bewegen sich die Objekte?
Und dann eben die Beschreibung der Szene, die von Interesse ist.
Dann Bewegungen, Handlungen, das ist das Interessanteste, dass man
Situationen beobachtet, Szenen, dynamische Szenen und dann erstens
bewegte Objekte erkennt und dann eben auch erkennt, wohin sich die
Objekte bewegen und was die Handlung zum Ziel hat, die man beobachten
kann.
Und auch hier die Anmerkung, der Mensch oder auch wie gesagt
Säugetiere müssen bewegte Szenen beobachten können, einfach zum
Überleben, die sind sehr stark ausgeprägt.
Und solche Dinge können jetzt mit technischen Kameras spaziell
nachgebildet werden und auch so repräsentiert werden, dass es
nachvollziehbar ist.
Das ist immer ein bildverarbeitendes System, das dann in Sprache
erläutert, was es gesehen hat.
So im Englischen sagt man, say what you see, dass man also ein Bild
aufarbeitet, die Objekte analysiert, die Relationen beschreibt, die
zeitlichen Arbeiten beschreibt und dann können Sie textuell, also wenn
Sie Semantik definiert haben, erzeugen, dass also ein Bild
selbsterklärend sagt, was auf dem Bild passiert.
Also der Fußgänger geht von links nach rechts oder beim Fußballspiel
wird ein Doppelpass gemacht und dann der Vorschuss vorbereitet.
Das kann man textlich bearbeiten und das ist eigentlich schon ein
höheres Ziel, das wir anstreben.
Gut, Szene hatten wir schon behandelt.
Also hier Wiedererkennung bekannter Sachverhalte, Objekte, Relationen,
Personen sind von Interesse Orte.
Von wo beobachte ich eine Szene, was passiert wo in der Szene, ist ein
Punkt.
Dann Sachverhalte, das heißt man muss hier entsprechend örtliche
Auflösungen durchführen.
Und dann die sogenannte Egomotion, also Eigenbewegungserkennung, ist
ein ganz wichtiges Merkmal.
Also wo ist der Beobachter in der Szene?
Also sagt, bin ich nah am Geschehen, bin ich fern am Geschehen, links,
rechts oder muss der Ort gewechselt werden, um Informationen gewinnen
zu können.
Das heißt also, die eigene Bewegung ist wichtig.
Und dann die technischen Dinge, die zu machen sind, sind also
Segmentierung, Pixelerkennung und dann eben entsprechende Verfahren,
um Merkmale, Texturen und Relationen zu können.
Bei Situationen, also Szene und Situation ist es nochmal so
unterscheidend, kommt der Faktor Zeit dazu, dass man also
kontinuierliche Aufnahmen oder Aufnahmen mit Abtastraten diskret
durchführt und damit Handlungen, Abläufe erkennen kann in der
Situation, also Situation ist immer Zeitbehaftet, vorher, nachher,
gleichzeitig zum Beispiel, wenn man die Relation beobachtet, um
dynamische Abläufe, dynamische Szenen verteilen zu können.
Dann die Abläufe in der Szene, in der Regel braucht man Kontext dazu,
wenn Sie Verkehrskreuzung betrachten, gibt es halt Teilnehmer, das
sind Autos, Radfahrer, Motorräder, eventuell Fußgänger und dann hat
man eine Kreuzungssituation, Übergang für Fußgänger, Kreiselverkehr,
der hiermit betrachtet wird.
Hier sind die Szenen meistens kontextbehaftet, Bewegung spielt eine
Rolle, Interaktion zwischen Mensch und Maschine.
Also wenn Sie mit dem Roboter kooperieren, dann ist es wichtig, die
Interaktion zu erkennen und zwar von beiden Seiten.
Die Maschine muss wissen, was ist die Absicht des Menschen, was
passiert gerade und dann kann die Handlung erfolgen.
Der Mensch muss das aber auch erkennen können, was die Maschine gerade
macht, um sein Verhalten anpassen zu können.
Das ist die Frage, wie groß ist der Zeithorizont, genügt das also,
eine Sekunde Vergangenheitswerte abzuspeichern oder muss man 15
Minuten Vergangenheitswerte abschneiden und dann kommt die Schätzung
in die Zukunft, also die Prädiktion, dass man sagt, wie kann sich die
Szene entwickeln.
Im Sport sind es relativ kurze Phasen, wenn Sie Tennis spielen, haben
Sie einfach die Flugzeit des Balls und das Positionieren des Gegners,
um den Zeithorizont zu betrachten.
Und dann eben Kontexthintergrund.
Wissen ist bei technischen Systemen, aber auch bei biologischen
Systemen in der Regel Voraussetzung.
Bei der Biologie ist das immer, wenn wir von kognitiven Systemen
sprechen, das Bedürfnis.
Und die Stimuli werden dann eben im Gehirn entsprechend verarbeitet,
dass mit Hintergrund und Erfahrungswissen dann eine erfolgreiche
Handlung ausgeführt werden kann.
Das sehen wir auch bei den Lernverfahren, maschinellen Lern 1 und
maschinellen Lern 2, wenn Vertiefungsvorlesungen mitbehandelt werden.
Gut, das andere war Zustandsprädiktion, auch aus sensorischen
Beobachtungen.
Das heißt also, was passiert als nächstes.
Bekannt ist der Kalmanfilter, bei dem man eben aus Zustandsschätzungen
Schätzungen macht für den nächsten Zustand.
Und dann kann das System sich entsprechend einstellen.
Dann haben wir hier Basicschätzverfahren.
Man verwenden kann, das ist ein statistischer Ansatz, da werden
Wahrscheinlichkeiten gearbeitet, um den kommenden Zustand besprechen
zu können.
Sie kennen das bei der Spracherkennung.
Wenn man also hier entsprechende Frequenzen, Frequenzfolge, Phoneme
betrachtet, dass man sagt, was könnte das für ein Wort sein.
Was kommt als nächstes, wenn man ganze Sätze entsprechend
interpretieren möchte.
Das haben wir in der Bildverarbeitung genauso.
Hier sind noch Verfahren, das sind Markov-Entscheidungsprozesse, die
verwendet werden.
Hier geht man aus, dass die Szenarien nur partiell beobachtbar sind,
was auch der Realität entspricht.
Viele Dinge sind verdeckt, viele Dinge sind sensorisch nicht
beobachtbar, weil die Auflösung zu gering ist, weil Verdeckungen
vorliegen.
Oder Wechselwirkungen, oder einfach Rauschen vorliegt.
Wo ist denn zu berücksichtigen?
Das sind Entscheidungsverfahren, um Situationen beurteilen zu können.
Also kann ich jetzt über die Kreuzung oder nicht?
Man kann leider nicht um die Ecke schauen.
Da muss man mit Wahrscheinlichkeit nachdenken, könnte ein Auto kommen,
könnte kein Auto kommen.
Dann entscheiden sie sich langsam oder schnell über die Kreuzung.
Das sind Pomptypies, partiell beobachtbare Markov
-Entscheidungsprozesse, die hier verwendet werden.
Die kann man diskret, aber auch kontinuierlich heute realisieren.
Coronanletzen, dann hat jede Menge an Erfahrungswissen, das hierzu
gesammelt wird.
Die Sensoren möchte ich heute nochmal alle auflisten, was wir hier
haben.
Das sind so typische visuelle Sensoren bei Robotersystemen, die heute
weltweit entwickelt werden.
In der Regel ist immer ein linkes Auge, ein rechtes Auge dabei.
Die Augen sind bewegbar, also das zirkadische Sehen.
Und dann kommt das makroskopische Sehen durch Kopfschwenken, um den
Bereich des Interessens beobachten zu können.
Das muss gesteuert werden bei kognitiven Systemen, das ist nicht
trivial.
Also wo muss der Roboter hinschauen und wo schaut der Mensch hin?
Man hat immer im Englischen Focus of Interest und daraufhin wird in
der Regel die Aufmerksamkeit gegeben.
Es kommt dann dazu bei der Beobachtung, was für eine Beleuchtung liegt
vor, ändern sich die Lichtverhältnisse.
Das kann man technisch lösen, muss allerdings gewisses Vorwissen haben
und auch entsprechend flexible Kameras hier erwenden.
Gut, das wären also so ein paar Prototypen.
Es wird immer schwieriger, je näher die technischen Kameras
lokalisiert sind, also den Abstand haben.
Das menschliche Auge hat etwa 7 bis 8 cm Abstand.
Und schöne Stereobilder kann man eigentlich erzeugen, wenn die Kameras
relativ weit sind.
Das hängt mit der Triangulation zusammen und dann kann man eben höhere
Genauigkeit erzielen, wenn die Augen weit auseinander sind.
Wir versuchen das nachzuvollziehen mit 8 cm, die da sind.
Und dann sind die Probleme, die wir hier haben, hatte ich schon
genannt.
Selbstlokalisierung, also wo ist der Beobachter, wenn das nicht vorher
alles festgelegt ist?
Welche Objekte treten hier auf in der Umgebung?
Wie sind die radiometrischen Parameter?
Welche Technologie hat das Halbleiter-Substrat?
Welche Wellenlängen werden aufgenommen?
Aufnahmezeit, wie sind die Abtastzeiten?
Das sind also technische Größen, die hier mit einer Rolle spielen.
Dann eben die Merkmale aus diesen Bildern herauszurechnen.
Typische Sache, die wir hier in Karlsruhe machen, also beobachten.
Küchenszene.
Küche ohne Kontrastfarben, das ist eine weiße Küche, da sind die
Kanten relativ problematisch zu beobachten.
Das sind Geräte, also Geometrien, haben Griffe, haben eine
Funktionalität.
Schublade hat eben die Möglichkeit translatorisch bewegt zu werden.
Hier ist Mikrowelle, da wird die Öffnung rotatorisch geöffnet.
Das heißt, man muss die Achsen bestimmen, man muss den Griff
bestimmen, die Handhabung durch.
Das heißt also, hier wird die Kamera benutzt, um technische und
geometrische Parameter aus der Umgebung zu beobachten.
Kann man mit dem Planer erzeugen, man sagt, ich habe ein
Planungsverfahren, das die Reihenfolge der Beobachtungen festlegt, das
die Algorithmen festlegt und dann technisch ausführbar ist im Sinne
eines kognitiven Systems bei der Natur liegt das alles gleichzeitig
vor und wird einfach plötzlich dominant und die Verfahren werden durch
das neuronale große Netz im Gehirn zur Verfügung gestellt.
Also die technische Vorgehensweise ist dann also Kanten detektieren,
Formelemente detektieren, Funktionselemente, die Lichtanpassung durch
eine dynamische Kamera durchzuführen und dann insgesamt eben alle
Messfehler, die hier auftreten können.
Zu reduzieren.
Es gibt Ihnen dann also so Beispiele, wo man sagt, hier sehen Sie
Kanten, die hier dann Energieverteilungen, dann Kantenübergänge.
Das ist das Problematischste bei der Kennung und Rekonstruktion
geometrischer Strukturen wie Oberflächen, Ecken, Kanten, Löcher, die
jetzt hier durchgeführt werden.
Da gibt es also sehr viel Verfahren.
Genau messen kann man es nicht.
Man bekommt also immer nur Kantelemente.
Das ist das, was hier so grau dargestellt sind.
Das ist eine Kante, eine Ecke.
Das sind die Pixel.
Jetzt ist dann die Frage, wie sieht es denn genau aus?
Rundung.
Das ist ein ganz scharfer Winkel.
Da ist, wie weit kann das getrieben werden.
Die Ecken werden dann approximiert, sodass man eine genaue
Rekonstruktion machen kann, dass Sie damit handhaben können.
Okay, das also, um Ihnen nur einen Eindruck zu geben.
Und dann eben die Beobachtung von Handlungen.
Das haben wir hier sehr systematisch untersucht.
Das ist also einfach das Vormachen von einer Handlung.
Öffnen einer Flasche, das Aufzeichnen und daneben das Segmentieren und
anschließend wieder ausführen durch eine Maschine in dem Fall.
Es gibt viele Anwendungen.
Wir haben jetzt eine Masterarbeit in Japan.
Da soll eine Klarinette zum Roboter gespielt werden.
Und die Idee ist, dass man das erstmal vorspielt, vielleicht bei
gleichzeitigem Lesen der Noten.
Dann werden die Bewegungen, Blasbewegungen, der Lungendruck auf ein
Saxophon übertragen und dann gespielt.
Das sind so typische Anwendungen, wo die Wahrnehmungsvorgänge dann
segmentiert, visuell aufgenommen, segmentiert werden.
Also hier gibt es einige Arbeiten, wer sich dafür interessiert, kann
gerne auch mal herkommen.
Das ist jetzt in der Robotik ein Stand der Kunst, dass man Dinge, die
der Roboter machen soll, einfach vormacht, kommentiert sprachlich und
dann wird das segmentiert und das Korrespondenzproblem, d.h.
die Abbildung auf die Maschine berechnet und damit kann das ausgeführt
werden.
Okay, die anderen Dinge haben wir schon besprochen, d.h.
was ist ein Bild?
Wir können Bilder dargestellt werden, wir haben zweidimensionale
Bilder, die werden durch Pixel dargestellt.
In der Regel sind das Rechtecke und Quadrate, die über Halbleiter.
Die Lichtintensität pro Pixel messen, das kann man im Ortsbereich
darstellen.
Wir haben die Frequenzanalyse gemacht, d.h.
hier haben Sie die Pixel mit hell und dunkel, das Bild.
Und dann kann bei Transformation durch eine Fourier-Reihe, durch das
Fourier -Integral eben das Frequenzspektrum berechnet werden, die
Phase berechnet werden und dann Schlüsse über die Bilder gezogen
werden.
Okay, was wir heute machen ist also, was macht man mit den Bilddaten?
Es gibt also nicht nur Pixeldaten, sondern auch Wuchseldaten,
Achseldaten.
Achsel sind also die Tastwerte auf der Haut, der Innenhand, ein
Kontakt zwischen Objekten und messendem System.
Das nennt man Achsel.
Und dann eben die Wuchsel, das sind Volumenbilder, die vor allem in
der Medizin eine große Rolle spielen und in der Werkstoffprüfung, wo
mit Magnetresonanzverfahren eben dreidimensionale Wuchselbilder
erzeugt werden.
Einige der Verfahren möchte ich Ihnen mitteilen.
Es gibt jetzt hier natürlich eine ziemlich große Diskussion in der
Bildverarbeitung heute.
Die einen sagen, man braucht zur Bilderkennung eigentlich keine
Algorithmen mehr, sondern wir machen das jetzt mit Deep Learning, dass
man einfach Trainingsdaten en masse verwendet, wenn Sie die haben,
also ein Objekt, und dann 10.000 Ansichten des Objekts erzeugen können
zum Trainieren und das dann noch halbverdeckt in den Bildern haben,
dann kann man das machen.
Andere sagen natürlich, um eine gute Bilderkennung durchzuführen,
müssen wir eigentlich die Methoden kennen und auch die Physik
dahinter.
Es wird also ernsthaft weltweit diskutiert, ob man das eine noch
braucht.
Ich persönlich denke, dass man sich mit beidem beschäftigen soll und
die Grundlagen und den Messvorgängen dringend braucht, wenn man also
gute Bildauflösungen durchführen will.
Aber wie gesagt, es ist eine laufende Diskussion, da möchte ich nur
darauf hinweisen.
Also das sind einige Verfahren.
Was sind so die Basisdaten in den Bildern?
Einfachste ist, dass man im Bild einen Schwellwert setzt.
Und wenn Sie ein buntes Bild haben und dann nur noch Grün- oder
Rotanteile sehen wollen, dann setzt man einen Schwellwert.
Oder wenn man ein Schwarz-Weiß-Bild erzeugt, ein bisschen ein
Binärbild, auch einen Schwellwert.
Dann Segmentierung von Oberflächen, zunächst mal von Farben, von
Formen.
Und wenn man im dreidimensionalen sieht, das kommt nächste Stunde in
der Vorlesung, dann eben Segmentierung dreidimensionaler Strukturen,
um eine Analyse machen zu können.
Und eine entsprechende grafische Rekonstruktion durchzuführen.
Da gibt es jetzt ein ganzes Repertoire an Algorithmen, mit denen man
Punktmerkmale vorteilhaft nutzen kann, um Szenen wiederzuerkennen, um
Muster zu erkennen, um Formen oder Strukturen zu erkennen.
Okay, das wäre so das Thema heute.
Das kennen Sie sicherlich.
Das sind Binärbilder, Konturen, das sind Schwellwerte gesetzt.
Und die Frage ist dann immer, wie kann man solche Bilder verarbeiten?
Was ist das jetzt?
Sind das ein Verhälter oder sind das zwei Gesichter?
Das ist dann die Frage, die zu lösen ist.
Das heißt, man sucht dann doch Formelemente, Übergänge, eventuell
Durchmesser, Radien, die das Bild charakterisieren, um eine Aussage
machen zu können.
Okay, im Computer haben wir dann unsere Pixel.
Das heißt, wir legen einen Raster drüber.
Und mit dem Raster kann man dann Punktmerkmale, wenn man die Matrix
größer macht, Übergänge von Punkten, Kanten, Elemente, eventuell einen
Polygonzug ableiten, approximieren und eine Aussage zu machen.
Gut, das sind die Randbedingungen.
Also wie viele Daten haben wir denn?
Wie gesagt, bei Deep Learning hat man immer gleich, wenn Sie zu Google
gehen, gibt es Bildsequenzen, etwa 10 Millionen Bilder, 15, 20
Millionen Bilder.
Sie können auch Ihre eigenen Bilder mit reinlegen.
Und das sind dann also sehr große Datenmengen, die auf hierarchisch
strukturierten Haltungselementen gerechnet werden.
Deep ist aber auch nichts anderes als Pixel, dann 3x3-Matrizen, 9x9
-Matrizen, 15x15-Matrizen, die dann sukzessive wachsen, bis man eben
eine Gesamtstruktur fand hat.
Okay, was wird dargestellt?
Welche Merkmale sind stabil?
Welche ändern sich über die Zeit?
Die Betrachtung von Strukturen von verschiedener Seite macht der
Mensch auch, dass man also bestimmte Objekte rechts und links
betrachtet oder in die Hand nimmt und schaut, wie sieht das hinten
vorne aus?
Das sind typische Beobachtungsstrategien.
Ja, da gibt es, wie gesagt, für die industrielle Bildverarbeitung
bekannten Löcherform-Elemente, angefasste Löcher, angefasste Gewinde,
Schraubenköpfe, eine ganze Menge an Algorithmen, die erstens
klassifizieren für diese Merkmale, aber dann auch geometrische
Merkmale erzielen, damit die Objekte begriffen werden können und damit
das gemacht wird.
Etwas reicherhaltiger ist daneben Farbe, Textur und Beschriftung.
Es gibt künstliche Beschriftungen, das ist relativ einfach zu lesen.
Das heißt, auf vielen Flaschen ist ein Barcode und über den Barcode
können Sie natürlich lesen, was das ist, was das für ein Produkt ist.
Wir machen das aber jetzt mit natürlichen Merkmalen und Barcode wird
nur verwendet, wenn es absolut nicht geht.
Hier ist ein typisches Beispiel, Segmentierung, das ist relativ
gutartig.
Der Hintergrund ist schon weggerechnet, es ist also ein dunkler
Hintergrund.
Bei normalen Bildern ist es ein grauer Hintergrund oder ein farbiger
Hintergrund.
Und jetzt können Sie hier zur Berechnung eben dieser Struktur einen
Schwellwert setzen.
Das ist dieses Q.
Und dann können Sie sagen, alle, die den Schwellwert überschreiben,
sind hell oder weiß und alle, die den Schwellwert unterschreiben, sind
schwarz.
Sie bekommen eigentlich dann so ein Bild und können dann mit einer
kleinen Schablone an der Kante entlangfahren, die Strukturen
aufzeichnen und dann am Schluss eine Aussage machen, um was es sich
hier handelt.
Das sind also Binärbilder, das ist so ziemlich die einfachste
Bildverarbeitung, die man machen kann, dass man eben das Objekt
reduziert auf diese Binärstrukturen.
Was Sie hier machen können, sind also die Kantenverfolgungsspitzen
herauszurechnen, dass das also hier ein Blatt ist mit fünf
Blattspitzen.
Sie können den Blattstil herausrechnen.
Das heißt also mit einfachen geometrischen Morphologien, also
Formbeschreibungen.
Die Frage ist dann, wo setzt man den Schwellwert?
Das heißt, Sie können sich an Ihren Rechner setzen und dann einfach
mal drehen von unten nach oben und dann nehmen Sie das, was am besten
geht.
Das wird oft gemacht, wenn man so Gesichtskonturen produzieren möchte
und eben sehr schnell einfach eine Nachbildung sucht.
Die Analyse ist hier zu sehen.
Sie können die Histogrammanalyse machen.
Das heißt auch die Farbverteilung, die Grauwertverteilung
durchschauen.
Also wo sind die Maxima, wo sind Minima?
Und dann ist die Frage, wo setze ich denn eigentlich meinen
Schwellwert?
Reicht ein Schwellwert oder braucht man mehrere Schwellwerte?
Kommen wir nachher dazu, wenn man nicht nur 0 und 1 verwendet, sondern
vielleicht ein Bild in drei, vier Intensitätsregionen unterteilen
will, dann setzt man mehrere Werte, um die Zuordnung zu machen.
Das heißt, Sie gehen also jede Zeile durch, addieren die Grauwerte und
die Schwellenlängen, die Sie haben, dann bekommen Sie es so
dargestellt und können dann zum Beispiel sagen, das legen wir irgendwo
dazwischen oder man legt es hier ins Maximum, je nachdem, was Sie
sehen wollen.
Ist der Schwellwert zu weit rechts, verschwinden Details.
Ist der Schwellwert zu weit links, tun Sie auch wieder Details aus der
Struktur unterdrücken.
Das macht das Ganze ein bisschen schwierig.
Das sind so typische Schwellwert-Operationen.
Das ist ein medizinisches Schnittbild.
Das sind Boxen, einfach zweidimensional dargestellt.
Und jetzt ist die Frage, was ist das?
Da kann man also den Schwellwert sehr stark nach links legen.
Das heißt also, die ganzen Details mit Grauwerten in der Mitte
verschwinden, kommen dann hier am Rand.
Starke Konturen, das sind Dinge, die Sie hier nicht erkennen können.
Dann liegen sie so in der Mitte.
Das heißt, die Strukturen werden hier relativ gut nachgebildet.
Ist der Schwellwert jetzt hoch, also rechts, verschwinden diese
Strukturen.
Sie sehen dann aber die Baubereiche besser.
Das wird jetzt nur mit dem Schwellwert-Verschiebung gemacht, sodass
Sie hier entsprechende Strukturen mit betrachten können.
Ja, und dann gibt es die Verfahren, dass man sagt, ein Schwellwert ist
mir zu wenig.
Wenn man also eine Objektklasse hat, dann kann man natürlich auch
sagen, die möchte ich gerne erkennen.
Sucht man dann die Varianzen von einer Objektklasse.
Und wenn Sie mehrere im Bild erkennen wollen, bestimmen Sie dann also
die Varianzen zwischen den Objektklassen.
Da legt man dann die Schwellwerte dazwischen, sodass ich eigentlich
dann drei, vier Klassen entsprechend beobachten kann.
Das heißt also, man gibt mehrere Klassen vor und dann entsprechende
Schwellwerte.
Bei K plus 1 brauchen Sie dann K-Schwellwerte, um Diskriminierung zu
machen.
Ich zeige dann so ein Beispiel, dass man sagt, innerhalb einer,
innerhalb zwei Klassen haben wir hier diese Verteilung.
Das ist ungünstig.
Wenn Sie also zwischen zwei Objektklassen diese Verteilung, große
Abstände haben, würde man den Schwellwert hier reinlegen.
Und dann ist natürlich, wenn man zwischen einer Klasse Versuchungen
macht, ist es günstig, wenn man bei einer Klasse solche Verteilungen
hat.
Ich möchte ja nur die Klassen unterscheiden können und nicht eben die
Varianzen von einer Klasse.
Dann kann man eben Kriterien aufstellen, das Ganze normieren und die
Schwellwerte berechnen, maximieren, sodass Sie diese Objekte, die Sie
betrachtet, optimal betrachten können.
Hier haben wir ein Grauwild und das Grauwild ist jetzt hier zerlegt
worden in fünf Grundfarben, Rot, Violett, Gelb und damit kann man dann
bestimmte Organklassen oder Objekte, die zu Klassen gehören, markieren
und auch entsprechend erkennen.
Das wäre also hier eine große Hilfe, um zum Beispiel dieses Bild
besser erkennen zu können.
Also wenn Sie Tumore suchen, die Tumore einfärben, die kann man dann
hier entsprechend mit Gelfarben durch die Schwellwerte segmentieren.
Gut, dann gibt es noch andere Farben, Farben im Alltag.
Wenn man Menschen beobachtet, nutzt man Farbe oft einfach die
Pigmentfarben im Gesicht.
Das sind Spektren, die sehr gut erkennbar sind.
Die Spektren treffen eigentlich den ganzen Körper, Gesicht.
Meistens sieht man ja doch die Hände und den Kopf und dann werden die
Spektralfarben gemessen.
Und dann kann man noch sagen, gibt es Abweichungen, ethnische
Abweichungen, dass einfach die Hautfarbe von Menschen unterschiedlich
ist und dass man dann hier die Spektralfarben anpasst.
Aber die liegen gar nicht so weit auseinander.
Okay, dann haben wir hier Objekte, unterschiedlich gefärbte Objekte,
bei denen die Farbe segmentiert werden muss.
Also wenn Sie rotes Motorrad suchen, dann wird man Farbe rot
segmentierend.
Oder bestimmte Objekte, oder wenn Sie Erbeobjekten schauen, Coca-Cola,
das ist immer einer bestimmten Farbe, kann man hier eine Segmentierung
durchführen.
Das sind diese Objekte.
Schwierig wird es, dass die Farben sich bei Lichtbedingungen durch
Reflexion ändern können oder wenn das Objekt in der Mittagssonne
aufgenommen wird, oder morgens, oder abends, oder bei Bewölkung, bei
diffusem Licht, dann sehen die eigentlich ganz unterschiedlich aus,
von der Farbe her.
Das heißt also, was wird emittiert, was wird nicht emittiert.
Im Labor funktioniert es immer.
Wenn Sie also Ihre Kamera nehmen auf den Tisch, das Objekt hinlegen,
haben Sie wunderbare Bilder.
Aber in der Natur sieht es ganz anders aus.
Okay, und dann gibt es hier eine ganze Menge an Ansätzen.
Also erstmal eine Bildanalyse zu machen, dass man sagt, welche
Frequenzanteile sind in dem Bild, welche Wellenlänge.
Die Programmanalyse, die durchzuführen ist, dann der Farbraum.
Der muss bestimmt werden, nehmen Sie also klassisch rot, grün, blau.
Welche Codierung wird verwendet?
Die Bayer-Codierung oder eine HSV, RG und Intensitäten.
Das heißt also, die Farbräume müssen festgelegt werden.
Und dann kann man hier noch die entsprechenden Fehlerverteilungen,
Malernobis -Distanzen berechnen.
Das sagt Ihnen also, ist der Fehler bei Rot größer, ist er bei Grün
größer oder im Farbraum, können Sie ja nicht genau die Farbnuance zu
100 % messen, sondern das ist fehlerbehaftet.
Durch Licht und Reflexion.
Das heißt also, Sie rechnen die Varianz aus, die sogenannte Malernobis
-Distanz, maximaler, minimaler Fehler, dann können Sie Fehler-Ellipsen
berechnen, mit denen zu rechnen ist.
Ja, und dann kann man los verschiedene Verfahren suchen, die zum
Klassifizieren geeignet sind.
Klassische morphologische Operatoren, die also nach Ecken, Kanten,
Löchern suchen, nach robusten Vormerkmalen.
Sie können neuronale Netze trainieren, müssen sich aber auch
überlegen, nach welchen Merkmalen Sie hier suchen, was die Eingabe ist
in den Netzen.
Und dann kann man hier, wenn man Wissen über die Szene hat, natürlich
auch die Farbräume einteilen und sagen, ich habe also hier nah am
Infrarot interessante Strukturen erreicht lassen.
Klassisches Beispiel hier, Histogrammanalyse, die menschliche Hand.
Sie sehen die Segmentierung, das ist die violette Linie.
Und hier hat man im Bereich 400 Nanometer, 430 Nanometer, die
entsprechenden L-Längen gesucht.
Hier haben Sie den Farbwinkel, das ist das H, hier haben Sie die
Sättigung und dann die Häufigkeit.
Dann kriegen Sie halt hier einfach bestimmte Maxima-Verteilungen, um
jetzt diese Hand von der Umgebung abgrenzen zu können.
Das ist eigentlich Ziel der Segmentierung.
Das brauchen Sie bei der Erkennung von Handbewegungen, bei der
Erkennung von Gesten,
Zeigegesten, um zu kommunizieren.
Es gibt ja auch die Hauptstimmensprache mit Fingerbewegungen.
Da wird es also angewandt als Beispiel.
Und dann kann man es natürlich auch für andere Zwecke verwenden.
Das wäre also hier die Möglichkeit, jetzt mit Schwellwertoperatoren zu
arbeiten, Unsicherheiten, Fehler.
Es gibt ein ganzes Repertoire, das ich vorhin schon genannt habe.
Man kann hier Wahrscheinlichkeitsbilder berechnen, also mit welcher
Wahrscheinlichkeit gehört das zu der Hand.
Wir grenzen das immer noch von der Umgebung ab, Vordergrund,
Hintergrund, die Hand selbst.
Und dann eben die entsprechende Umsetzung, dass man die Linearisierung
macht.
Sie sehen jetzt, also hier sind Löcher.
Löcher entstehen hier durch diese relativ hellen Reflexionsschichten.
Und dann die Frage, wie kann ich diese Löcher noch beseitigen?
Entweder durch Region Growing, dass man also die Bereiche wachsen
lässt.
Oder man kann es auch umgekehrt durch Schrumpfung machen.
Dann werden aber die Löcher größer.
Also man muss hier entsprechenden Kompromiss und eventuell
Strukturwissen dazunehmen, um diese Objekte und Strukturen gut
erkennen zu können.
Ja, also das sind nicht alle Verfahren.
Ich möchte jetzt nur exemplarisch Ihnen einige vortragen, dass Sie
sehen, wie kann ich mich eigentlich jetzt von der Wahrnehmungsseite an
vernünftige Daten herantrauen.
Mathematisch sieht das dann aus, dass wir hier in dem HSV-Farbraum
Schwellen setzen.
Minimal, Maximal.
Die Fehler, maximale und minimale Fehler über die Hanobis-Distanz
berechnen.
Und um diese berechnen zu können, brauchen Sie die Kovarianzen.
Die Kovarianzen sagen Ihnen die Fehlerverteilungen.
Und dann können Sie eben die Wahrscheinlichkeit berechnen, mit der
jetzt diese Farbnuance zu dem Objekt gehört oder nicht.
Das müssen Sie machen, um dann zu Bildern zu kommen.
Also hier nochmal eine ganze Menge an Schwellwert, also segmentieren
mit Schwellwerten, dass Sie sicher sind, dass Sie an der richtigen
Stelle den Schwellwert setzen und nicht plötzlich wichtige Merkmale
abschneiden, die Ihnen dann bei der Klassifikation oder bei der
Rekonstruktion fehlen.
Gut, dann Morphologie.
Morphologische Operatoren sind immer dann, wenn es darum geht, um
welche Struktur handelt sich das.
Ist das eine Wasserflasche?
Ist das eine Person mit ausgestreckten Armen?
Ist es ein Werkzeug?
Oder was auch immer.
Dazu werden morphologische Operatoren verwendet.
Morphologie ist die Lehre über Formen, Strukturen und Formen.
Und dann ist die Frage, wie weit können wir jetzt also formend aus
binären Bildern oder aus Graubildern oder aus Farbbildern gewinnen.
Da gibt es also viele Ansätze, also mit Monokameras, mit
Tiefenbildern, mit Stereokameras oder mit Kameras aus Bewegungen, also
Strukturen aus Bewegungen zu erkennen.
Es gibt also hier eine ganze Reihe Flussbilder zu erzeugen, um diese
morphologischen Informationen gewinnen zu können.
Die Ansätze sind in der Regel, dass man einzelne Pixel betrachtet, die
Umgebung der Pixel.
An der Ecke ist es eine Intensitätsänderung, ist es eine Farbänderung,
ist es eventuell ein Winkel oder ein Kantenelement.
Das heißt also, man geht von morphologischen Operatoren aus und
untersucht die Nachbarschaft.
Wie sieht die Umgebung des Pixels aus?
Wie verändert sich das über die Fläche?
Und dann kommt die Beurteilung, ist das robust, ist das
aussagekräftig?
Dann kann man wieder Trainingsdaten erzeugen, das heißt das Bild
drehen und schauen, ob man das Merkmal auch bei gedrehtem Zustand
findet.
Man könnte die Bildebene verändern.
Da ist das Ziel hier, also robuste Operatoren zu finden, die Struktur-
und Formelemente geometrischer Objekte detektieren können, und zwar
robust und schnell.
Ja, was macht man?
Man untersucht einzelne Pixel, Nachbarschaftspixel, man folgt Linien,
Linienkrümmungen, Materialien, die dann sukzessive das Bild
charakterisieren.
Oder eben Fehler, das heißt also, dass einfach Fehlfarben durch
Ausreißer oder Reflexion in den Bildern stehen.
Die Suche ist also hier zu deuten, also nach links, nach rechts, also
wie sieht das Nachbarpixel aus?
Dann kann man hier nach oben, nach unten schauen, man kann eine
Richtung verstärken bei morphologischen Operatoren.
Sie können differenzieren, sie können summieren, Mittelwerte bilden,
Wahrscheinlichkeiten in die einzelnen Pixel einsetzen und dann
Strukturen daraus ableiten.
Eine Möglichkeit, mit diesen Strukturen Flächen zu untersuchen, ist,
dass man die Objekte vergrößert.
Was hier mit Dilatation beschrieben ist, also Sie blasen das Objekt
auf, wird also immer größer, aber Sie verlieren dann unter Umständen
detaillierte Informationen.
Oder Sie machen es umgekehrt, das ist die Erosion, das heißt also, die
Objekte werden geschrumpft, und da geht aber auch wieder Information
verloren, Sie differenzieren de facto das Bild.
Das sind dann also Beispiele, wie das funktioniert.
Technisch hat man Masken, Schablonen, Entfaltungsoperationen, die dann
über das Bild seilenweise gelegt werden, über alle Spalten, über alle
Seilen, und dann eben Informationen ausgerechnet werden, wie eine
Erosion oder wie gesagt...
Hier mal Beispiele...
Das ist eine Erosion, wir haben also hier eine segmentierte Kante, es
sind sehr viele störende Informationen, beispielsweise Kanten aus dem
Hintergrund, zwischen einem Regal oder einer anderen Struktur, und
dann kann man eine Schärfung durchführen, das wäre die Erosion, und
bekommt dann ein Bild, aber hier sehen Sie, in den Graubereichen sind
dann plötzlich wieder Löcher aufgetaucht, Information geht verloren,
das kann man genauso auch umgekehrt machen, dass man sagt, eine
Dilatation, also hier haben wir ein Bild mit relativ viel Einbrüchen,
auch hier an den Fingern, und dann wird es hier vergrößert, also hier
gehen dann auch die Löcher, die werden sozusagen geschlossen, indem
man das Objekt aufbläst.
Dilatation, also Vergrößerung.
Das sind aber einfache Operatoren, das kostet Sie wenig, das heißt,
Sie haben auf einer Pixel-Map, können Sie das mit einem Befehl
durchführen, und versuchen das Bild zu verbessern.
Okay.
Dann haben wir die, hatte ich jetzt bereits gesagt, dann geht es also
immer darum, dass man sagt, wo sind Strukturen, wo könnten Strukturen
sein, was bringt mir die Maske, wie robust sind wir jetzt in der
Bereichung.
Hier hatten wir nochmal diese Opening und Closing, das heißt also,
dass man ähnlich wie bei der Erosion und Dilatation einfach nochmal
interpoliert, um die Objekte an eine entsprechende...
Was hier passieren kann ist, hatte ich vorhin schon gesagt, dass man
bei dem Wegnehmen, also bei der Erosion, dann plötzlich die Strukturen
verändert.
Jetzt haben Sie hier einen Operator, der jetzt Erosion durchführt,
dann haben Sie plötzlich diese Öffnungen, oder das
Feinstrukturmerkmale verschwinden.
Da einfach überall Sachen mit.
Ja, dann andere Bewegungen, die interessant sind, sind
Differenzenbilder bei Bewegungen.
Da sehen Sie vor, eine Kamera, die fixiert ist und alle 20
Millisekunden ein Bild aufnimmt.
Und dann gibt es eben Differenzenbilder, bei der jetzt bei der
Differenzation, die Differenzenbildung der Hintergrund verschwindet,
aber nur die bewegten Objekte, die Differenzen im Bild auftauchen.
Man kann auch Flussberechnungen machen, durch Ableitungen, durch den
optischen Fluss.
Und hier werden, wie gesagt, ist die Aufgabe, bei Bildfolgen oder
schnellen Bildfolgen Änderungen zum Beispiel über Schwellwerte zu
berechnen.
Das heißt also, man kann bestimmen, wo bewegt sich was, in welcher
Region, in welcher Richtung bewegt sich das Objekt oder die Hand, die
wir hatten.
Wenn die sich bewegt, also diese Winkbewegungen, dann wird man bei
Bildfolgen und Differenzenbildung zunächst mal nicht sehen.
Dann bei Handbewegung sehen Sie plötzlich durch die Differenzenbildung
die Hand.
Kann man auch mit dem optischen Fluss machen, durch Ableitungen zu der
Information kommen.
Und dann ist die Frage, was für Regionen sind das?
Die kann man nochmal analysieren und damit schon ein Automobil, das
über die Kreuzung fährt, kann man dann auf die Art und Weise
beobachten.
Okay, also Regionen, in denen sich was bewegt, im einfachsten Fall
schwarz und weiß.
Im Normalfall sind das Farbbilder mit Schattierung und anderen
Merkmalen, die zu berücksichtigen sind.
Beispielsweise bei Sonnenlicht, Autoaufnahmen hat es immer
Schattenwurf.
Das heißt also, Sie haben plötzlich Zusatzinformationen, die hier bei
bewegten Objekten mit zur Verfügung liegen.
Gut, dann ist die Frage, kann ich alle Merkmale sehen, Ecken, Kanten,
Flächen?
Und dann interessiert natürlich die Richtung, die man hat.
Gut, jetzt bei entsprechenden Segmentierungen.
Jetzt nehmen wir mal an, wir haben ein Einzelbild, das sich hier
bewegt.
Da ist die Frage, wie groß, was beschreibt diese Region?
Man kann hier Schwellwerte setzen, sodass man sagt, nehme ich von der
Region nur ein Pixel und untersucht die Nachbarschaftsbeziehungen.
Also hier zum Beispiel, wenn Sie ein Objekt haben und nicht wissen,
was ist das, nimmt man sich einfach ein Pixel, guckt dann die
Nachbarpixel an und dann kann man durch das Wachsen dieser Regionen,
das so lange vorantreiben, bis Sie mehr oder weniger alle roten
Bereiche haben, dann können Sie die Kante detektieren oder
reflektieren, ist das eine Ecke oder was für ein Element.
Kostet relativ wenig, man schaut ein Pixel an,
Nachbarschaftsbeziehungen setzen Schwellwerte und dann können Sie das
wachsen lassen und dann sukzessive das Bild analysieren oder man macht
ein lokales Fenster, ein Blob, wie das so schön heißt, und kann dann
Segmentierung und die anschließende Klassifikation durchführen.
Okay, also man wählt einen Punkt hier als Saatpunkt bezeichnet,
initialisiert den Punkt und geht durch das Bild.
Das sind dann also Objekte dieser Art, die dann entweder schrumpfen
oder wachsen, welcher mitverwendet wird.
Das sind so Beispiele, Region Growing, das heißt also hier ist eine
Struktur, eine morphologische Struktur, medizinischen Kontext durch
das Region Growing entstanden, oder eben alternativ dazu ein
Schwellwertverfahren.
Das heißt also hier ist es mehr Möglichkeit, feinere Nuancen durch den
Rhythmus zu zeugen.
Andere Segmentierungen ist hier der Handumfang, die Winkel bei der
Hand zu berechnen.
Das heißt also man nimmt ein bisschen, wie viele Finger hat der
Mensch, welche Beweglichkeit in den Fingern ist da.
Man kann erstmal eine Gruppekontur machen, die Fingerspitzen
bestimmen, dann die Fingerlänge.
Schwieriger ist, wenn man jetzt Handgesten macht, da sehen Sie nicht
alle Finger.
Da können Sie eigentlich nur drei sehen und dann muss man schätzen, wo
könnten die anderen sein.
Da kommt dann plötzlich wieder die Dynamik der Bilder dazu, dass Sie
also nicht nur eine Aufnahme machen, sondern bei der Gestensprache
einfach den Fluss und die Bewegung herausrechnen.
Also was ist hier gemacht?
Man hat eine Kontur berechnet, eine Hülle bestimmt, dann eben die
entsprechenden Effekte berechnet, die Extremwerte, das heißt die
Fingerspitze und kommt dann noch die Symmetrieachsen berechnen, das
heißt also die Fingerwinkel, damit dann schon relativ viel Information
im Bild abholen.
Der Film hier funktioniert leider nicht, aber ich wollte hier nur
zeigen, hier hat man die Pigmentfarben eingestellt, also hier sitzt
eine Person und der Segmentierer, der jetzt auf die Pigmentfarben
eingestellt ist, sieht tatsächlich den Kopf und ein Stück von der
Hand.
Wenn sich das bewegt, können Sie dann noch mit dem Modell die Bewegung
repräsentieren.
Hier ist der andere Farbraum, der durch den Schwellwertoperator
herausgerechnet worden ist, die lokale Kontur des Kopfes und der Hand.
Natürlich ist bei dem Bild nicht möglich, das Gesicht zu erkennen, wer
das ist, aber man kann zumindest sagen, da könnte ein Mensch sitzen.
Gut, das ist dann auch die Möglichkeit erstmal Identifikation aus
diesem Bild zu machen, das heißt mit den Pigmentfarben wissen wir, das
ist eine Person.
Dann kann man in das Bild zoomen und dann kommt eben die
Gesichtserkennung, die kommt später, wo wir dann also Merkmale
untersuchen wie Lippenabstand, Augenabstand, Lippenkinn,
Nasenspitzekinn, das sind so die morphologischen Operatoren, mit denen
man heute Personenerkennung durchführt.
Sieben, acht Parameter werden heute weltweit benutzt.
Okay, das sind dann also Farbbilder oder Graustufenbilder, bei denen
also die Übergänge herausgerechnet werden.
Andere Beispiele, eine Segmentierung, Eingabenbild, dann wird ein
Schwellwert gesetzt und bekommen Sie eben das rechte Bild.
Das rechte Bild können Sie wieder mit Erosion oder mit Dilatation
entsprechend bearbeiten.
Hier sind natürlich die Löcher, von denen wir gesprochen haben, die
durch die Lichtreflexion zustande kommen.
Eine Möglichkeit, dann kann man das Bild verbessern, indem man einige
Operatoren anwendet, also Normalisierung, dann eben, wie gesagt, die
Vergrößerung der Objekte, Gradientenberechnung durchführt, das heißt
also Intensitätsübergänge von hell nach dunkel, da kriegen Sie dann
Gradienten.
Und dann kann man ein entsprechendes Matching machen mit vorhandenen
Daten, die der Datenbank vorliegen, und kommen dann eigentlich zu
einer sehr guten, schönen Szenenanalyse.
Das heißt also, Bilderkennung hat zum einen mit Strukturoperatoren zu
tun und dann eben mit Hintergrundwissen.
Es ist eine Handlung auch einer morphologischen Operator.
Hier werden Instrumente bei der Operation segmentiert.
Man braucht also die Instrumentenspitze, die Orientierung, die
Interaktion der Instrumente mit der Umgebung und das ist jetzt ein
einfaches Beispiel, bei der jetzt eine Segmentierung durchgeführt
wird.
Die Werkzeugspitzen, die sind jetzt noch mit Reflektoren versehen, um
bessere Bilder zu bekommen, sonst haben Sie hier also sehr schwere,
schwer zu detektierbaren Kontraste.
Dann kann man mit dem Schwellwertoperator die Werkzeuge, die
Symmetrieachse und die Werkzeugspitze hier beobachten.
Das sind also konkrete Anwendungen, die heute sehr minimalinvasiv
verwendet werden.
Dann geht es weiter.
Wie können Szenen dieser Art erkannt werden?
Sie sehen hier oben haben wir ganz starke Kontraste.
Hier an den Kanten von den Lichtleisten, hier relativ schwache
Densitätsübergänge.
Das sind dann auch morphologische Operatoren.
Das heißt, Sie gehen von links nach rechts, von oben nach unten durch
das Bild, schauen nach Übergänge, Grauwertübergänge und bekommen dann
ein Bild dieser Art.
Sie sehen, das sind also eine ganze Menge Lücken.
Bei dem Regal sind es ja geschlossene Polygonzüge und hier sehen Sie
also nur Fragmente davon.
Also das Problem, wenn man nur mit Kantenerkennern arbeitet oder mit
ein, zwei Filtern.
Die meisten Filtern, die Strukturen gut erkennen, sind kombiniert.
Das heißt, da wird differenziert, da wird ein Mittelwert berechnet, da
werden Schätzverfahren eingesetzt, geometrisches Wissen genutzt und
dann eben aus den dynamischen Bildern, die ich ganz am Anfang gezeigt
habe, herausgerechnet, ist das ein scharfer Übergang, ist das ein
gerundeter Übergang, soweit, dass man das tatsächlich auch
reproduzieren kann.
Gut, also deswegen sind in der Bildverarbeitung häufig die
Kantenerkenner, weil man sehr viele geometrische Grundstrukturen hat.
Aber wie gesagt, das geht nur, wenn man eine streng geometrische
Umgebung hat.
Wenn Sie in den Wald gehen, wo man also Blätter hat, die andere
morphologische Grundstrukturen haben, dann muss man halt einen anderen
Operator suchen.
Okay, hier also der einfache Fall.
Ich möchte das rekonstruieren und dann nach den Merkmalen suchen.
Und dann hier, die Bildaufnahme, die wir haben, dann die Filterung.
Das heißt, wir bekommen Kanten, senkrechte und lagrechte Linien.
Es gibt also eine ganze Reihe an Operatoren.
Ich möchte auf die Vorlesung Sensoren 3 verweisen, bei denen dann auch
kombinierte Sensoren mitgestellt werden.
Es gibt also eine ganze Reihe.
Dann das Histogramm berechnen, dann die Differenzierung durchführen.
Dann ist das Ziel, hier nach Möglichkeit geschlossene Polygonzüge zu
suchen.
Sie sehen, bei Graubildverfahren ist das beschränkt.
Wenn Sie Farbe hinzunehmen, haben Sie einfach den Vorteil, dass Sie
eine größere Reichhaltigkeit für die Kantenerkennung bekommen.
Und am Schluss möchte man dann doch wissen, ist das eine Tür, ist das
ein Regal, ist das ein Spiegel, ist das hier ein Wasserbecken, der
beobachtet wird.
Die Verfahren jetzt bei der Kantenerkennung, so kommen halt leider bei
den Bildern eben nicht alle vollständigen Kanten im CAD-Format, sind
meistens Analysen, wo man Nachbarschaftspixel, also nächste
Nachbarrelationen betrachtet.
Also hier zum Beispiel, das ist relativ, wenn man bei
Standardobjekten, die Kantenflächen haben, kann man dieses Verfahren
verwenden.
Sie sehen die Bildpunkte von Ihrer Kamera und in Wirklichkeit stellen
das ja zwei Kanten dar, die sich dann auch kreuzen und bewegen.
Die Frage, wie komme ich von den Pixel-Elementen der Kante zu der
Kante selbst, da können Sie sagen, ich extrapoliere und interpoliere.
Aber Sie sehen, dass die Streuung hier relativ breit ist.
Also man sucht erstmal nach Nachbarschaftsbeziehungen, also
Kantenpunkt, Kantenpunkt, Kantenpunkt.
Man berechnet zum Beispiel hier Distanzen, die größte Distanz in der
Struktur.
Und was man dann hier macht, ist von dieser Verbindung der geraten
Kantenpunkten, die den gleichen Abstand haben, das Pixelkante-Element
zu suchen, das den größten Abstand hat.
Dann berechnet man damit diese Kanten, dann setzt man das fort, welche
Punkte am maximalen Abstand zu dieser roten Kante, zu der grünen.
Kommen wir eben zu dieser Kante, kann man da sukzessive fortsetzen,
nennt sich also diese iterative Endpunktberechnung.
Also die Endpunkte, die den größten Abstand haben, ist eigentlich so
eine Art Approximation durch geraten zu Polygon-Zügen, zum Beispiel
Kanten -Element.
Relativ simpler, aber doch recht robuster Algorithmus, der hier
verwendet werden kann.
Hafttransformation ist eine andere Methode.
Hier wird eine Gerade durch Polarkoordinaten beschrieben.
Ich habe also den Winkel und den Abstand, berechne die Sinusfunktion.
Also hier ein Kantenpunkt, die Kante, die uns interessiert, kann ich
den Ort in Polarkoordinaten beschreiben.
Ich habe also den Winkel und den Radius.
Wenn ich den Winkel verändere, Radius anpasse, bin ich immer noch auf
der Gerade und da wird eben die Kantenerkennung sozusagen in den
Sinusraum entsprechend auf die Kosinuskurve transformiert.
Wir haben also hier den Punkt, der Punkt kann durch diese Funktion
beschrieben werden.
Und wenn es jetzt eine Gerade ist, hier eine ganze Reihe an
Beispielen, kommen sie durch diese Gerade, diese Sinusfunktion und
haben dann also einen Knoten.
Knoten hat also eine bestimmte Sinusfunktion, hat eine Frequenz, die
haben hier den Punkt, der uns hier interessiert.
Dann kann ich diese Gerade durch die Sinusfunktionsschar beschreiben.
Von Interesse ist der Punkt, wo sich alle schneiden, wo der ist, die
Frequenz ist, die wir verwenden.
Okay.
Das ist also, ich suche hier einen maximalen Punkt, Parameterraum,
kann damit entsprechende Berechnungen durchführen,
Hafttransformationen gibt es in verschiedenen Variationen.
Es müssen also nicht nur Polarkoordinaten sein, ich kann auch die
Umgebung durch Kugeln beschreiben, wie das hier ist.
Also man nimmt Kreise, Kreis kann ich auch wiederum durch weitere
Einheitskreise approximieren.
Eine Kreisschar für die Kantenbestimmung eines kreisförmigen Objektes
verwenden.
Eine Gerade wird man in Polarkoordinaten machen, drei Kreise.
In diesem Beispiel, also das Eingabebild, dann haben wir den
Kantenfilter und dann eben die Transformation in den Haftraum.
Wir haben hier die entsprechenden Maxima, die bestimmt werden.
Dann kann ich eben damit erkennen, Rücktransformation machen.
Was Sie bei der Rücktransformation bekommen, sind natürlich diese
Kantenelemente.
Gerade müssen dann eben aus dieser Geradenschaft die Orgonalobjekte
wieder rekonstruieren.
Das wäre das Arbeiten mit der Hafttransformation, bei der man große
Anzahl von Geraden relativ schnell berechnen kann.
Okay, gut.
Dann haben wir eben noch andere, also Normalisierung der Geraden, dass
man Punkte bestimmt, dass man Regression durchführt, das heißt,
approximiert die Kante, die Gerade, die von Interesse ist.
Oder man verwendet gleich von vornherein, wenn ich weiß, ich habe nur
Kuben oder Petraeder oder Polyeder, Döffelwelten, habe ich natürlich
sehr viel Strukturinformation und schaue dann also nur noch nach ganz
bestimmten Dingen, die von Interesse sind.
Das heißt, die Umgebung kann man auch mit Strukturgrammatiken
beschreiben, also wenn wir schöne geometrische Strukturen haben.
Und dann aus der Strukturgrammatik nach Merkmalen suchen, also Kanten,
Richtungen, Löcher, die von Interesse sind.
Ja, was haben wir dann, wenn Punkte und Kanten nicht immer vorliegen,
dann muss man tatsächlich Punktmerkmale suchen.
Hier zum Beispiel beim Bild, sehr schwer mit Kanten zu arbeiten.
Sie haben eine Textur auf dem Teppich, das sind irgendwelche Muster,
Beschriftungen, vielleicht ein Objekt, aber diese Szene jetzt
tatsächlich wiederzuerkennen, schwierig.
Hier geht man vor, dass man sagt, bevor ich hier mit
Strukturbeschreibungen beginne, suche ich nach Punktmerkmalen.
Punktmerkmale sind ganz signifikante Bereiche im Bild, hier zum
Beispiel 10x10 oder 10x12 Pixel.
Man sucht sich immer Bereiche, wo man so Ecken hat, der Intensität,
und schaut dann, wie robust ist dieses Merkmal, und man kann es
wiederfinden, wie ist die Relation zu anderen Punktmerkmalen, damit
Sie dann aus diesem Merkmal Aussagen machen können über die Szene.
Das sind Punktdetektoren, auch ein Riesengebiet in der
Bildverarbeitung.
Ich möchte Ihnen nur das Prinzip erklären, das wir hier haben, dass
man auch, wie gesagt, Punkte gerade bei texturierten Objekten nutzen
kann, um Aussagen zu machen.
Es gibt eine ganze Reihe hier an Punktdetektoren, also nochmals, das
sind lokale Fenster bei auffälligen Bildpunkten, die dann meistens bei
Ecken liegen.
Da gibt es diesen Eckendetektor, der nach Harris benannt ist, Harris
-Körner -Detektor, Erweiterung in Thomas Sieh, SIFT-Merkmale und dann
eben Extremalregionen in den Bilder zu suchen.
Das sind eigentlich immer ähnliche Verfahren oder kombinierte
Verfahren, bei denen man nach signifikanten Merkmalen schaut.
Hier nochmal das Beispiel.
Wir suchen in Bild auffällige Punktbereiche.
Hier halt Punktmengen, 2n plus 1, 2n plus 1, man fängt erstmal an, n
ist gleich 1, dann haben sie 3 mal 3 oder machen es größer, n ist
gleich 3, dann haben sie halt 4 und dann 4 mal 4, 5.
Und kommen dann eben solche Bilder, die jetzt beschrieben werden
können, das Eck ist links oben, Sie können die Fläche, Sie können den
Winkel bestimmen und das dann als Punktmerkmal mitverwenden.
Das heißt also, Sie wollen das Merkmal wiedererkennen, es muss robust
sein, auch von einer anderen Blickrichtung.
Das heißt also, dass man nicht nur ein Punktmerkmal, sondern mehrere
Punktmerkmale sucht und dann die Verzeigerung zwischen den Merkmalen
sucht, um die Szene entsprechend beschreiben zu können.
Gut, wie funktioniert das, die Analyse?
Sie machen Ihre Bildmatrix, differenzieren einmal nach x, hier
differenzieren Sie nach x und y.
Hier nehmen Sie die Matrix, differenzieren einmal nach x, einmal nach
y und dann nach beiden, um wie gesagt Diagonalübergänge berechnen zu
können.
Und dann können Sie schauen, sind diese Ableitungen richtig, liefern
die gute Werte, robuste Werte und wenn ja, dann haben Sie eigentlich
einen Punkt gefunden, den Sie mit beschreiben können.
Also in der Intensität haben wir dann hier verschiedene Richtungen,
die abgeleitet werden.
Dann geht es darum, diese Ecken zu finden, diese entsprechend zu
beschreiben und durchzurechnen.
Das Wiederfinden ist wichtig, also Relation zwischen Punktmerkmale zu
finden.
Das Bild kann ja gedreht sein, die Ebene kann sich verändert haben,
aber Sie möchten ja doch in der Lage sein und ja nicht alles
abspeichern, sondern eben eine Raumverteilung haben.
Und dann kann ich mit diesen Merkmalen natürlich auch bewegte Merkmale
mit hinzunehmen, wenn man jetzt die dynamischen Bildfolgen verarbeiten
würde, die ich am Anfang gesprochen hatte.
Dann gibt es auch hier wiederum verschiedene Verfahren, auf die ich
hinweisen möchte, dass man auch Korrelationsverfahren rechnen kann.
Sie nehmen also zwei Matrizen, korrelieren die Matrizen, schauen wo
sind die Übereinstimmungen, wo sind Maxima und da kann man jetzt hier
Kurzkorrelation nach Maxima, nach Absolutwerten suchen und die
entsprechenden Merkmale dann auch verarbeiten.
Ja, dann haben wir bei den Korrelationsverfahren, können Sie die
Matrizen vergrößern.
Das heißt also, wenn Sie eine Analyse machen, gibt es dann eben hier
entsprechende Vergleichungen.
Das heißt, Sie tun die Nachbarschaftspixel aufaddieren, in
differenzierter Form oder in korrelierter Form, um eine Aussage machen
zu können.
Sie gucken also immer nach bekannten Mustern, schauen korreliert das
und können dann einstellen.
Für Sie wäre also wichtig, was gibt es hier für Methoden.
SIFT ist ein Basispunktoperator, der heute verwendet wird, um Szenen
wiederzuerkennen, Strukturen wiederzuerkennen, wird auch bei der
Gesichtserkennung verwendet.
Dann SURF, Erweiterung davon, dann eben Maximieren.
Praktisch sieht das dann also so aus, dass man Objekte hat, in
verschiedenen Ansichten der Objekte.
Auf den Objekten finden Sie Ihre Punktoperatoren und die
entsprechenden Zuordnungen, so dass Sie dann sagen können, was ist
dieser orangen Saftbehälter?
Da ist er hier.
Das ist das Testbild.
Und dann analysieren Sie die Szenen.
Sie können die Geometrie der Objekte, weil sie verdeckt sind,
hintereinander stehen, noch sehr schwer schätzen.
Deswegen müssen Sie auf die Punktmerkmale gehen.
Wenn die Punktmerkmale dann bekannt sind, können Sie das extrapolieren
und am Schluss Aussage machen, dass es sich um die Objekte handelt,
die Szenen.
Das sind also Korrespondenzen aus verschiedenen Sichten.
Sie können die Flaschen auch dann an verschiedenen Orten stellen.
Sie müssen also nicht am gleichen Platz sein.
Wichtig ist, dass Sie die Punktmerkmale sehen.
Dann eben die entsprechenden Korrespondenzen herstellen.
Da Texturen, die wohl sehr bewusst sind, also die Beschriftung.
Das sind halt große Kontraste und viele Ecken, Eckenoperatoren.
Wenn Sie das nicht machen wollen, müssen Sie Ihre Objekte variieren.
Hier haben Sie jetzt ein Objekt, das ist einfach gedreht worden von
allen Seiten.
Das heißt, Sie haben dann eine Rundumsicht.
Sie müssen dann also bei der Nutzung von Punktoperatoren und Texturen
dann die ganzen Korrelationen rechnen.
Das heißt also, Sie bekommen hier diesen Schokoladenriegel in X
Varianten.
Dann können Sie es simulieren, können dann also Deep Learning
verwenden in dem Fall.
Und das ist aber ein recht rechenaufwendiger Vorgang.
Sie brauchen die robusten Merkmale, unterschiedlichen Ansichten, also
so eine gaussische Sphäre könnte man sich vorstellen.
Es ist auf jedem Punkt auf der Oberfläche eine Blickrichtung um das
gesamte Objekt abgelegt und dann können Sie hier anfangen zu
korrelieren.
Auch eine Möglichkeit.
Das heißt also, Sie schaffen über einen Simulator verschiedene
Ansichten Ihres Objekts.
Jetzt wie gesagt der Schokoladenriegel, man könnte auch den
Orangensaft nehmen.
Und dann die entsprechenden Ansichten berechnen, die Verteilungen
berechnen und dann eben Schnelloperatoren hier mit aufbauen.
Großer Speicheraufwand ist hier notwendig.
Von dem Schokoladenriegel kriegen Sie also den Rechner gut beschäftigt
und müssen dann aber wie gesagt die Korrelation noch durchrechnen, um
eine entsprechende Lösung zu finden.
Was kann man noch machen?
Man kann Bildkompressionen durchführen, Hauptkomponenten, PCA-Analyse
durchführen, um einfach Speicherplatz zu sparen und dann eben eine
Reduktion durchzuführen, die weniger Speicherplatz braucht.
Oder man kombiniert Ansätze und benutzt diese Ansätze, die hier
Merkmale beschreiben, Merkmale erkennen.
Das ist so ein gemischter Ansatz, dass man sagt, wie kann ich Merkmale
beschreiben, wie kann ich sie detektieren und dann eben Kombinationen
von beidem durchführen.
Okay, das also zu den Verfahren.
Wenn Sie jetzt Abschluss mit den Korrelationen berechnen, spielt
natürlich eben der Blickpunkt auf die Objekte eine große Rolle.
Die wollen transformiert werden, die wollen Projektionen berechnen,
die Objekte verschieben und drehen.
Es gibt verschiedene Beschreibungsräume, das eine ist zweidimensionale
Beschreibungsräume 3.
Wir verwenden bei der Bildarbeitung in der Regel homogene
Transformationsräume, homogene Matrizen, um Objekte zu beschreiben.
Das möchte ich aber jetzt hier im Detail nicht mehr behandeln.
Da habe ich bekannt, den Vektor, wie kann ich den verschieben,
Vektoraddition, dann kann ich Drehungen durchführen, also Rotationen,
Rotationsmatrizen im kathetischen Raum.
Das brauchen Sie dann beim Korrelieren, wenn Sie also Merkmale
berechnen, die Merkmale drehen, müssen Sie diese Transformation
durchführen und dann eben die Korrelation durchführen.
Dass das überhaupt funktioniert.
Wichtig ist, was für ein Koordinatensystem, sind es Polarkoordinaten,
sind es sphärische Räume, sind es kathetische Koordinaten, alles
möglich, aber die Grundtransformationen sind einfach durchzuführen.
Das können Sie auf dem dreidimensionalen Bereich ausbreiten,
dreidimensional, dreidimensional sind viermal vier Matrizen, weil es
homogene Koordinaten sind, oder dass man zweidimensional auf
dreidimensional mit erweitert.
Okay, das sind dann die Transformationsvorschriften, die kennen Sie,
also man kann Vektoradditionen durchführen, man kann eine
Multiplikation durchführen, man kann Koordinatensysteme ineinander
überführen.
Das ist halt bei der Bildrechnung notwendig.
Im neuronalen natürlichen System hat man das nirgends festgestellt,
also das sind keine Koordinatentransformationen, Vorwärts- und
Rückwärtstransformationen, das wird offensichtlich direkt von der
Retina in entsprechende neuronale Bereiche übertragen.
Außerdem sind Koordinatensysteme, wir hören auch noch keine gefunden
worden, sondern man hat räumliche Repräsentationen, das sind meistens
spherische Strukturen, die also in bestimmten neuronalen Bereichen
vorliegen, auch Bewegungen.
Querenzenbildung ist bekannt, dann Bewegungsplanung, das geht meistens
über Muskelkräfte, also ganz andere Planungsverfahren.
Zum Abschluss, dass Sie bei der Merkmalserkennung, also jetzt
Punktmerkmale, Strukturmerkmale bei mathematischen Ansätzen die
entsprechenden Rotationen durchführen, dann können Sie simulieren und
sagen, wo ist die höchste Trefferquote.
Beim Deep Learning macht man das nicht, dann werden einfach Datensätze
mit der Keule durchgearbeitet, aber man kann es genauso beschleunigen,
wenn man Simulatoren hat, die dann einfach bestimmte Ansichten
generieren und Merkmalsextraktionen zulassen.
Okay, dann bleibt mir zum Schluss noch der Verweis auf die nächste
Vorlesung am Mittwoch, und am kommenden Montag ist dann also das
Tiefensehen, Stereosehen, das Ermitteln von räumlichen Eindrücken
gegenstand der nächsten Vorlesung.
Ich wünsche Ihnen noch einen schönen Nachmittag, alles Gute!