Ja, dann herzlich willkommen zurück.
Ich freue mich, dass wir noch nicht allzu viele Leute von Ihnen
vergrault haben.
Ich freue mich, dass Sie alle wiedergekommen sind.
Zweite Ausgabe, Vorlesung, Grundlagen der automatischen
Spracherkennung.
Was machen wir heute?
Heute machen wir da weiter, wo wir letztes Mal aufgehört haben.
Wir schauen uns an, Taxonomie von Sprache, wie kann ich Sprache
einordnen und dann, was für Arten von Spracherkennungssystemen kann
ich daraus ableiten.
Wir werden uns ein bisschen beschäftigen mit der Frage, warum ist
automatische Spracherkennung überhaupt schwierig, warum ist das ein
kompliziertes Problem.
Dann werden wir ein kleines Experiment machen und dieses Experiment
verdeutlicht zum Beispiel, warum wir Menschen Spracherkennung so gut
können und warum im Umkehrschluss unter Umständen die Maschine
Spracherkennung so schlecht kann.
Und dann werden wir uns als letztes großes Thema damit beschäftigen,
wie produziert der Mensch überhaupt menschliche Sprache, weil die Idee
dahinter ist, dass wenn wir wissen, wie wir Sprache produzieren, wir
hoffentlich auch in der Lage sind, ein besseres System für
Spracherkennung zu bauen, mit dem wir dann Sprache auch erkennen
können, weil wir wissen, wie das Signal zusammengesetzt ist, welche
bestimmten Eigenschaften in diesem Signal vorhanden sein werden.
Da waren wir letztes Mal stehen geblieben.
Wir hatten Sprache eingeteilt in drei Ebenen.
Einzelkommandos, künstliche Sprachen, natürliche Sprachen.
Bei natürlichen Sprachen insbesondere von leicht nach schwierig
gelesene Sprache, geplante Sprache und ungeplante Sprache.
Und man kann sich schon so ungefähr vorstellen, dass so im Groben auch
die Aufgabe, ein Spracherkennungssystem für solche Arten von Sprachen
zu bauen, je weiter ich nach unten gehe, desto schwieriger wird es.
Wobei das Ganze immer so ein bisschen nur eine grobe Abschätzung ist,
denn je nachdem, wie dann die Details sind, kann das eine oder das
andere auch mal schwierig sein.
Zum Beispiel bei Einzelkommandos kann ich mir durchaus vorstellen,
dass wenn zu den Einzelkommandos gehört, dass man dann Städtenamen
eingibt, das unter Umständen eine sehr schwierige Aufgabe sein kann,
weil es sehr viele Städtenamen gibt, die zum Teil auch noch sehr, sehr
ähnlich miteinander sind, während wenn ich eine künstliche Sprache
habe, die halt ein kleines Vokabular hat und wo die Wörter nicht
ähnlich klingen, kann das durchaus leichter sein als so ein
Einzelkommando.
Und in Abhängigkeit von der Art der Sprache gibt es dann noch ein paar
andere Dimensionen, mit denen ich dann beschreiben kann, wie das
Spracherkennungssystem, mit dem ich arbeite, strukturiert ist,
beschaffen ist.
Da gibt es halt zum einen die Frage, um welche Art von Sprache handelt
es sich, aber auch andere Faktoren, die jetzt vielleicht so bei
Menschen, der Sprache erkennt, nicht ganz so wichtig sind.
Da wäre zum Beispiel die Sprecherabhängigkeit.
Spracherkennungssysteme kann man immer noch weiterhin so einteilen,
für wie viele Sprecher sind sie gedacht, sind sie geeignet.
Am Anfang, ganz am Anfang, als man Spracherkennungssysteme gebaut hat,
konnte man nur sprecherabhängige Systeme trainieren.
Das waren dann Systeme, die nur Sprache von einem einzigen Sprecher
erkennen konnten.
Solche Systeme baut man zum Teil heutzutage immer noch.
Der Grund ist einfach, dass die dann immer noch besser funktionieren
als ein sprecherunabhängiges System, wenn ich mich ganz genau auf
einen Sprecher zuschneidern kann.
Wieder Beispiel von früher, Arztberichte.
Da kann ich es mir leisten, ein Spracherkennungssystem zu bauen, das
nur für diesen einen Arzt geeignet ist, weil dieser eine Arzt wird so
viel Daten produzieren, so viel Datenvolumen bringen und es ist so
wichtig, dass ich den korrekt erkenne, dass sich da der Aufwand lohnt.
Dann gibt es die nächste Stufe, ist die geschlossene Sprechermenge.
Das heißt, ich habe ein Spracherkennungssystem, das für eine bestimmte
Menge von bekannten Sprechern geeignet.
Können zum Beispiel 20, 30 Sprecher drin sein und für diese 20, 30
Sprecher funktioniert das Spracherkennungssystem besonders gut und ein
Sprecher außerhalb dieser Menge wird eher schlecht erkannt werden.
Was wäre so ein typisches Beispiel, wo hätte ich eine Menge von
überschaubar vielen Sprechern, die ich vielleicht erkennen möchte?
Beispielweise Nachrichten zum Beispiel, wenn ich weiß, ich habe halt
Nachrichtensprecher fünf Stück, ich will jetzt nicht ein
sprecherabhängiges System bauen, aber eins, das nur für die fünf
gedacht ist, was so auch so ein typisches Beispiel ist und wo viel
schon dran geforscht und darauf gearbeitet wurde, weil einfach die
Daten verfügbar sind, sind zum Beispiel Parlamente.
Wenn ich also Protokoll machen möchte vom Bundestag, Protokoll vom
Europäischen Parlament, dann sind das Spracherkennungssysteme, die
halt für eine geschlossene Sprechermenge funktionieren, weil ich halt
weiß, es muss einer von den Abgeordneten sein, die reinkommen und ich
habe auch nur auf den Daten von diesen Abgeordneten meistens
trainiert.
Das heißt, wenn jetzt noch ein anderer Sprecher außerhalb kommt, wird
das eventuell nicht so gut funktionieren.
Und das, was man natürlich eigentlich haben möchte, ist so wie das
beim Menschen auch ist, dass man ein sprecherunabhängiges System hat.
Dass es also völlig egal ist, welcher Sprecher reinspricht.
Das muss, darf einer sein, den habe ich vorher noch nie gesehen.
Dieser Sprecher soll bitte erkannt werden.
Und das kann man sich natürlich dann vorstellen, ist, da wir halt auf
Daten trainieren, immer ein schwierigeres Problem, wenn ich jetzt
Sprache von einem Sprecher erkennen möchte, den ich vorher noch nie
gehört habe.
Dann eine andere Sache ist die der Größe des Diskurses.
Das ist verwandt mit der Art der Sprache, aber ist nicht dasselbe,
weil jede der drei Sprachenebenen, die ich da habe, kann ich auch in
unterschiedlichen Größen, in unterschiedlichen Größen des Diskurses
haben.
Mal das Beispiel bei den Kommandos, das kann alle Städtenamen und
Dörfernamen in Deutschland sein, sehr großer Diskurs.
Es kann vielleicht nur eins von fünf Kommandos sein, mit denen ich
eine Maschine bediene, sehr kleiner Diskurs.
Das heißt also, eine wichtige Kenngröße ist, wie viele, wie groß ist
die Domäne, wie viele unterschiedliche Arten von Wörtern und
Wortkombinationen dürfen dann reinkommen.
Und das ist ein bisschen schwierig zu messen, eine Schlagzahl
anzugeben.
Eine typische Kenngröße ist halt immer die Vokabulargröße, also wie
viele Wörter sind im Vokabular des Spracherkenners, aus welchen
Wörtern dürfen die Sätze zusammengesetzt sein, die ich hinterher
erkennen möchte.
Es gibt aber dann noch entsprechend andere Kennzahlen, die lernen wir
dann später kennen, die auch so ein bisschen beschreiben, wie
schwierig ist das denn.
Wie schwierig ist es, diese unterschiedliche Kombination an Worten zu
erkennen.
Da arbeitet man dann mit dem Konzept der Perplexität und das basiert
wiederum auf Entropie, das Sie noch hoffentlich aus Ihrem
Grundstudium, aus der Statistikvorlesung kennen.
Und genau sowas ist da auch anwendbar auf Sprache, dass man sozusagen
von der Quelle der Sprache, die da produziert wird, eine Art Entropie
bestimmt.
Und wenn die Entropie hoch ist, dann habe ich halt sehr viel
Variabilität, die ich werde erkennen müssen.
Ich kann wenig vorhersagen und wenn die Entropie klein ist, dann kann
ich wahrscheinlich eher vorhersagen, da weiß ich schon eher, was
kommt, ohne dass ich es erkennen muss und das macht mir die
Erkennungsaufgabe leichter.
Und bei der Größe des Diskurses, normalerweise kleine Domäne,
limitierte Domäne oder am liebsten hätte man dann halt Domänen
unabhängig, also das Spracherkennungssystem, das für alles
funktioniert, egal was man reinspricht.
Aber so ein Spracherkennungssystem haben wir noch nicht.
Das gibt es nicht, auch wenn man sich so was anschaut, wie Google
Voice Search oder Google Home oder so weiter.
Das sind nicht domänenunabhängige Systeme, die haben eine sehr große
Domäne, die sie abdecken, aber trotzdem nur diese Domäne und sobald
ich irgendetwas anderes nehme, was typischerweise da nicht
reingesprochen wird, funktioniert das Ganze dann nicht mehr so gut.
Dann auch ganz wichtig ist, was weiß ich über den Sprecher, wovon kann
ich ausgehen, wie der Sprecher sich verhalten wird.
Und da unterscheidet man meistens so drei Dinge, das wäre kooperativ,
unkooperativ und vertraut.
Gut, was hat es damit auf sich?
Der kooperative Sprecher, das ist ein wohlwollender Sprecher, das ist
jemand, der gerne hätte, dass das Spracherkennungssystem einen erkennt
und der auch bereit ist, sagen wir mal, deutlich zu sprechen, normal
zu sprechen und nicht irgendwie darauf aus ist, das System irgendwie
aus dem Ruder zu werfen, dafür zu sorgen, dass das System nicht
funktioniert.
Das wäre der unkooperative Sprecher.
Und das gibt es relativ häufig.
Kennt jeder, kann sich jeder auf YouTube die Audioaufnahmen anhören.
Callcenter, Deutsche Telekom, die haben jeden Tag mit ganz vielen
unkooperativen Sprechern zu tun.
Die versuchen auch vorzufiltern und die Sprecher sagen rein, was sie
jetzt wollen, ob, keine Ahnung, Anschluss funktioniert nicht oder
Rechnung ist falsch oder Umzug ist in die Hose gegangen oder sie
wollen irgendwas machen.
Und sobald es irgendwie um Beschwerden geht und das ist jetzt der
dritte Umzug bei der Deutschen Telekom, der irgendwie schiefgelaufen
ist, als das Telefon umgezogen wurde und dann muss man am Anfang da
zehn Fragen beantworten mit so einem automatischen System und man ist
schon auf 180 und war eine dreiviertel Stunde vorher in der
Warteschleife, da sind viele Sprecher dann nicht mehr kooperativ,
sondern, also ich habe mir mal Daten anhören dürfen, die nicht
öffentlich waren, das ist unglaublich.
Also da gibt es solche, die schreien da rein, also die rasten da
vollständig aus, das versteht man auch als Mensch nicht mehr.
Das Spracherkennungssystem funktioniert dann erst recht nicht mehr.
Und solche unkooperativen Sprecher gibt es.
Es kann auch unkooperativ aus Unwissenheit sein, dass es einfach
irgendwie nicht vertraut ist mit Technik und sich irgendwie nicht klar
ist, dass so ein technisches System vielleicht bestimmte
Einschränkungen hat.
Und der Sprecher, der dann am einfachsten zu erkennen ist, das ist der
vertraute Sprecher.
Das ist ein Sprecher, der einmal kooperativ ist, also der will schon,
dass das System einen erkennt und der schon Erfahrung mit diesem
speziellen Spracherkennungssystem hat.
Und da findet man dann halt einen interessanten Effekt.
Wir Menschen sind das aus der natürlichen Kommunikation mit unseren
Mitmenschen gewohnt, dass wir uns aufeinander anpassen.
Und jemand, der längere Zeit mit einem Spracherkennungssystem
arbeitet, der merkt unbewusst, was funktioniert und was nicht
funktioniert und wie man sprechen muss, damit es funktioniert und wie
man vermeiden muss zu sprechen, sonst würde es nicht funktionieren.
Und das macht man wirklich sowohl, wenn man mit anderen Menschen
spricht und der gleiche Effekt tritt auf, wenn man mit der Technik
spricht.
Da gibt es interessante Untersuchungen.
Das geht dann so weit, also dass die Menschen wirklich auch eine neue
Sprache erfinden, einen neuen Code erfinden, um mit dem System zu
kommunizieren.
Es gibt zum Beispiel Beispiele, wo das untersucht wurde für
Sprachübersetzungssysteme.
Wenn das Erkennungssystem halt einen Fehler gemacht hat und ein neues
Wort kreiert wurde, aber das bei der Übersetzung klappt oder
funktioniert, dann übernimmt der Mensch das unterbewusst und ist auch
bereit, so neue Wörter, Quatschwörter, die es eigentlich vorher gar
nicht gab, in seinen Wortschatz mit aufzunehmen und damit dann wieder
über das System entsprechend zu kommunizieren.
Und dann auch wichtig und verwandt mit Sprache ist die Äußerungsart.
Sprechen wir nur isolierte Wörter, sowas wie Einzelkommandoerkennung?
Sprechen wir längere Sachen, Phrasen?
Und da ist es jetzt erst mal unabhängig, ob das natürliche oder
künstliche Sprache ist.
Oder sprechen wir kontinuierliche Sprache in einem Weg?
Und da kann man sich schon vorstellen, das kann ein Problem sein, wenn
es darum geht, hinterher Sprache zu segmentieren.
Wir hatten ja schon gesagt, wir sprechen nicht Punkt und Komma, wir
sprechen keine Satzzeichen mit und genauso wenig deuten wir an, wo zum
Beispiel Wörter anfangen oder aufhören.
Heutzutage, die Spracherkennungssysteme machen das implizit, diese
Segmentierung in Wörtern, die eigentlich im Signal erst mal per se
nicht so einfach da ist.
Ganz frühe Spracherkennungssysteme konnten das noch nicht.
Also die ganz frühen Diktiersysteme, die man kaufen konnte, die waren
relativ seltsam, weil die verlangten vom Sprecher, dass man immer
zwischen jedem Wort eine kleine Pause macht.
Das ist natürlich völlig unnatürlich, aber die hatten halt wirklich
Probleme noch, dass sie nicht das wussten, wie man diese Segmentierung
implizit irgendwie löst.
Die mussten das im Signal angedeutet bekommen.
Heutzutage geht das einfacher oder geht das besser, aber es kann immer
noch ein Problem sein.
Deswegen ist kontinuierliche Sprache da auch mit von diesen drei
Dingern meistens das schwierigste.
Die Frage, warum ist Spracherkennung schwierig oder ist
Spracherkennung überhaupt schwierig?
Diese Frage geht zurück auf eine kleine Sache, die mir passiert ist,
als ich noch einmal kleiner Student war, der frisch seine
Studienarbeit angefangen hatte im Bereich automatische
Spracherkennung.
Ich kam aus der Vorlesung raus, hatte das Praktikum durchlaufen und
hatte dann Studienarbeit, das war früher sowas wie eine
Bachelorarbeit, gemacht im Bereich automatische Spracherkennung und
ich habe das Ganze gemacht im Rahmen eines Austauschprogramms mit der
Carnegie Mellon University und bin rübergegangen an die Carnegie
Mellon, um dort die Arbeit für die Studienarbeit zu machen.
Ein Kollege von mir, ein Kommilitone, war auch mitgekommen, der hatte
auch in dem gleichen Bereich dann Studienarbeit gemacht und wir sind
dann gemeinsam rüber an die Carnegie Mellon.
Jetzt war man ein armer kleiner Student und so Leben im Ausland ist
sowieso schon mal teuer, das muss man sich irgendwie zusammensparen.
Heutzutage gibt es Stipendienprogramme, damals gab es noch kein
Stipendienprogramm, das hat man sich irgendwie vorher zusammengespart,
das Geld.
Das heißt also Geld sparen war immer angesagt und das Erste, was man
lernt an der Carnegie Mellon, wenn man Geld sparen will als Student,
ist, Essen zu schnorren.
Und das funktioniert wirklich gut.
Das war damals noch sowieso boomender neuer Markt.
Im Prinzip jeden Tag gab es irgendwo anders jemanden, der halt so ein
Event geworfen hat, wo es halt auch was zu essen gab.
Amerikaner mögen das, wenn irgendwo eine Veranstaltung ist, dann gibt
es auch immer Essen dabei und da gab es genügend Werbe- und
Rekrutierungsevents von allen möglichen Firmen damals.
Damals noch Yahoo, da haben sie sich das geleistet, aber auch
Microsoft, Leikos und wie sie damals alle hießen, die haben häufig so
Rekruting -Events, Events für Studenten geworfen und ein Event, den
wir dann raus oder was wir schnell rausgefunden haben, ist, wir sind
nicht die Einzigen, die Essen brauchen.
Es gab einen internen Kalender, eine Mailing-Liste, eine Newsgroup der
Free -Food-Events an der Carnegie Mellon.
Das heißt, man konnte sich jeden Tag in der Kaliste nachgucken, wo
kann ich mir heute Essen schnorren.
Und an einem Tag stand auf dem Essen-Schnorren-Plan Empfang eines neu
berufenen Professors, ich weiß nicht, irgendwas, das hatte nichts mit
Informatik oder so zu tun, aber Open House und Empfang, der hatte da
so ein kleines Diensthäuschen und dann hatte halt, wer kommen wollte,
konnte vorbei am Empfang und gab was zu essen.
Also wir ja, klingt gut, hin, was essen und dann steht man da halt rum
auf so einem Cocktail-Empfang und hat da sein Zeug und muss sich mit
den anderen Leuten da unterhalten.
Und dann ist man halt mit irgendeiner, das war irgendeine Professorin
oder Forscherin, Post-Doktorandin, ins Gespräch gekommen und dann, ja,
was machen wir so?
Ja, wir machen automatische Spracherkennung.
Gucke ich mich an, das ist doch trivial.
Wie, das ist trivial?
Ja, ich, das ist trivial.
Ich, gucken Sie mich an, ich mache Bildverarbeitung.
Wir haben ein multidimensionales, ein mehrdimensionales Signal.
Das ist zweidimensional, wenn Sie Bilder machen oder dreidimensional,
wenn Sie Videos machen oder wenn Sie Stereo sehen, dann ist es
dreidimensional bis hin vierdimensional, wenn es über die Zeit ist.
Das ist schwierig.
Spracherkennung ist ein eindimensionales Signal.
Das ist ja langweilig.
Ja, nee, das ist schwierig.
Ja, warum soll das denn schwierig sein?
Und dann steht man da, ja, und dann verlässt einen das, was man in der
Vorlesung gelernt hat.
Und deswegen, die Frage ist, was antwortet man so was?
Warum ist Spracherkennung schwierig?
Die, die intuitive Antwort ist, man kann sich das so ein bisschen so
vorstellen, man hat Sprachsynthese und Spracherkennung.
Bei Sprachsynthese ist die Zahnpaste aus der Tube raus.
Das heißt, sie muss eine Schallwelle produzieren, die aus dem
Lautsprecher rauskommt und die menschlicher Sprache entspricht, wo was
gesagt wird.
Und die Spracherkennung ist dann wieder die Zahnpaste in die Tube
rein.
Man hat dieses komische Gewirr von Audio und muss daraus wieder
strukturierte Wörter machen.
Und auch wenn das jetzt erst mal ein bisschen Quatsch klingt, am Ende
ist es das.
Und wenn man ein bisschen drüber nachdenkt, ist das, was am Ende
Spracherkennung schwierig macht, durch ein einziges Wort zu
charakterisieren und das heißt Variabilität.
Das Problem ist, dass menschliche Sprache extrem variabel ist.
Und das macht Spracherkennung so schwierig, weil der Computer, das ist
ein Musterklassifikator.
Was der macht ist, der nimmt ein Muster, kennen Sie vielleicht aus
kognitive Systeme noch, der nimmt ein Muster und vergleicht das mit
irgendwelchen Schablonen, die er mal vorher gelernt hat und sucht
diese Schablone raus, die am nächsten ist.
Und auch ein Spracherkennungssystem, so kompliziert und so viele
neuronale Netze, das heutzutage verwendet, genau das macht es.
Und wenn natürlich das Muster, was ich reinbekomme, variiert, dann ist
es schwierig, eine vernünftige Schablone dafür zu machen, dass ich das
gegeneinander abgleichen kann.
Und die Variabilität von menschlicher Sprache passiert halt auf
verschiedenen, vielen Ebenen.
Die erste Ebene, die man sicherlich leicht sieht, ist die Signalebene.
So ein Audiosignal, selbst wenn dasselbe gesagt wurde unter genau den
gleichen Bedingungen, wenn ich mir das Audiosignal, das ich mit dem
Mikrofon messe, anschaue, wird es jedes Mal unterschiedlich aussehen.
Das heißt, ich muss in der Lage sein, zu lernen, ein System zu haben,
dass diese unterschiedlichen Sachen, dasselben, was gesagt wurde vom
selben Sprecher unter denselben Bedingungen, auf dasselbe abzubilden.
Und das ist die Idealbedingung.
In Wirklichkeit ist halt die Mikrofonposition anders, der Sprecher
spricht mal in die Richtung und die andere Richtung, irgendwo im
Hintergrund rauscht irgendwas anderes, es ist ein anderer Raum, in dem
ich drin war, der Teppich wurde ausgetauscht, wie beim
Spracherkennungssystem, was dann nicht mehr funktioniert hat und so
weiter und so fort.
Das heißt, es gibt zig Quellen, die halt das Signal variieren, obwohl
dasselbe gesagt wurde.
Und dann geht es weiter höher.
Die Aussprache variiert auch.
Sie variiert bei ein und derselben Person, abhängig davon, in welcher
Kommunikationssituation ich mich befinde, wie ich gerade drauf bin, ob
ich mit dem rechten Fuß oder mit dem linken Fuß aufgestanden bin, ob
mich ein Student geärgert hat oder ob ich mich gefreut habe.
All das verändert die Art und Weise, wie ich überhaupt ausspreche, ob
ich schön sauber ausspreche oder ob ich vor mich hin nuschle.
Und das über unterschiedliche Sprecher hinweg ist noch mal viel
stärker.
Unterschiedliche Sprecher sprechen die Sachen halt unterschiedlich
aus, selbst wenn sie der gleichen Dialektgruppe angehören.
Und wenn ich dann noch Sprecher nehme, die in unterschiedlichen Teilen
des Landes aufgewachsen sind, als sie ihre Sprache gelernt haben, habe
ich noch mal zig unterschiedliche Variationen drin.
Und wenn ich dann noch hinzunehme Fremdsprachler, die halt nicht als
Muttersprache die Sprache gelernt haben, habe ich noch mal viele
andere Variationen auf phonetischer Ebene.
Und dann linguistische Ebene.
Menschen sind ungemein, absolut, erstaunlich kreativ darin, neue
Sprache zu schaffen.
Wir kreieren die ganze Zeit neue Worte, die es vorher noch nicht
gegeben hat, aber die werden plötzlich irgendwo in den Raum geworfen
und dann werden die aufgenommen und die Wieso selbstverständlich
finden ihren Eingang in die Sprache.
Bei der Kombination von Worten in Sätzen haben wir im Prinzip kaum
Beschränkungen.
Es gibt zwar eine starke Grammatik, aber es ist nichts Ungewöhnliches,
von der Grammatik abzuweichen.
Und ich kann wirklich beliebige, neue, wirklich kreative, interessante
Sätze die ganze Zeit schaffen.
Die Zahl der Möglichkeiten da ist schier unbegrenzt.
Wir Menschen können das gut erkennen.
Wir kommen mit dieser Variabilität extrem gut klar.
Und eines der wichtigsten Geheimnisse, warum wir das können, ist, weil
wir nicht einfach Schablonen abbilden.
Es ist nicht so, wir hören das Audiosignal und dann sehen wir, aha,
die Welle, das muss eindeutig ein A sein und dann kommt ein B und so
weiter und so fort, sondern wir vergleichen das Ganze mit sehr viel
Hintergrundwissen.
Und dieses Hintergrundwissen kann man unterteilen in zwei Dinge.
Das wäre einmal das Weltwissen.
Das heißt, wir wissen, wie die Welt funktioniert, was für Sätze Sinn
ergeben und was für Sätze keinen Sinn ergeben, so im Allgemeinen.
Plus, wir haben pragmatisches Wissen.
Das heißt, wir wissen, in welcher Situation befinde ich mich im
Augenblick und was macht jetzt überhaupt Sinn, dass es gesagt wird.
Es gibt bestimmte Dinge, die machen halt Sinn in dieser Situation und
es gibt viele Sachen, das wäre völlig unangebracht und völlig
idiotisch, das jetzt zu sagen.
Unterhand dieser Sachen können wir schon sehr viel rausfiltern und
sehr viel korrigieren, was wir eigentlich falsch hören.
Und in Wirklichkeit ist es sogar so, dass wir uns gar nicht wirklich
immer verstehen.
Es passiert sehr häufig, dass der eine etwas hört, was der andere gar
nicht gesagt hat, weil wir halt mit unserem Weltwissen das anders
zusammenbasteln.
Und dann manchmal kommt es zu Missverständnissen und manchmal ist es
auch völlig egal.
Und dieses Geheimnis, dieses Anwenden von Wissen in der
Spracherkennung ist noch eine völlig ungelöste offene Forschungsfrage.
Wir können das noch nicht.
Wir haben noch keine wirklich überzeugenden, guten Möglichkeiten,
Wissen, Weltwissen zu modellieren, geschweige denn, wenn wir es
modellieren könnten, wie wir es anwenden bei der Spracherkennung.
Alles, was wir somit wissen, welche Wörter sind denn jetzt sinnvoll
und welche nicht, alles das, was wir im Anwenden bei der
Spracherkennung, ist extrem extrem, extremst primitiv.
Wenn man sich jetzt das mal anschaut, nur so als Beispiel mal auf der
Signalebene, hier ist drei Wellenformen von dem, was so ein Mikrofon
aufgenommen hat, da wurde dreimal das Wort sieben gesprochen und es
sieht dreimal komplett unterschiedlich aus.
Aber die Maschine muss lernen, dass die Dinger, dass das beides mal
das Wort sieben ist.
Und das macht es halt schwierig, wenn man da wirklich nur reinguckt
mit solchen Mustervergleichsmethoden.
Wie gesagt, ich habe es schon gesagt, auf der Signalebene, der Kanal
kann variieren.
Ob ich in einem kleinen Raum stehe oder in einem großen Raum, ob ich
Teppich habe oder Fliesen, macht einen riesengroßen Unterschied.
Es gab früher mal eine sehr schöne Vorlesung bei den
Elektrotechnikern, die es leider nicht mehr gibt, im Bereich
Audiotechnik.
Der hatte eine ganze Vorlesung im Prinzip nur um das Thema.
Wie klingt etwas, je nachdem, in welchem Raum ich bin und wie
verändert der Raum, in dem ich mich befinde, das Signal, das ich
hinterher aufnehme.
Wir Menschen nehmen das, wir können das hören, wenn wir darauf achten,
aber es ist uns egal und wir nehmen es meistens nicht wahr.
Ob ich etwas höre, was in einem kleinen, gefliesten Badezimmer gesagt
wurde oder ob ich etwas höre, das in einem großen Konferenzsaal mit
schönem Teppich auf dem Boden ausgelegt ist, das ist mir egal.
Dann auch schon die Aufnahmetechnik kann unterschiedlich sein.
Wir hatten ja schon gesagt, früher wurden Mikrofone mit den
Spracherkennungssystemen verschickt, weil wir eben feststellen, dass
die Signale unterschiedlich aussehen, je nachdem, welches Mikrofon wir
verwenden.
Wir werden uns dann in einer der nächsten Vorlesungen mal anschauen,
was für unterschiedliche Arten von Mikrofonen gibt es überhaupt?
Wie sieht das Signal aus, wenn ich mit dem einen Mikrofon aufnehme?
Wie sieht es aus, wenn ich mit dem anderen aufnehme?
Welches Mikrofon ist wo geeignet?
Irgendwelche Leute hier, die entweder ausgebildete Tontechniker sind,
Hobbymusiker.
Jetzt nicht akustisch, sondern richtig mit Verstärker und allem
Pipapoda dran.
Ich meine, da weiß man das, da kriegt man da schon mal so ein bisschen
mit, dass es einen Unterschied macht, ob ich ein Mikrofon habe, dass
ich für Gesang habe, ob ich ein Mikrofon habe, dass ich an keine
Ahnung, eine akustische Gitarre dran stöpseln will, ob ich ein
Mikrofon haben will, dass ich auf den Tisch stelle, um eine
Telefonkonferenz zu machen.
Dass es da große Unterschiede gibt und wir werden uns ein bisschen
anschauen, woran das liegt und was das bedeutet für die automatische
Spracherkennung.
Und auch schon solche Sachen wie Mikrofonabstand machen einen
Unterschied und zwar nicht nur bei der Lautstärke.
Wenn ich das Mikrofon nehme, was macht, was sagt denn der
Nahbesprechungseffekt?
Genau das.
Das ist so ein Phänomen von der Art und Weise, wie Mikrofone,
bestimmte Mikrofone gebaut sind, macht das einen Unterschied danach,
wie stark die niedrigen Frequenzen betont werden.
Je weiter ich das Mikrofon wegnehme, desto weniger stark werden die
niedrigen Frequenzen betont, beziehungsweise umgekehrt, je näher ich
es an den Mund mache, desto mehr booste ich die niedrigen Frequenzen.
Das ist also nicht ein Problem von Lautstärke, sondern wirklich, dass
das anders klingt, dass das von der Qualität des Klanges her etwas
anderes ist, je nachdem, ob ich das Mikrofon ein bisschen vor- und
zurücknehme.
Und wie gesagt, wenn ich Musterabgleich mache, sind solche
Unterschiede halt schlecht.
Und dann, klar, solche Sachen wie Aufnahmepegel, ob ich jetzt den
Verstärker aufdrehe oder nicht, bekomme ich mal ein lauteres oder ein
leiseres Signal, da muss ich auch was gegen machen.
Da haben wir glücklicherweise was, was man dagegen machen kann, dass
man unabhängig ist von der Lautstärke.
Aber gerade solche Sachen wie Nahbesprechungseffekt gibt es relativ
wenig, was wir da im Augenblick gegen machen können.
Und dann gibt es natürlich die ganzen offensichtlichen Sachen wie
Störgeräusche, dass irgendwo was rauscht, brummt, Krach macht oder im
schlimmsten Fall, dass andere Menschen irgendwo sprechen und dass ich
was aufnehme, was so eine Vermischung aus mehreren Sprachen ist.
Das auf einer phonetischen Umgebung hatte ich schon gesagt, also
Dialekte ist offensichtlich, dass ein Bayer anders spricht als ein
Norddeutscher, obwohl sie beide Hochdeutsch sprechen und wir sie auch
beide verstehen, wenn sie Hochdeutsch sprechen, jetzt nicht ihren
eigenen Dialekt.
Von Individuum zu Individuum, emotionaler Zustand macht einen großen
Unterschied auf die Qualität, wie die Aussprache ist.
Und klar, ob ich jetzt, sagen wir mal, formal irgendwo die Rede halte
und, keine Ahnung, die erste Sitzung im Deutschen Bundestag eröffne,
dann werde ich hoffentlich deutlicher sprechen, als wenn ich mich mit
meinem Kumpel an der Straßenecke unterhalte.
Meistens jedenfalls.
Aber, und das ist zum Beispiel das Interessante, auch andere Effekte
beeinflussen die Art und Weise, wie wir aussprechen und zwar ohne,
dass wir das merken.
Und da gibt es zum Beispiel den sogenannten Lombard-Effekt.
Es macht einen Unterschied, ob ich spreche in einer stillen Umgebung
oder ob ich irgendwo auf einer Party bin mit zig Leuten drumherum und
alle plaudern und irgendwo spielt die Musik und ich unterhalte mich
mit jemandem.
Ich werde unterbewusst anders sprechen.
Und da gibt es was Schönes und ich habe es leider nie geschafft, die
Audioaufnahme zu bekommen, aber die guten alten Kollegen von
Blaupunkt, wer kennt noch Blaupunkt?
Na, immerhin ein paar kennen noch Blaupunkt.
Altbekannter Radiobauer und Ausrüster, der auch dann ganz am Anfang
noch zum Beispiel in Autos für Telefone, für Autotelefone, die fest
eingebaut waren, auch die Aufnahmetechnik gemacht hat und halt auch
das Autoradio dazu.
Gab es mal eine Kooperation zusammen mit, ich war auch fast im BMW,
die wollten halt auch Spracherkennung machen mit dem Auto, die haben
aber auch andere Sachen gemacht, nämlich zum Beispiel, dass wenn jetzt
einer mit dem Mikrofon irgendwo da in der Decke telefoniert, dass der
Gegenüber ihn auch bitteschön versteht, wenn er mit 220 Sachen über
die Autobahn brezelt.
Weil Abrollgeräusche, Windgeräusche und so weiter ist schlecht, also
sollten das irgendwie filtern das Signal, dass die Verständlichkeit
erhöht wird und dann war die nächste Stufe, ja Moment mal, es ist ja
auch doof, wenn jetzt, sagen wir mal, das Autoradio spielt und er
spricht, dann will der ja Gegenüber nicht das Autoradio mithören.
Und der, der jetzt vielleicht spricht, will nicht unbedingt immer
leicht die ganze Zeit das Autoradio abschalten, muss sich vielleicht
wieder gerade Verkehrsfunk hören oder noch im Hintergrund irgendwas
mithören.
Und dann, wie so Tontechniker sind, haben wir gesagt, so ist es doch
einfach.
Wir haben, wir machen das Mikrofon, das drin sitzt, wir machen das
Autoradio, das drin sitzt.
Das heißt, wir wissen, was gerade das Autoradio spielt und welches
Signal oben ins Mikrofon reinkommt.
Jetzt wird das noch ein bisschen verändert, dadurch, dass halt aus dem
Lautsprecher rauskommt, in dem Inneren rumdotzt und dann ins Mikrofon
kommt, aber das kriegen wir schon hin.
Da gibt es adaptive Filter dafür, das kann man machen.
Und dann haben wir halt einen adaptiven Filter gebaut, der super
funktioniert hat, dass also das Autoradio, das gleichzeitig lief, mit
weggefiltert wurde.
Und dann haben sie das ausprobiert.
Einer rein ins Auto, Autoradio aufgedreht bis zum Anschlag, also
wirklich das Ding hat, hat vibriert, damit man halt sieht, wie toll
dieser Filter funktioniert und dann halt angerufen und dann geguckt,
wie das Signal anhört.
Und dann, der, der Radiofilter hat super funktioniert, man hat das
nicht mehr gehört.
Also von dem anderen, der hat davon nichts mitbekommen und der, der
angerufen hat, war Hallo, kannst du mich hören?
Ja, ich kann dich hören, warum sprichst du so bekloppt?
Und das ist, das ist eben der Lombard-Effekt.
Wenn wir in einer lauten Umgebung sind, gehen wir halt davon aus und
wir wissen, dass der andere Schwierigkeiten haben wird, uns zu
verstehen und dementsprechend ändern wir einfach die Art und Weise,
wie wir sprechen.
Solche Sachen kann man übrigens auch beobachten bei anderen Sachen, wo
man ganz leicht Spracherkennungssysteme mit in Schwierigkeiten bringen
kann, wenn wir uns mal nicht verstehen.
Also, wenn der eine was aufschreiben soll und, wie war das jetzt, wie
hieß das Wort?
Und dann sprechen wir das Wort noch mal und dann sagen wir nicht,
hattest du jetzt gesagt Häuser oder Häuse als, als Nachname und dann
sage ich nicht ja Häuser, sondern sage ich Häuse, nicht Häuser, Häuse.
Ich hyperartikuliere, ich spreche übermäßig deutlich aus.
Wollte man jetzt meinen, da findet der Spracherkenner klasse.
Ne, findet er nicht klasse, weil er ist auch normaler Sprache
trainiert.
Wieder Schablonenvergleich, kommt er mit ins Trudeln.
Und das sind alles so Dinge, die man halt beachten muss und
untersuchen muss.
Und dann zu guter Letzt die Mehrdeutigkeit auf linguistischer Ebene.
Einfaches Beispiel, was sicherlich Schwierigkeiten machen kann, sind
Homophone, manchmal auch Homonyme genannt.
Das sind Wörter mit gleicher Aussprache, aber unterschiedlicher
Bedeutung.
Da gibt es jetzt zwei Arten davon, die Schwierigkeiten machen.
Die eine macht mehr Schwierigkeiten, die andere.
Es gibt die mit gleicher Schreibweise.
Schloss und Schloss.
Kann einmal das Disney-Schloss sein oder das, wo ich den Schlüssel
reinstecke.
Es wird gleich geschrieben, das ist mir egal.
Hauptsache, das richtige Wort wird reingeschrieben.
Aber dann gibt es halt welche, die unterschiedlich geschrieben.
Das sind dann die echten Homophone, zum Beispiel bis und bis.
Einmal das zeitliche Bindewort und einmal der der Bis.
Verse und Verse, Nachname und Nachname und so weiter und so fort.
Und das ist dann schwierig.
Da kann ich dann anhand des akustischen Signals eigentlich schon gar
nicht mehr unterscheiden, muss ich das schreiben oder das anders
schreiben.
Und diese Auflösung kann ich nur dann machen, wenn ich mehr oder
minder verstehe, was da gerade gesagt wurde.
Wenn ich also irgendwie Weltwissen und pragmatisches Wissen in die
Erkennung mit einfließen lasse.
Besonderes Punkt, das ist jetzt das Standardbeispiel aus der
Linguistik, wenn es darum geht, Mehrdeutigkeit in Sätzen zu führen.
Das ist insofern für die Spracherkennung fast uninteressant, da wir eh
Bedeutung nicht wirklich verarbeiten.
Wenn man aber später mal Bedeutung extrahieren will, werden solche
Sachen dann extrem schwierig.
Das ist dieses berühmte Beispiel, time flies like an arrow, das im
Englischen fünf Bedeutungen hat und ich kriege nicht immer alle fünf
Bedeutungen zusammen.
Also die erste Bedeutung ist, time flies like an arrow, die Zeit
verfliegt im Fluge.
Also Zeit verfliegt wie ein Pfeil.
Das ist das, was man noch hinkriegt.
Dann Sachen, die wir eigentlich schon unterbewusst rausfiltern, weil
es eigentlich Quatsch.
Time flies like an arrow.
Zeitfliegen mögen einen Pfeil.
Kann durchaus sein, dass es in der Biologie sowas gibt wie
Zeitfliegen.
Das ist ein gültiges linguistisches Konstrukt und die mögen halt
besonders Pfeile.
Sind halt pfeilophil sozusagen.
Dann gibt es die Möglichkeit, time nicht als Substantiv aufzufassen,
die Zeit, sondern time kann auch ein Verb sein.
Heißt nämlich messen, die Zeit messen.
Also, das ist nicht time elapsed, messen, wie es die Rundenzeit ist.
Time flies like an arrow.
Also gehe hin und messe fliegen und mache das so, wie ein Pfeil das
macht.
Ergibt keinen Sinn, ist aber von der Grammatik her erst mal so ein
sinnvolles Konstrukt.
Hat auch eine gewisse Bedeutung.
Ist zwar ein bisschen abstrus und skurril, aber ist immer noch
irgendwie valide.
Und dann gibt es noch zwei andere.
Also man kann das auch als nicht vollständigen Satz machen mit
Zeitfliegen wie ein Pfeil.
Also es gibt Zeitfliegen, die sind halt wie ein Pfeil, nicht die mögen
einen Pfeil.
Und dann gibt es noch eine fünfte Bedeutung und das ist die, die ich
immer vergesse.
Müsste ich nachschauen.
Die ist dann so abstrus, dass ich sie mir einfach nicht mehr merken
kann.
Und wie gesagt, Segmentierung ist ein großes Problem bei gesprochener
Sprache, weil wir sprechen umsegmentiert.
Aber wenn wir etwas hören, nehmen wir Segmente wahr.
Wir bilden uns ein, dass da Segmente sind, wo eigentlich keine
Segmente sind.
Wir hören unterschiedliche Laute.
Die unterschiedlichen Laute fassen wir zusammen in Silben.
Wir hören also Silben.
Dann hören wir Wörter und wir hören Sätze und wir hören die dort, wo
eigentlich keine Sätze sind.
Es gibt schöne Untersuchungen, dass gerade bei spontaner Sprache, wenn
ich nicht so hundertprozentig vorbereitet bin und nicht ablese, es so
ist, dass die Pausen, die ich mache, und ich mache Pausen, nicht an
den Grenzen eines Satzes mache, sondern in der Regel eher mittendrin
im Satz.
Weil wir die dumme Angewohnheit haben, wir fangen mal einen Satz an,
aber denken den noch nicht so hundertprozentig zu Ende, sondern
irgendwann in der Mitte des Satzes müssen wir jetzt planen, wie bringe
ich jetzt den Satz unfallfrei zu Ende, um was, wie geht es danach
weiter, sodass man also in der Regel immer eher mittendrin diese
Denkpausen macht, als die zum Beispiel an Satzgrenzen.
Deswegen so ursprüngliche, einfache Ideen wie, naja, wir segmentieren
den Sätze, wir gucken, wo eine Pause ist, haben nicht funktioniert und
das ist eben der Grund, warum das nicht so gut funktioniert.
Also, wir sprechen also komplett durch, ohne dass wir irgendwo da
überhaupt akustisch irgendwie andeuten, wo eine Grenze ist.
Das Interessante ist, das kann man in der Geschichte der geschriebenen
Sprache auch sehen.
So, jetzt schauen wir mal, wer hat hier eine humanistische Bildung,
wer hat Latein gehabt?
Ja, das ist traurig.
Okay, wir haben ein paar Leute, die haben Latein gehabt.
Haben sie irgendwann mal gesehen, wie frühe lateinische Texte
aussehen?
Wer hat das mal gesehen?
Also, das erste, was man gesehen hat, V und U, war ein Buchstabe, das
war immer ein bisschen unangenehm und manchmal sieht man das auch noch
so bei alten lateinischen Inschriften irgendwo in Denkmälern oder oben
an der Kirche oder so.
Grüß Gott, komm rein.
Elan hat er gehabt.
Da sieht man das so bei so Denkmälern oder so.
Auch im frühen Lateinischen hat man keine Leerzeichen gehabt zwischen
den Wörtern, sondern die Wörter wurden einfach hintereinander
geklatscht.
Dann kam, weil wir sprechen halt auch so, dann kam irgendwann einer
auf die Idee und dachte, das ist ja unpraktisch.
Und dann war der erste, okay, da wurden so kleine Punkte gemacht am
Ende eines Wortes und dann irgendwann ist man hingekommen, dass man
halt Leerzeichen einfügt.
Und es gibt durchaus auch noch Schriften heutzutage, die machen zum
Beispiel keine Leerzeichen zwischen Wörtern.
Das ist durchaus eher was, was man in westeuropäischen Sprachen
findet, aber bestimmte Sprachen machen das unter Umständen nicht.
Und da wird dann halt auch erwartet, dass man den Text genauso
segmentiert, wie wir die gesprochene Sprache segmentieren.
Und da kommt man dann hin, wenn man es also mal ein bisschen
überspitzt hinzeichnen will, warum ist Spracherkennung schwierig?
Der geschriebene Text ist oben das, was wir haben wollen.
Wenn wir so vor uns hin plappern, verschleifen wir das Ganze schon
mal.
Wir sprechen nicht so schön grammatikalisch, sondern wir ziehen so ein
paar Sachen zusammen.
Die Pausen zwischen den Wörtern gibt es nicht.
Bei der Aussprache sind wir dann auch noch sloppy.
Also nicht nur die Grammatik verschleifen wir, wir verschleifen auch
die Aussprache.
Dann spricht jeder von uns anders.
Das ist so ein bisschen wie jeder hat seine eigene Handschrift.
Also hat auch jeder seine eigene Stimme und klingt anders.
Dann wird da noch ein bisschen Rauschen drüber gelegt.
Dann sieht es schon mal ganz schlecht aus.
Und dann reden auch noch drei Leute gleichzeitig.
Das ist dann der sogenannte Cocktail-Party-Effekt.
Und das kommt da im schlimmsten Fall bei raus und daraus muss man
jetzt wieder den ursprünglichen Text machen.
Und das ist eben die Sache, die es so schwierig macht.
Und das beißt uns halt immer besonders dann, wenn wir halt
Spracherkennung als Klassifikation betrachten.
Und aus Sicht der Informatik ist nach wie vor Spracherkennung ein
typisches Muster-Klassifikationssystem.
Wer hat alles kognitive Systeme gehört schon?
Sie haben schon viel über Klassifikationsprobleme gehört und Template
-Matching und Spracherkennung ist nichts anderes.
Ich habe eine Audioaufnahme und muss diese Audioaufnahme einer Klasse
zuweisen und die Klasse, der ich die Audioaufnahme zuweisen will, ist
halt der Satz, der gesprochen wurde.
Und jetzt kann man sich schon vorstellen, das ist ein
Klassifikationsproblem mit ganz vielen abartig vielen großen Klassen,
in die ich einteilen muss.
Das ist also nicht mehr dieses mit, es gibt eine Klasse Kreuze und
eine Klasse Kreise und dann müssen wir die Kreuze zu den Kreuzen und
die Kreise zu den Kreisen machen, sondern wir haben ein paar mehr
Klassen hier.
Und das macht es halt entsprechend schwieriger.
Außerdem verarbeiten wir relativ viele Datenmengen.
Wenn man sich so eine Audioaufnahme anschaut, was man im Augenblick so
im Rechner verarbeitet, ist halt so was wie 32.000 Bytes pro Sekunde.
Das ist heutzutage nicht mehr so eine ganz so erschreckend große
Menge, wie das noch vor 30 Jahren der Fall war.
Nichtsdestotrotz ist das trotzdem relativ kontinuierlich ein großer
Dateneingabestrom, der auch verarbeitet werden will.
Und dann gibt es halt relativ viele Konzepte für so eine Sprache.
Die hat sowas wie 50 Laute ungefähr, äh 5.000 Laute.
Diese 5.000 Laute sind 50 Phoneme.
Was ein Phoneme ist, lernen wir noch kennen.
Dann gibt es insgesamt 50.000 Wörter, aber das sind nur die
Basisformen.
Und dann fangen wir an zu flektieren und dann hat so eine typische
Sprache in Größenordnung 500.000 Wörter.
Pi mal Daumen.
Wir Menschen, so ein Mensch benutzt in seiner, im Deutschen und im
Englischen, so standardmäßig in seinem Umgang 3.000 bis 6.000 Wörter,
so in der täglichen Kommunikation.
Aber wenn es dann in die Fachkommunikation geht, wird es halt schnell
mehr.
Und die sind auch nicht alle immer gleich, sondern überlappen sich nur
die Wörter, die wir verwenden, sodass man am Ende wirklich also mit
diesen 500.000 Wortformen durchaus rechnen kann.
Manche Sprachen sind da schlimmer, manche Sprachen sind einfacher.
Und wir suchen halt, wie gesagt, nicht ein einzelnes Wort.
Wir suchen einen Satz.
Spracherkennung erkennt immer eine ganze Wortfolge.
Und da gibt es halt extrem viele Klassen.
Theoretisch gibt es erstmal unendlich viele Klassen.
Auch wenn ich nur ein endliches Vokabular habe, könnte ich ja
theoretisch beliebig lange Wortfolgen bilden und habe die auch
entsprechend unendlich viele Klassen.
Bin in der Praxis, kann ich es natürlich dadurch beschränken, dass die
Audioaufnahme, die ich verarbeite, immer endlich ist.
Das heißt also, die Anzahl der Wörter kann ich irgendwie abschätzen.
Da gibt es eine obere Grenze.
Und dann habe ich immerhin eine endliche Menge an möglichen Klassen.
Aber es sind immer noch sehr, sehr, sehr, sehr, sehr, sehr viele.
Und wir Menschen können das halt erstaunlich gut.
Deswegen gibt es so große Kritik, dass Spracherkennungssysteme doch so
schlecht sind, weil wir können das doch so gut und man erwartet sehr
viel.
Und Menschen können das sehr gut, weil sie sehr gut abstrahieren
können.
Und jetzt spult man einmal zurück ins erste Semester Grundbegriffe der
Informatik und lernt, auch wir Informatiker sind Experten darin zu
abstrahieren.
Wir abstrahieren halt auf der technischen Ebene.
Wir Menschen machen das auch die ganze Zeit.
Das ist das gleiche Beispiel wie aus kognitive Systeme.
Es ist völlig egal, in welchem Font ein A geschrieben ist und welche
Handschrift das mehr oder minder schreibt.
Wir erkennen sofort immer statt des Signals die Nachricht, die
übermittelt werden soll.
Das A, das da drin steckt.
Wir Menschen können das super gut.
Die Maschine kann das nicht und wir Menschen wissen gar nicht, warum
wir das so super gut können, wie wir das können.
Wir können Sprache auch gut segmentieren in Wörter und Sätze und
kleinere Einheiten.
Das geht so weit runter, dass man zeigen kann, wenn man so die
kleinsten Einheiten segmentiert, die wir hören, das ist nicht so
wirklich im Signal vorhanden.
Wenn man sich nur das Signal anschaut, muss man sehr viel Fantasie
anwenden, um so die kleinsten Segmentierungen überhaupt im Signal
erkennen zu können.
Das heißt, was da passiert, ist irgendwas auf der psychologischen
Ebene.
Psychologisch nehmen wir da Segmente wahr, wo eigentlich gar keine
Segmente sind.
Das ist irgendwas in der höheren Verarbeitung, wie wir Sprache
verarbeiten.
Und wir haben ganz große Mengen an Wissen.
Wir wissen, welche Fonfolgen sind in der Sprache typisch.
Wir wissen, wie die Morphologie funktioniert, wie die Syntax ist.
Also ob da jetzt einen oder einen, einem oder einem hingehört oder
eine, das ist uns egal.
Das hören wir nicht, sondern das wissen wir, was da in der Grammatik
richtig ist.
Diese kleinen Endungen, die hören wir nicht wirklich, sondern wir
wissen ungefähr, was da hingehört, wenn wir es hinterher hinschreiben.
Wir müssen das gar nicht hören.
Wenn man sich das anhört, das wird auch gar nicht meistens in der
normalen Sprache so genau gesprochen.
Wenn wir es hinschreiben, wissen wir selber, was da eigentlich hin
muss und wir wissen, in welcher Situation wir sind.
Und Menschen erkennen Sprache multimodal.
Wir hören nicht nur, wir machen mehr.
Und dazu machen wir jetzt ein kleines Experiment.
Haben alle irgendwie Papier und Stift mal zur Hand?
Okay, alle schreibbereit?
Wir haben hier ein Video, das ist leider schon ein bisschen älter.
Sehen, das ist irgendeine VHS-Digitalisierung, das ist auch von der
Tonqualität nicht mehr so gut.
Das kommt halt noch aus einer etwas, ich weiß gar nicht genaue Zeit,
70er, 80er Jahre, irgendwas so um den Dreh herum.
Da geht es um, wie wir, was wir hören und wie wir das wahrnehmen.
Und was Sie jetzt gleich sehen werden, ist, den Wissenschaftler hier,
der wird Silben sprechen.
Er spricht also keine ganzen Wörter.
Das ist ein Amerikaner, amerikanischer Wissenschaftler, der wird also
englische Silben sprechen.
Und was sie machen ist, sie gucken sich das Video an und schreiben die
Silben mit, die sie hören.
Und das Wichtige ist hierbei, dass Sie sich auch das Video mal
anschauen, weil Sie sollen halt ein bisschen was darüber lernen, wie
wir hören unter schwierigen akustischen Bedingungen.
Und die Akustik da bei dem Ding ist nicht wirklich gut.
Damit das also vernünftig funktioniert, Video mit anschauen.
Sie schreiben mal mit, welche Silben Sie da hören und dann gucken wir
mal, ob am Ende, ob Sie auch die Silben ordentlich verstanden haben,
die jetzt da abgespielt werden.
Also, auf geht's!
Das wären sieben Silben gewesen.
Wir schauen jetzt mal, was wir zusammen bekommen.
Okay, was war die erste Silbe?
Wer hat was gehört?
Bar.
Hat sonst noch jemand was gehört?
Okay, Bar.
Was war die zweite Silbe?
Okay, wurde auch Bar gehört.
Was war die dritte Silbe?
Wo, jetzt bei der zweiten oder...
Was haben Sie gehört?
War.
V.
Hat noch jemand was gehört?
F, also Far.
Also, sowas in der Art.
Hat noch jemand was gehört?
Okay, dann dritte Silbe.
Da, Bar.
Okay, also es gab da, Bar, da.
Hat noch jemand was gehört?
Okay, nächste Silbe, vierte Silbe.
Da.
Sind wir uns da einig oder hat jemand noch was anderes gehört?
Wir haben Bar gehört.
Okay,
nächste Silbe, was wurde gehört?
Bar.
Hat noch jemand was anderes gehört?
Da.
Noch irgendwas?
Okay, dann fünf Silben.
Nächste Silbe?
Da.
Was hat... Pa.
Und?
Bar.
Okay, noch was?
Dann, es gab noch eine Silbe, glaube ich, oder?
Bar.
Noch was?
Da.
Was noch?
Gar.
Sonst noch was gehört?
Nur ein A.
Also praktisch keinen Konsonant davor.
Okay, haben wir's?
Und ich glaube, das war's.
Mehr Silben gab's nicht, oder?
Das war's, okay.
Jetzt hören wir uns das Ganze noch mal an, aber wir machen einen
kleinen Unterschied.
So, jetzt hören wir uns das noch mal an.
Bar.
Also es ist nicht nur so, dass das jedes Mal Bar war, es war jedes Mal
genau dasselbe Bar, einfach hintereinander gestimmt.
Was sagt uns das?
Was uns das sagt, ist, wir Menschen hören nicht nur, wir lesen auch
Lippen.
Und zwar jeder von uns, egal ob er jetzt das irgendwie gelernt hat
oder nicht, wir lesen Lippen.
Und was da gemacht wurde, ist einfach, dass der Audio- und der
Videostream ausgetauscht wurden.
Dass also ein anderer Videostream da liegt, als was eigentlich
gesprochen wurde.
Und wir Menschen lesen halt Lippen implizit mit.
Jetzt gibt's einige hier, die haben zum Beispiel immer Bar gehört.
Wer hat immer Bar gehört?
Wie lange tragen sie schon die Brille?
Okay, das ist noch relativ neu.
Waren sie schon immer fehlsichtig oder ist das sozusagen, ist das also
spät raus gekommen oder hat sich einfach so verändert?
Okay, also es gibt es manchmal, wird halt spät entdeckt, dass halt
Fehlsichtigkeit vorherrscht.
Wie war das bei Ihnen?
Schon länger Brillenträger oder seit der Kindheit?
Also schon seit ganz, seit ganz jungen Jahren.
Also das ist so ein Effekt, ich kann das nicht statistisch genau
nachweisen, aber das ist so etwas, da merkt man dran, wenn einer als
Kind schlecht sieht, weil er halt Brille braucht, während der
Sprachlernphase, während der Sprachakquisition.
Und daher muss man jetzt ganz jung reden.
Also wir reden hier, Phoneme werden sechs Monate bis ein Jahr
ungefähr, so in der Größenordnung lernen wir Phoneme zu unterscheiden.
Das machen wir, das ist das Erste, was wir überhaupt als Kinder lernen
und ein drei Monate altes Kleinkind mit Brille gibt es noch nicht.
Aber wird unter Umständen halt nicht so scharf sehen wie mit Brille
und deswegen vielleicht inhärent auch so ein bisschen eine Neigung
haben, nicht so stark aufs Lippenlesen zu gucken.
Nee, die habe ich nicht mehr.
Ich muss nachgucken, aber also es ist, ich meine auch, es ist bar,
war, war, ich meine das TH sieht man, sieht man sofort.
Und dann ist es, also gar ist dabei, paar ist dabei und da ist dabei.
Ich muss das nochmal nachschauen.
Der Forscher hier, das ist der Herr McGurk, das ist ein sehr bekannter
Linguist, Phonetiker, der halt diesen Effekt auch wissenschaftlich
nachgewiesen hat und dementsprechend ist der Effekt, dieser McGurk
-Effekt auch nach ihm benannt.
Und man kann das auch schön sehen, unsere Neigung mehr Lippen zu lesen
nimmt zu, wenn die Akustik schwieriger wird.
Da hat man halt Experimente gemacht, in dem man halt mit Eintreckern
geguckt hat, wie bewegen sich die Augen so hin und her und man sieht,
je schwieriger die akustische Umgebung gibt, also je mehr, mehr Lärm
um uns herum ist, desto mehr hängen wir mit den Augen an den Lippen
des Gegenüber, desto mehr lesen wir mit.
Gibt es hier Japaner?
Keine Japaner.
Das ist nämlich die erste Besonderheit.
Bei Japanern funktioniert das nicht.
Bei Japanern können sie keinen McGurk-Effekt nachweisen.
Und da ist jetzt die große Frage, warum?
Und da streitet sich die Lehrmeinung.
Es gibt Verfechter, was ist auch noch nicht wirklich systematisch
erforscht.
Es gibt also Verfechter, die sagen, naja, das hat kulturell damit zu
tun, weil es gilt als unhöflich, seinem Gegenüber so direkt
anzustarren, sondern man guckt halt lieber so ein bisschen vorbei und
ich starte mich direkt ins Gesicht.
Deswegen entwickelt sich dieses implizite Lippenlesen nicht so.
Die andere und wahrscheinlich plausiblere Theorie ist, dass die
japanische Sprache so strukturiert ist, dass man es nicht braucht und
es nicht hilft.
Japanische Sprache ist von der Silbenstruktur sehr schön sauber
getaktet.
Man hat immer schön diese Morasilben, Konsonant, Vokal, Konsonant,
Vokal, Konsonant, Vokal und es geht immer tack, tack, tack, tack,
tack.
Das heißt, man hat ja gar nicht so Schwierigkeiten unter Umständen,
das akustisch zu verstehen.
Es ist einfacher, akustisch zu verstehen.
Plus, wenn man sich das anschaut, wir gucken ja nur oder wir können ja
nur so den vorderen Bereich des Vokaltraktes sehen.
Das heißt, ich kann so ein bisschen sehen, wie ist die Lippenstellung,
wie ist der Mundstellung und so die Zungenspitze.
Das sehe ich noch.
Alles, was weiter hinten im Mund passiert und da passiert durchaus
auch viel bei der Aussprache von Konsonanten, das sehe ich einfach
nicht mehr.
Und dementsprechend kann ich da auch nicht groß Lippen lesen.
Und bei der japanischen Sprache, bei den japanischen Konsonanten ist
es so, dass man die gar nicht so stark unterscheiden kann anhand
dessen, was ich halt in der vorderen Mundpartie überhaupt sehen kann.
Das wäre so der andere Erklärungsversuch, das andere Erklärungsmuster.
Und wie gesagt, das hier ist halt englische Sprache.
Von uns gibt es wahrscheinlich keinen englischen Muttersprachler.
Englisch ist für uns alle eine Fremdsprache und wir haben natürlich
einen Bias gegenüber unserer Muttersprache.
Das ist da, wo wir dieses implizite Lippenlesen gelernt haben.
Und deswegen, manche Sachen funktionieren bei manchen, manche Sachen
funktionieren bei manchen nicht und bei vielen Sachen sind wir uns
unter Umständen auch nicht einig.
Und das Schlimme ist, selbst wenn Sie diesen Effekt kennen und Sie
dieses Video anschauen, das Da kriege ich nicht raus.
Ich höre bei, wenn da wo das Da kommt, ich höre kein Bar, ich höre
immer ein Da.
Ich weiß, dass das nicht passt, ich weiß das nicht.
Sobald ich die Lippen sehe, höre ich es als Da und muss mich wirklich
intellektuell zwingen zu wissen, nein, da ist kein Da, der hat Bar
gesagt, ganz wirklich.
Okay, immer gut.
Ja, es hängt auch davon ab, manche haben auch ein Gehör dafür.
Wenn man ein gutes Gehör hat, kann man das hören, dass das wirklich
immer genau dasselbe ist, kann einem unter Umständen auffallen.
Ja, also soviel schon mal dazu.
Jetzt gehen wir zurück.
Also, wir verarbeiten Quintessenz, wir verarbeiten Sprachen
multimodal.
Jeder von uns kann irgendwie implizit Lippen lesen, auch wenn wir es
nicht wirklich gelernt haben.
Wenn man sich jetzt noch mal anschaut, in welchem Bereich wir da uns
bewegen und uns auch mal ein bisschen die Datenraten anschauen, mit
denen wir so arbeiten, gibt es so das Modell der Kommunikation, das
Modell des Dialoges.
Wir haben halt den Sprecher und den Zuhörer.
Der Sprecher, irgendwo hier ganz weit oben, formuliert eine Nachricht.
Und zwar noch nicht in Sprache, sondern es ist irgendwie ein
abstraktes Konzept, irgendwas, was Bedeutung trägt.
Es ist eigentlich Nachricht, man könnte auch sagen Information.
Wir haben hier oben irgendeine Information, die wollen wir übertragen.
Diese Information müssen wir in einer Nachricht kodieren und kodieren
sie in Sprache.
Und um diese Nachricht zu übertragen, müssen wir daraus ein Signal
machen.
Und alles, was bis zu dieser Kodierung mit Sprache passiert, das kann
man als diskret auffassen.
Wir haben irgendwelche diskreten semantischen Konzepte, wir haben eine
diskrete Wortfolge, mit der wir diese Information übertragen wollen.
Und daraus müssen wir jetzt ein Signal machen und dann machen wir
jetzt einen Sprung aus dem Diskreten ins Kontinuierliche.
Wir wissen jetzt also, was wir sprechen wollen und müssen halt jetzt
die Muskeln so aktivieren und bewegen, dass da eine Schallwelle
rauskommt, mit der wir diese Sprache übertragen wollen.
Und wenn man das so ungefähr, also das ist wirklich jetzt nicht
detailliert bis auf die Nachkommastelle, sondern so über den Daumen
gepeilt, so gedruckter Text, wenn man den mal als Äquivalenz zur
Information ansieht, ist natürlich Quatsch, 50 Bit pro Sekunde, so
Primal Daumen.
Wenn wir daraus eine Phonemenfolge machen, dann sind wir schon bei 200
Bit pro Sekunde.
Jetzt haben wir es kodiert, wir wissen, welche Phonemenfolge wir als
Signal schicken wollen.
Dann müssen wir die Artikulatoren bewegen und da gibt es viele
verschiedene Parameter, wie die Muskeln angespannt werden und so
weiter und so fort.
Primal Daumen 2000 Bit pro Sekunde.
Dann haben wir die eigentliche Schallwelle, die da aus uns raus
sprudelt.
Die hat sowas wie 30.000 Bit pro Sekunde.
Und da merken wir jetzt halt, von ursprünglich 50 Bit pro Sekunde ist
das, was wir mit dem Mikrofon aufnehmen, jetzt auf 30.000 Bit pro
Sekunde angewachsen.
Was lernen wir daraus?
Da muss irgendwie Redundanz drin sein.
Das ist ja offensichtlich viel Redundanz in dem Signal.
Das haben wir da aufgebläht von ehemals 50 auf 30.000 Bit pro Sekunde.
Warum ist da Redundanz drin?
Unter anderem, es ist halt so entwickelt, aber sicherlich auch, um
sagen wir mal robust gegen Störungen zu sein.
Dass man nicht anfällig ist, gegen etwas falsch zu verstehen, wenn man
irgendwie eine Kleinigkeit falsch gehört hat oder wenn irgendwas
korrumpiert wird, sondern in dem Signal ist sehr viel Redundanz drin,
dass wir irgendwie ausnutzen, um vernünftig Sprache zu hören, zu
erkennen.
Und dann geht der umgekehrte Weg.
Wir gehen ins Ohr rein, dann auf die Basilarmembran, die macht daraus
elektrische Signale und dann geht es irgendwie hoch ins Gehirn, wird
da dekodiert und dann haben wir irgendwann die Bedeutung.
Was wo passiert, wissen wir unterschiedlich gut.
Hier bei der Sprachgenerierung, also wie ich die Schallwelle
produziere, indem ich Muskeln anspanne und bewege und meinen Mund auf
und zu mache und alles Mögliche durch die Gegend schiebe und Luftstrom
ausstoße, das verstehen wir relativ gut.
Da wissen wir recht gut, wie das funktioniert.
Wie wir von da oben nach da unten hinkommen, sieht es eher schwierig
aus.
Da gibt es so grobe Vorstellungen darüber, was da vielleicht passieren
könnte, aber da wissen wir nur so Kleinigkeiten, so empirisches
Wissen, das man durch Experimente herausfinden kann, aber wie genau
das funktioniert, wissen wir auch nicht.
Und beim Hören und Sprachverstehen sieht es genauso aus.
Also, was im Ohr passiert, bis wir zum Gehörnerv kommen, versteht man
relativ gut.
Wie es da oben dann weitergeht, ja, es gibt Theorien und man hat da so
grobe Konzepte und sowas, die man meint, zu identifizieren, aber was
wirklich passiert, keine Ahnung.
Und dementsprechend ist es auch schwierig, Sprache wie der Mensch zu
erkennen und zu verstehen, weil wir wissen gar nicht, wie wir das
genau machen.
Wenn wir jetzt Spracherkennung betreiben, brauchen wir Wissen aus ganz
vielen verschiedenen Gebieten.
Ich meine, dass jetzt in der Informatik nichts Ungewöhnliches, aber es
ist bei der Spracherkennung, sagen wir nochmal, um einiges
vielfältiger als, sagen wir mal, bei Datenbanken oder vielleicht bei
Netzwerken, weil wir müssen die ganzen Informationstechnik
beherrschen, wir müssen die Elektrotechnik beherrschen, wir müssen
wissen, wie nehmen wir so eine Schallwelle auf, wie machen wir daraus
elektrische Signale, wie verarbeiten wir das Ganze im Rechner weiter.
Wir müssen aber auch die biologische Seite verstehen, also wie
funktioniert das mit der Sprachproduktion, wie entsteht die
Schallwelle, worauf müssen wir uns da einstellen, was wir bekommen,
plus wir müssen die gesamte linguistische Seite verstehen, also
wissen, was wird da wie zusammengesetzt, also welche Phoneme werden da
zusammengesetzt, welche Wörter werden nach welchen Regeln
zusammengesetzt, wie sehen so Wortfolgen aus.
Wir müssen aber auch solche Sachen kennen wie aus der Psychologie,
weil wir werden feststellen, dass wir Menschen halt uns auch viel
einbilden beim Hören und da verschiedene Effekte gibt, die nicht aus
dem Signal erklärbar sind, sondern nur aus der individuellen
Wahrnehmung, aus der Psyche und muss dann sich darüber auch kennen.
Und dann, wie gesagt, aus der Informatik, Signalverarbeitung,
Mustererkennung, ist heutzutage künstliche Intelligenz, es gibt ein
ganzes allgemeines Gebiet der Verarbeitung natürlicher Sprache als
Wissenschaft und aus all diesen Dingen müssen wir zumindest
rudimentäre oder so themenspezifisches Grundwissen haben und
mitbekommen.
Das macht es nicht einfach, aber das macht es auch spannend.
Man lernt auch viele Sachen kennen, die jetzt direkt nichts mit
Informatik zu tun haben, aber trotzdem, zumindest ich finde es sehr
interessant und immer wieder spannend, was da mit Sprache alles
möglich ist.
Und das Erste, was man sich da halt anschaut, ist die
Sprachproduktion.
Also, wie produzieren wir Sprache?
Und dann zu hoffen, wie kann ich jetzt das benutzen, um das Signal zum
Beispiel zu verarbeiten?
Welches Signal erhalte ich?
Und dann müsste ich auch wissen, wie versteht der Mensch Sprache?
Wie funktioniert das Hörverständnis?
Das Erste ist insbesondere wichtig, weil das ist ja das Signal, mit
dem ich arbeite.
Das Zweite kann man argumentieren, ja, der Rechner ist kein Mensch.
Es ist nicht schlimm, wenn der Mensch das anders macht, wenn der
Rechner das anders macht als der Mensch, weil ein Auto hat auch keine
Beine und ein Flugzeug schlägt nicht mit den Flügeln.
Trotzdem können wir uns schnell fortbewegen und wir können nach
bestimmten Aspekten besser fliegen als irgendwelche biologischen
Systeme.
Deswegen muss man das nicht unbedingt so machen wie das biologische
System.
Aber nichtsdestotrotz, bei manchen Dingen, zumindest in der
Signalverarbeitung, orientieren wir uns daran, weil wir das noch
verstehen.
Und die Ratio ist dann immer, na ja gut, wenn es gut für den Menschen
ist beim Hörverstehen, dann kann es für die Maschine auch nicht
schlecht sein.
Also Sprachproduktion.
Das hier ist das grobe Bild der menschlichen Anatomie, was beteiligt
ist bei der Sprachproduktion.
Man fängt unten an bei den Lungen, dann hat man hier einen Bereich,
das ist die Stimmritze, die ja glott ist, geht dann hoch durch den
Rachenraum, kommt irgendwann in den Mund, verwendet zum Teil die
Nasenhöhle und dann wird halt die Schallwelle abgestrahlt.
Und die Schallwelle wird abgestrahlt sowohl über den Mund als auch
gegebenenfalls über die Nase.
Das vergessen wir relativ häufig.
Wir sprechen also nicht nur aus dem Mund heraus, sondern je nachdem,
welchen Laut wir gerade produzieren, sprechen wir zum Teil auch aus
der Nase heraus.
Kann man sich leicht vorstellen, wenn man ein M spricht, wie sprechen
wir ein M?
Alle mal 1, 2, 3... Das ist ein M.
Der Mund ist zu, ich höre trotzdem was.
Und die Lippen sind keine Lautsprechermembran, die jetzt so stark
vibrieren, dass eine Schallwelle produziert wird.
Der Schall wird zum Beispiel durch die Nase abgestrahlt.
Das würde ich ja nix hören, das funktioniert nicht.
Also das darf man nie vergessen, auch die Nase ist ein Abstrahler.
Und dann hat man hier so die allerwichtigsten Dinge.
Die Lunge.
Die Lunge ist im Prinzip nichts anderes als ein großer Blasebalg.
Beim Sprechen ist die Aufgabe der Lunge, Luft aus mir rauszupressen.
Weil irgendwie muss so eine Schallwelle entstehen, muss Schall
abgestrahlt werden und die Voraussetzung ist erstmal, Luft wird
rausgepresst.
Und alles andere modelliert dann diesen Luftstrom so, dass hinterher
eine Schallwelle rauskommt, die menschlicher Sprache entspricht.
Und der allererste, wichtigste Teil, den wir da durchkommen, ist die
Stimmfalte.
Und die Stimmfalte macht folgendes.
Wir haben da, man nennt das Stimmbänder, aber das sind mehr so, naja,
Lappen, die, wenn von unten die Luft kommt, liegen die so aufeinander.
Jetzt kommt die Luft von unten, die liegen eigentlich erstmal
aufeinander, aber stehen unter einer bestimmten Spannung, aber sind
nicht so stark angespannt, dass es zu ist.
Sondern die haben eine bestimmte Spannung.
Jetzt kommt die Luft von unten, drückt die beiden Stimmliften
auseinander.
Also von, im Modell werden die auseinandergedrückt.
In Wirklichkeit ist das mehr so ein Deckel, der sich auf und zu geht.
Aber so im Modell, wenn wir jetzt so gucken, werden die
auseinandergedrückt, Luft kann durchfließen, wir können eine
Schallwelle produzieren.
Physiker anwesend, ist immer schlecht, weil das sind die, die am
schlauesten sowas wissen.
Kann mich keiner korrigieren.
Wer hat Physik Leistungskurs gehabt?
Da hat man glücklicherweise immer ein paar.
Strömungs- und Gasgesetze.
Die Stimmritze wird aufgedrückt, es fließt Luft durch.
Wem sagt der Bernoulli-Effekt noch etwas?
Das Gesetz besagt, dass die Geschwindigkeit in einer Flüssigkeit, und
das funktioniert in den Gasen genauso, dass die Geschwindigkeit, mit
der man fließt, bestrebt ist, sich anzugleichen an die
Fließgeschwindigkeit in der Nachbarschaft.
Das Ufer fließt gar nicht, das steht still.
Also ist das, was näher am Ufer ist, ist mehr und mehr bestrebt,
langsam zu fließen, sozusagen bis das Wasser direkt am Ufer mehr oder
minder still steht.
Und in der Mitte ist es halt am weitesten entfernt und fließt halt
entsprechend am schnellsten.
Und das hat jetzt Auswirkungen auf den Druck.
Wo ist der Druck höher?
In einem beruhenden Gas oder in einem fließenden Gas?
Da, wo es still ist, ist ein höherer Druck, als da, wo schnell
geflossen wird.
Da ist der niedrigere Druck.
Das heißt, wir haben folgendes.
Die Luft hat das Ding aufgedrückt.
Jetzt fließt der Luft durch.
Gegen den einzelnen Stimmblätten hin fließt es langsamer als in der
Mitte.
In der Mitte fließt es schneller und da ist der Luftdruck geringer als
an den Rändern.
Sprich, es ist ein Unterdruck und der Unterdruck sorgt dafür, dass die
Sachen wieder zusammengesaugt werden.
Das ist wie zwei Züge.
Das ist so das andere Standardbeispiel für einen Bernoulli-Effekt,
wenn die aneinander vorbeifahren.
Es ist da auch ein Luftstrom innen drin und der ist in der Mitte
stärker als zu den Zügen hin.
Und dann saugen sich die Waggons so aneinander dran.
Wenn die zu schnell aneinander fahren, dann macht es Batsch.
Deswegen im Tunnel zum Beispiel ist das besonders schlimm.
Da würden die sich zusammenbatschen.
Deswegen muss das immer passen.
Die neigen sich zueinander hin und genauso die Stimmblätten, wenn das
Gas mal fließt, werden die wieder zusammengesogen.
Und dann werden die so lange zusammengesogen, bis der Luftstrom
abgeschlossen ist.
Luftstrom ist abgeschlossen, es fließt nichts mehr, es gibt keinen
Unterdruck mehr.
Also kann der Druck von unten aus der Lunge die wieder aufblasen und
dann fangen die an zu vibrieren.
Und je nachdem, wie stark ich die Spannung einstelle, wie schnell ich
die also wieder zusammenziehen kann durch diesen Unterdruck, fangen
die an zu vibrieren.
Und zerhacken diesen Luftstrom, der jetzt erstmal kontinuierlich aus
der Lunge kommt, in so kleine Pakete, so kleine Impulse.
Und das kann man sich halt anschauen.
Und da habe ich halt ganz frech aus dem Internet, wie man das
heutzutage macht, halt zwei Videos mir runtergeladen.
Das eine ist eine schöne Animation, da sieht man das halt.
Man guckt jetzt hier gleich in den Kehlkopf rein, schmied mir jetzt
oben drüber, und da sieht man die Stimmlippen, das sind diese Lappen.
Und die werden halt durch diesen Bernoulli-Effekt in diese Schwingung
versetzt.
Von unten strömt kontinuierlich die Luft raus.
Die Lippen, diese Deckel, die gehen so hoch und runter, zerhacken
jetzt diesen Luftstrom in Impulse.
Das heißt, ich habe da schon mal irgendwie so eine Grundfrequenz drauf
modelliert.
Ja, es ist halt nichts, was wir machen bei der Anatomie, ist wirklich
schön diskret.
Die springen ja nicht in unendlicher Zeit auf und schnappen nicht in
unendlicher Zeit zusammen, sondern die brauchen eine Zeit, um
aufgedrückt zu werden, und dann etabliert sich der Effekt, und dann
braucht es eine Zeit, bis die wieder zusammengesogen sind.
Das heißt, im Idealfall hat man wirklich so ein Zerhacken in Pakete,
zu eine Weile, auf eine Weile, zu eine Weile, auf eine Weile.
In Wirklichkeit ist das natürlich ein Übergang von, kommt viel Luft
raus, kommt wenig Luft raus, kommt keine Luft raus, kommt wieder mehr
Luft raus, kommt viel Luft raus, kommt weniger Luft raus, kommt keine
Luft raus.
Wenn man das mathematisch modellieren will, was hier so als schöner
Impulszug dargestellt ist, und man hat das so ein bisschen angedeutet,
dieses Blau, das ist halt in der Mitte, ist das halt leuchtender als
so an den Rändern, das soll halt zeigen, dass sozusagen die Menge an
Luft, den Druck, der da rauskommt, so nicht in Nullzeit variiert,
sondern so kontinuierlich mehr und weniger wird.
Wenn man das mathematisch darstellen will, nimmt man gerne so eine
Sägezahn -Kurve oder so eine Dreieckskurve.
Auch das ist nicht wirklich das, was passiert.
Im Analogen passiert was viel Komplizierteres, aber so versucht man es
mathematisch darzustellen.
Und halt eine Dreieckskurve, das ist halt dann nicht mehr zeitdiskret.
Das ist halt kontinuierlich damit.
Aber das ist das, was dann, wenn man mathematisch der Sache am
nächsten kommt.
Es wäre schön, wenn es zeitdiskret wäre.
Ist es aber leider nicht.
Das ist so was, da müssen wir mit leben, dass wir jetzt ein analoges
Signal im digitalen Rechner verarbeiten wollen und da passieren, das
sehen wir dann bei der Vorverarbeitung, da passieren dann unschöne
Dinge, die wir gerne anders hätten, aber nicht machen können.
Jetzt gibt es das Ganze auch noch mal in Echt.
Also das ist das Computer, das hat das künstliche Modell in Echt.
Wie macht man das in Echt?
Man nimmt hier einen Herr, Mund auf, Kamera rein.
Kamera rein.
Dann sieht man schon mal das Bild.
Jetzt ist es so, diese Stimmlippen, die schwingen ganz schnell.
Also schneller als die Bildwiederholfrequenz, die wir da haben und
schneller, als wir das auch mit dem Auge wahrnehmen können, die
Bewegung.
Jetzt, wenn man das sichtbar macht, was man dann macht, ist, man macht
ein Stroboskop.
Das heißt, man macht so eine Art Subsampling.
Also so Beleuchtung, dass man halt nicht jede Öffnung sieht, sondern,
dass man nur jede Ende Öffnung sieht, sodass man so eine Art
Zeitlupeneffekt bekommt.
Man ist sozusagen dann durch Beleuchtungstechnik geregeltes
Runtersamplen der Bildwiederholrate.
Und dann sieht das so aus.
Da muss man halt aufpassen, dass man das Stroboskop richtig einstellt
und dann kriegt man diese Schwingung.
Und da sieht man halt, da wurde so versucht, ich glaube, was stand da
bei der Frequenz?
220 Hertz oder sowas?
Also da 300 Hertz.
Das ist also so ein Ton mit 300 Hertz.
Normalerweise würden die 300 mal eine Sekunde schwingen.
Man hat durchs Stroboskop alles runter geregelt, dass man halt so
schön langsam sieht, wie das ausschaut.
300 Hertz ist, glaube ich, irgendwie sowas.
Was ist das?
220 Hertz ist ein A.
Steht das so im Video drauf?
Ah, das stimmt, da steht FIS.
Genau, passt ungefähr.
220 Hertz ist, glaube ich, ein A und dann bei 300 Hertz, da muss man
so Richtung FIS, glaube ich, so kommen.
Das ist, glaube ich, ein A, oder?
220 Hertz sind ein A.
Genau, aber 220 halt auch wieder ein A.
440 ist, glaube ich, eingestrichenes A, oder?
Irgendwie sowas.
Also 220 Hertz ist irgendeines der gestrichenen A.
Ich glaube, ohne Strich.
Also das Prinzip ist schon mal ungefähr klar.
Und das ist eben das Prinzip der stimmhaften Sprache.
Luft aus der Lunge gedrückt, Stimmlippen werden angespannt, durch den
Bernoulli -Effekt fangen sie an zu schwingen, wird in idealisiert
diskrete Impulse zerhackt.
In Wirklichkeit ist es immer noch analog und mehr so eine Sägezahn
-Kurve.
Und diese Impulse durchlaufen dann den Vokaltrakt.
Durch diese Impulse habe ich schon einen gewissen Grundton.
Das ist ja das, was ich höre.
Dieses A, der macht ja den Mund sperrangelweit offen, der hat auch
keine andere Chance, weil der hat ja eine Kamera drin stecken.
Und dann wird, zumindest schon mal, dieser Grundton produziert, aber
das ist natürlich noch keine Sprache.
Sondern diesen Grundton muss ich jetzt modulieren, verändern, dass
daraus dann Sprachlaute werden.
Und das ist bei stimmhafter Sprache der Fall.
Und jetzt kann man sich überlegen, Menschen haben unterschiedliche
Anatomie.
Die Anatomie wird hier wohl eindeutig irgendeinen Einfluss darauf
haben, mit welcher Frequenz die Stimmbänder schwingen.
Also ich kann das regeln, indem ich die Stimmbänder anspanne oder lose
mache, mit welcher Frequenz sie stimmen.
Aber ansonsten regelt das natürlich auch andere Sachen.
Und eine Sache, die wir dabei feststellen, ist, dass Stimmbänder mal
länger und mal kürzer sind.
Und das ist wie bei einer Gitarre.
Wenn ich halt eine lange Saite habe, schwingt die eher mit tieferer
Frequenz.
Wenn ich eine kurze Saite habe, schwingt die eher bei so mehr oder
minder gleichem Luftdruck mit höherer Frequenz.
Von der Anspannung her und von den Kräfteverhältnissen, die da
herrschen.
Und das ist der Unterschied zwischen einer weiblichen und einer
männlichen Stimme.
Männer haben in der Regel längere Stimmbänder, Frauen haben in der
Regel kürzere Stimmbänder.
Und deswegen sind weibliche Stimmen eher höhere Stimmlage und
männliche Stimmen eher tiefere Stimmlage.
Auch da gibt es natürlich Überlappungen.
Wir sind ja auch nicht, dass sich die einen sind kleiner und die
anderen sind größer, sondern das überlappt sich so.
Aber so im Groben und Ganzen, wenn man diesen überlappenden Bereich
wegfällt, gilt das.
Hat irgendeiner eine Ahnung, warum das so ist?
Warum haben Männer längere Stimmlippen als Frauen?
Hat einen Grund dafür.
Man sieht das auch.
Wir Männer, hier sehen Sie unseren Kehlkopf.
Sie sehen, dass der bei uns nach der Pubertät ragt, der raus.
Bei Frauen meistens eher weniger.
Das ist am Ende, also das ist die biologische Erklärung, ist am Ende
läuft alles auf Testosteron heraus.
Testosteron ist ein Hormon, das das Wachstum beschleunigt, befördert.
Und Männer haben halt nach der Pubertät, in der Pubertät bekommen sie
höhere Testosteron-Werte als Frauen.
Und deswegen werden tendenziell Männer auch meistens größer als
Frauen, weil mehr Testosteron.
Und genauso wachsen dadurch die Stimmbänder halt länger und der
Kehlkopf drückt hier raus.
Das ist der Grund, warum wir längere Stimmbänder haben.
Wie heißt dieser Kehlkopf?
Wie nennt man das im Volksmund, wie es so schön heißt?
Was ist das?
Das ist der Adamsapfel.
Und das ist die zweite Erklärung, warum Männer längere Stimmbänder
haben.
Das ist die biblische Erklärung.
Warum heißt der Adamsapfel Adamsapfel?
Das ist der Bissen vom Apfel, dem Adam im Hals stecken geblieben ist,
als er von der Frucht, vom Baum der Erkenntnis geprobiert hat.
Das ist sozusagen die Bibel.
Deswegen heißt der Adamsapfel Adamsapfel.
Da kommt das ursprünglich her.
Aber heutzutage wissen wir halt, das hat was mit Testosteron und nicht
mit Obstvorlieben zu tun.
Und das sorgt dafür.
Aber da ist jetzt eine wichtige Erkenntnis.
Und das haben viele falsch.
Viele denken hier Flöte, Oboe, Orgelpfeife.
Männer haben tiefere Stimmen, weil sie einen längeren Vokaltrakt haben
und Frauen einen kürzeren.
Nein.
Die Länge des Vokaltraktes, also wie weit es von hier bis da ist, hat
auf die Höhe des Grundtons, dieser Grundschwingung, keinen Einfluss,
sondern nur die Länge der Stimmbänder.
Das ist das, worauf es ankommt, weshalb manche Stimmlagen höher sind
und manche Stimmlagen tiefer.
Und dann macht es natürlich noch anatomischen Unterschieden.
Manche können da in einem größeren Bereich anspannen und loslassen und
die besser regulieren.
Dann hat man einen höheren Stimmumfang.
Dann kann man eher von ganz tief bis ganz nach oben variieren.
Andere können das nicht so gut.
Die einen werden halt Opernsängere und die anderen müssen halt nur
eine Dusche singen.
Das ist halt so.
Im Gegensatz zu der stimmhaften Sprache gibt es auch die stimmlose
Sprache.
Bei menschlicher Sprache schwingen die Stimmlippen nicht immer.
Für eine bestimmte Sprache schwingen sie.
Für andere Sprachen sind sie komplett lose und die Luft strömt einfach
durch.
Kann man relativ leicht feststellen.
Hand dranlegen, dann merken wir nämlich, ob was schwingt.
Wenn wir jetzt sagen, wieder unser M, merkt man, vibriert.
Ist offensichtlich stimmhafte Sprache.
Ist ein anderer Laut, das B.
Das kann man nicht so schön lang ziehen.
Das ist von der Art her, da muss so raus.
Dann merkt man das ganz kurz, dass es stimmt.
Und jetzt machen wir aus dem B ein P. Und dann merken wir, da schwingt
nichts mehr.
Und das ist der einzige Unterschied in der Art und Weise, wie wir ein
B oder ein P produzieren, dass wir beim B die Stimmbänder mitschwingen
lassen und beim P lassen wir sie nicht schwingen.
Und das ist der Unterschied zwischen einem B und einem P. Das heißt
also, neben der stimmhaften Sprache gibt es auch die stimmlose
Sprache, weil der Luft aus den Lungen gepresst wird und die
Stimmlippen schwingen nicht.
Nur damit man irgendwas hört, weil wenn ich jetzt den Mund aufmache
und keine stimmhafte Sprache mache, höre ich nichts.
Damit ich da also irgendwas höre, muss an irgendeiner anderen Stelle,
wie zum Beispiel beim P, vorne der Mund, irgendwas geschlossen sein,
damit irgendwas auf diesem an sich selbst nicht tönenden Strom
irgendwas Vernünftiges drauf modelliert werden kann, das ich dann
hinterher auch höre und als Sprache wahrnehme.
Ein großes K-Wert.
Wir hatten jetzt die Lunge als Blasebalg, der Luft rausdrückt.
95, 99 Prozent menschlicher Sprache funktioniert so.
Die Lunge presst Luft raus und die Stimmlippen schwingen oder die
Stimmlippen schwingen nicht.
Aber wir Menschen sind halt sehr vielfältig und es gibt nichts, was es
nicht gibt.
Man kann also diesen Luftstrom, der ausgesandt wird für die
Schallwelle, auch anderweitig herstellen, nicht durch die Luft.
Wir machen das halt als Kinder oder so halt zum Spaß, aber nicht als
Sprache, wenn wir irgendwie schnalzen.
Da hat die Lunge nichts mit zu tun, wir hören aber was.
Was passiert?
Die Lunge, die Zunge formt halt irgendwo so einen Hohlraum und je
nachdem, wie man es gelernt hat, wird der Hohlraum entweder größer
gemacht und dann platzt er und dann wird Luft eingesaugt in dieses
Vakuum, das ich da kreiert habe, in diese Vakuumblase.
Oder man kann das auch anders machen, dass man einen Luftraum kreiert,
so mit der Zunge gegen den Gaumen und wie so ein Ballon lasse ich den
platzen, mache ich den zu und dann wird Luft rausgestoßen.
Wir verwenden das im Deutschen zum Beispiel nicht für Sprache.
Es gibt aber andere Sprachen, die verwenden das.
Für die sind das Laute, die bei der Sprache verwendet werden.
Es gibt einige afrikanische Sprachen.
Was sprechen Sie?
Ah, Mist.
Sie kommen aus Frankreich.
Kamerun, ja gut, das ist halt französisch.
Was gibt es in Kamerun alles?
Okay, also... Kongo hat ja sehr viel.
Also wenn man so ein bisschen zu den westafrikanischen, subsaharischen
westafrikanischen Sprachen geht, da gibt es einige Sprachen, die das
verwenden.
Und Sulu ist zum Beispiel so eine Sprache, die viel mit Klicklauten
arbeitet, wo also, ich könnte nicht Sulu sprechen, ich kann das nicht
produzieren.
Oder halt Corsa.
Gibt's auch.
Aber wie gesagt, es gibt also Sulu, Corsa, ich kann das nicht
aussprechen.
Die machen das und das ist etwas, das kann man auf die Spitze treiben,
weil was die können, die können hören, ob ich einen Klick mache, wo
ich die Luft ausstoße oder ob das ein Klick ist, wo ich die Luft
einsaue.
Können die zum Beispiel unterscheiden.
Das eine ist ein Adjektiv und das andere, ich glaube, ein Injektiv
oder so ähnlich heißt das sogar.
Kann ich nicht hören, habe ich als Kind nicht gelernt.
Wir lernen das sehr jung, in sehr jungen Jahren, also wirklich in den
frühen Lebensmonaten, lernen wir dieses Inventar an solchen Lauten,
die wir wahrnehmen und unterscheiden.
Und so ein Baby am Anfang kann ganz viel wahrnehmen und während es die
Sprache lernt, verliert es relativ viel.
Lernt es irgendwie implizit, das ist nicht wichtig, der Unterschied,
also brauche ich das nicht wahrzunehmen und ich höre das nicht mehr.
Und wenn man jetzt später so eine Fremdsprache sprechen will, eines,
was immer schwierig ist, ist die Aussprache richtig hinzubekommen und
das liegt einfach daran, dass wir nicht mehr unterbewusst die Phoneme
lernen, diese Laute, sondern wir müssen das bewusst machen und es ist
anstrengend und es ist schwierig hinzubekommen.
Gut, für heute wissen Sie stimmhafte Sprache, stimmlose Sprache und
dann geht es weiter.
Dann kann man anfangen, noch genauer die Sprache zu unterteilen, was
es sonst noch gibt, aber das schauen wir uns dann in Ruhe nächste
Woche an.
Dann Ihnen noch einen schönen Tag.