top of page

HI-LING

LINGUISTIK AN MITTELSCHULEN

UNIT 2: VIOLATION OF MAXIMS

Lektion 3: Grosse Sprachmodelle (LLM)

Definition:
Computersysteme, die auf großen Mengen von Textdaten trainiert wurden und in der Lage sind, durch Erkennung und Vorhersage von Sprachmustern kohärente und kontextuell relevante Sätze zu erzeugen.

Schlüssel-konzepte

  • KI (Künstliche Intelligenz)

  • Textuelle Daten

  • Deep Learning

  • Sprachvorhersage

  • Transformer-Architektur

UNIT 1:  SPRACHVORHERSAGE

Im heutigen, schnell voranschreitenden digitalen Zeitalter haben sich zahlreiche Bereiche und Disziplinen grundlegend verändert. Die Linguistik, die Lehre von der Sprache, ist ein hervorragendes Beispiel für diese Entwicklung. Mit dem Aufkommen der natürlichen Sprachverarbeitung (Natural Language Processing, NLP) wurden wir Zeuge des Aufstiegs der grossen Sprachmodelle (Large Language Models, LLM), die heute als eine der bahnbrechendsten Innovationen in diesem Bereich gelten.


Doch was genau zeichnet diese LLMs aus? Warum sind sie für viele zum Mittelpunkt des Interesses geworden?


Die bemerkenswerte Fähigkeit von LLMs liegt in ihrer Fähigkeit, riesige Textmengen in einer aussergewöhnlichen Geschwindigkeit zu verarbeiten. Im Gegensatz zu Menschen, die in der Regel eine Handvoll Wörter nacheinander verarbeiten, können LLMs Millionen von Wörtern in einem Wimpernschlag durcharbeiten, was durch die fortschrittlichen Algorithmen, auf denen sie basieren, wie BERT, möglich ist.


Die Geschwindigkeit ist jedoch nur ein Aspekt ihrer Brillanz. Das eigentliche Wunder der LLMs ist der Umfang und die Tiefe, in der sie arbeiten. Diese Modelle, wie z. B. GPT-3, dringen tief in die komplizierten Datenschichten ein und entschlüsseln Nuancen und Beziehungen, die sich dem menschlichen Verstand entziehen könnten. Während ein Mensch ein Muster oder einen Zusammenhang erst nach stundenlangem Nachdenken erkennt, können LLMs ihn fast augenblicklich ausmachen. Sie verfügen über einen riesigen Fundus an Regeln und Mustern, die es ihnen ermöglichen, fundierte Vorhersagen darüber zu treffen, welche Wörter am ehesten auf einen bestimmten Satz folgen oder wie ein Satz zu vervollständigen ist, wenn ein Wort fehlt. Diese Fähigkeit zur Vorhersage ist vergleichbar mit der intuitiven Art und Weise, in der wir Menschen das Ende einer beliebten Redewendung oder eines Sprichworts vorhersehen können.


Es geht nicht nur um schiere Rechenleistung, sondern um die intelligente Anwendung dieser Leistung. Auf der Grundlage des riesigen Datenkorpus, auf dem sie trainiert wurden, verarbeiten LLMs nicht einfach nur Daten - sie verstehen und interpretieren sie. Sie sind so konzipiert, dass sie die menschliche Kognition imitieren, wenn auch in einem viel größeren Maßstab. Durch die Prüfung zahlloser Beispiele und Referenzen verfeinern sie ihre Fähigkeit zu raten, vorherzusagen und zu generieren. Im Wesentlichen stellen LLMs eine harmonische Mischung aus Geschwindigkeit, Umfang und Tiefe dar, die das Gebiet der Linguistik in eine Ära nie dagewesener Möglichkeiten katapultiert. 

Aktivität 1: Diskussion

Sprachvorhersage

Lasse uns untersuchen, wie die sprachliche Vorhersage mit LLMs funktioniert.
 

Wenn du kommunizierst oder schreibst, sagst du oft das nächste Wort oder das Ende eines Satzes voraus, wenn auch unbewusst.
Grosse Sprachmodelle haben diese Fähigkeit ebenfalls, allerdings in einem viel größeren Maßstab.

 

"Sie öffnete die..."

"Das Auto stand auf dem..."

"Als die Sonne begann,..."

"Sie traute ihren Augen nicht, als sie sah..."

 

Denken Sie über diese unvollständigen Sätze nach.

Welches Wort würden Sie als nächstes vorhersagen?

 

Vergleichen wir nun Ihre Vorhersagen mit denen eines großen Sprachmodells.
 

Diskutieren Sie mit Ihrem Nachbarn: War Ihre Vorhersage ähnlich oder anders? Warum ist das Ihrer Meinung nach so?

 

Denken Sie daran: Es gibt keine endgültige richtige Antwort. Es geht darum, die Muster und die Logik hinter den Vorhersagen zu verstehen.

Mögliche Antwort: Ähnlichkeiten: Für den ersten Satz lauteten sowohl meine Vorhersage als auch die des LLM "Tür". Dies zeigt, dass bestimmte Phrasen gemeinsame Vervollständigungen haben, die sowohl Menschen als auch LLMs erkennen könnten. Die Unterschiede: Für den dritten Satz sagte ich "unterzugehen" voraus und dachte dabei an einen Sonnenuntergang, während der LLM "aufzugehen" voraussagte, was auf einen Sonnenaufgang hindeutet. Dies zeigt die Vielfalt der gültigen Vervollständigungen für eine gegebene Aufforderung. Begründungen: Die Unterschiede entstehen, weil Sprache flexibel und kontextabhänging ist. Während "aufzugehen" und "unterzugehen" beides gültige Vervollständigungen sind, können unsere individuellen Erfahrungen, Erinnerungen und Bias unsere Vorhersagen beeinflussen. LLMs hingegen treffen Vorhersagen auf der Grundlage von Mustern aus grossen Mengen von Textdaten.

UNIT 2: SPRACHLICHE UNTERSTÜTZUNG

Grosse Sprachmodelle stellen einen bemerkenswerten Meilenstein in der Konvergenz von Computerlinguistik und künstlicher Intelligenz dar. Diese Modelle, die aus jahrzehntelanger Forschung im Bereich der Verarbeitung natürlicher Sprache (NLP) und des Deep Learnings hervorgegangen sind, haben nicht nur eine neue Methode eingeführt, sondern auch unsere Erwartungen an die Art und Weise, wie Maschinen die menschliche Sprache erfassen, verarbeiten und produzieren, erheblich verändert.


Im Gegensatz zu früheren Computermodellen, die auf der Grundlage eines festen Satzes von Regeln arbeiteten, tauchen LLMs in die reichen Nuancen der Sprache ein. Ihre Fähigkeit, idiomatische Ausdrücke zu erkennen, sich mit verschiedenen kulturellen Anspielungen auseinanderzusetzen und sogar auf regionale Dialekte und Umgangssprache zu reagieren, verdanken sie den von ihnen verwendeten Transformer-Architekturen, die ein tieferes Verständnis und mehr Flexibilität bei der Sprachverarbeitung ermöglichen.


Schriftsteller, unabhängig von ihrer Erfahrung, erkennen schnell das Potenzial von LLMs. Über die offensichtlichen Grammatikprüfungen hinaus bieten diese Modelle, wie sie in Plattformen wie Grammarly oder Write with Transformer zu sehen sind, Einblicke in bessere Formulierungen, stilistische Verbesserungen und sogar den Rhythmus des Inhalts. Auf diese Weise tragen sie dazu bei, die Qualität und Wirkung des geschriebenen Wortes zu verbessern.


Bildungseinrichtungen und Akademiker integrieren LLMs zunehmend in ihre Methodik. Ihre Anwendung, sei es zur Entmystifizierung komplizierter Themen, zur Ausarbeitung anschaulicher Beispiele, zur Unterstützung bei mehrsprachigen Übersetzungen oder zum Spracherwerb, verändert die pädagogischen Praktiken und macht das Lernen anpassungsfähiger und interaktiver.


Doch die sprachlichen Fähigkeiten der LLMs machen sie nicht fehlerfrei. Ihre Antworten spiegeln die Daten wider, für die sie ausgebildet wurden, was zu Bias führen kann. Auch wenn sie nie dagewesene Fähigkeiten mitbringen, darf man nicht vergessen, dass das menschliche Urteilsvermögen in Verbindung mit den Erkenntnissen der LLMs eine effektive und ethische Kommunikation gewährleistet.

  1. Sofortige Aufsatzhilfe:
    Beginne mit dem Verfassen einer kurzen These oder einer einleitenden Zeile für ein Aufsatzthema Ihrer Wahl. Nutze einen LLM-Chatbot, um die nächsten ein oder zwei Sätze vorzuschlagen, die deinem ersten Gedanken Tiefe verleihen.

  2. Schnelle Klärung von Forschungsfragen:
    Denken Sie an ein Konzept oder einen Begriff, auf den Sie kürzlich gestossen sind und den Sie als schwierig empfinden. Bitte den LLM-Chatbot um eine knappe Erklärung oder Definition.

  3. Sprachliche Unterstützung:
    Versuche, einen Satz in einer Sprache zu formulieren, die du gerade lernst. Bitte den Chatbot um Korrekturen oder eine muttersprachlichere Formulierung.

    Feedback: Notieren Sie nach Ihrer kurzen Erkundung eine überraschende Einsicht oder einen Vorteil, den Sie bei der Interaktion mit dem LLM festgestellt haben. Tauschen Sie sich kurz mit einem Gleichaltrigen aus.

    Hinweis: Diese kurze Aktivität soll einen Einblick in die Welt der LLMs geben und ihren unmittelbaren Nutzen in verschiedenen akademischen Szenarien hervorheben.
     

Aktivität 2: In der Praxis

Wie können LLMs uns helfen?

Mögliche Lösung: 1. Aufsatzhilfe: a) Schüler: "Der Einfluss der sozialen Medien auf die moderne Gesellschaft ist unbestreitbar." b) LLM-Vorschlag: "Plattformen wie Instagram, Twitter, und Facebook haben nicht nur die Art und Weise verändert, wie wir kommunizeren, sondern beeinflussen auch unsere Wahrnehmung con Realität und Selbstwert." 2. Klärung von Forschungsfragen: a) Herausfordernder Begriff: "Quantenmechanik" b) LLMs prägnante Erklärung: "DIe Quantenmechanik ist eine fundamentale Theorie der Physik, die das Verhalten von Materie und Energie auf der mikroskopischen Skala von Atomen und subatomaren Teilchen beschreibt." 3. Sprachhilfe a) Versuchter Satz (auf Spanisch): "Yo gusta el libro azul" b) LLM-Korrektur/Vorschlag: "Me gusta el libro azul" Feedback/Einsicht des Schülers: "Ich war erstaunt, wie schnell der LLM meine Essay-Idee erweitern konnte. Es fühlte sich an, als hätte ich einen sachkundigen Freund, der mir sofort helfen kann. Es kann ein grossartiges Werkzeug für Brainstorming-Sitzungen sein.

Abschliessende Gedanken für diese Lektion

Wie wir gesehen haben, ermöglichen die riesigen Datensätze, die hinter den großen Sprachmodellen stehen, die Vorhersage und Generierung von Text auf unzählige Arten, die oft unsere eigenen individuellen Erfahrungen und Kenntnisse übertreffen. Durch die Zusammenführung unzähliger Textdaten entsteht eine einzigartige Form digitaler Weisheit, die jedoch auch durch die Daten, auf die sie gestoßen ist, geformt und begrenzt wird. 
 

Wie wird sich deiner Meinung nach die Entwicklung von Large Language Models (LLMs) im nächsten Jahrzehnt auf unser tägliches Leben auswirken?

 

TEXTE

 

Manning, C. D., & Schütze, H. (1999). Foundations of Statistical natural language processing. 

https://doi.org/10.1017/S1351324902212851

Devlin, J., Chang, M., Lee, K., & Toutanova, K. (2018). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. arXiv (Cornell University). https://arxiv.org/pdf/1810.04805v2

Brown, T. B., Mann, B., Ryder, N., Subbiah, M., Kaplan, J., Dhariwal, P., ... Amodei, D. (2020). Language Models are Few-Shot Learners. arXiv (Cornell University). https://arxiv.org/pdf/2005.14165.pdf

Jurafsky, D., & H. Martin, J. (2023, January 7). Speech and language processing (3rd ed. draft). Stanford University. https://web.stanford.edu/~jurafsky/slp3/

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., & Polosukhin, I. (2017). Attention is All you Need. arXiv (Cornell University), 30, 5998–6008. https://arxiv.org/pdf/1706.03762v5

ILLUSTRATIONEN

AI-generated Image by Midjourney (2023). 

https://miro.medium.com/v2/resize:fit:1400/format:webp/1*VcpD16GmGF86EIAk7fDprg.png

MS TECH / TWENTY20 (2023). Puzzle - The Man's Hand Completes. https://angusdei.ar/wp-content/uploads/2023/05/puzzle-the-mans-hand-completest20gjo1nw-web-2-1536x1017.webp

Verwendete Quellen

bottom of page