Möchten Sie mit Ihrem Team teilnehmen? Profitieren Sie von unseren Gruppenrabatten! Schreiben Sie an events@dpunkt.de

BERT, Sprachmodelle und Transfer Learning


Online-Workshop am 16. November 2021, 9-16 Uhr

Aus dem schwer handhabbaren Forschungsprojekt BERT hat sich in der Zwischenzeit eine leicht nutzbare Infrastruktur für zahlreiche NLP-Aufgaben entwickelt.
Im Workshop betrachten wir kurz die Vorgeschichte, die zur Entwicklung der Sprachmodelle geführt hat. Wir werden uns ein bisschen mit der Architektur der Transfer-Learning-Modelle auseinandersetzen und uns anschließend den Anwendungsmöglichkeiten widmen.

In vielen NLP-Projekten steht am Anfang die linguistische Analyse, die sehr häufig mit spaCy durchgeführt wird. Auch spaCy nutzt dabei BERT und kann mit relativ einfachen Mitteln auf eigene Bedürfnisse angepasst werden.

Mit Sprachmodellen kann man aber noch viel mehr erreichen. Wir betrachten dazu zunächst reine Sprachmodelle und berechnen kontextualisierte Embeddings. Im nächsten Schritt führen wir ein sog. Finetuning durch und passen ein Modell auf eine spezifische Aufgabe an. Damit lassen sich komplexe Klassifikationsaufgaben elegant lösen.

Ein Finetuning ist aber gar nicht unbedingt immer nötig, weil es schon sehr viele existierende Modelle gibt. Einige davon werden wir ausprobieren und zum Abschluss noch spezielle Modelle betrachten, die sich z.B. für die automatische Übersetzung oder Textgenerierung eignen.

Im Workshop arbeiten wir mit Jupyter-Notebooks. Nachdem Transfer Learning hohe Anforderungen an die Rechenkapazität stellt, werden wir mit Google Colab arbeiten. Teilnehmer, die über leistungsfähige Grafik-Hardware verfügen, können natürlich auch alle Notebooks lokal ausführen.

Vorkenntnisse

Grundkenntnisse in Python sind hilfreich. Die Jupyter Notebooks sind einfach gehalten und werden im Rahmen des Workshops eingeführt. NLP-Grundkenntnisse sind von Vorteil, aber nicht unbedingt erforderlich, auch grundsätzliche Dinge werden erklärt.

Lernziele

Verständnis von BERT und Sprachmodellen, Finetuning und Anpassung auf eigene Anforderungen, Nutzung der Huggingface-Infrastruktur

Agenda

  • Teil 1: Einführung in Transfer Learning und erste Experimente mit Embeddings inkl. Vergleich zu "klassischen" Word Embeddings
  • Pause
  • Teil 2: Finetuning von Modellen zur Klassifikation inkl. Vergleich zu SVM
  • Mittagspause
  • Teil 3: Nutzung vorhandener Modelle, Vergleich BERT, RoBERTa, AlBERT etc.
  • Pause
  • Teil 4: Semantic Retrieval, Question Answering und Textgenerierung

 

Technische Anforderungen

Die Teilnehmenden benötigen einen Internet-Zugang. Alle Jupyter-Notebooks lassen sich auf Google Colab ausführen. Ein Google Account ist notwendig, um auf Colab zugreifen zu können.

Speaker

 

Christian Winkler
Christian Winkler ist Gründer der datanizing GmbH. Er promovierte in Theoretischer Physik und arbeitet seit 20 Jahren in der Softwareentwicklung im Bereich Big Data/KI, insbesondere mit Fokus auf intelligente Algorithmen zur Massendatenverarbeitung im Bereich des Maschinellen Lernens. Als Data Scientist und Solution Architect begleitet er Projekte in den Bereichen Text Mining und Netzwerkanalyse.

betterCode-Newsletter

Sie möchten über die betterCode() auf dem Laufenden gehalten werden?

 

Anmelden