2025/06/06 Vielen Dank für euer Interesse und Feedback! Wir haben das Tutorial in zwei Richtungen erweitert:
- Neues gemeinnütziges Tutorial „Kompletter Entwicklungsprozess für LLMs“ (inkl. PPT, Lab-Handbuch und Videos), mit Unterstützung der Huawei-Ascend-Community.
- Inhaltliches Update der ursprünglichen Praxisreihe plus neue Themen (mathematisches Schlussfolgern, GUI-Agenten, Alignment, Steganografie usw.).
Die Tutorialreihe „Hands-on mit großen Sprachmodellen“ basiert auf erweiterten Kursunterlagen der Shanghai Jiao Tong University aus den Lehrveranstaltungen „Fortgeschrittene NLP-Techniken“ (NIS8021) und „AI Security Technology“ (NIS3353), betreut von Zhuosheng Zhang. Ziel ist ein praxisnaher, kostenloser Einstieg in LLM-Entwicklung für Kursprojekte und Forschung.
| Thema | Kurzbeschreibung | Link |
|---|---|---|
| Fine-Tuning & Deployment | Wie man vortrainierte Modelle für Zielaufgaben feinjustiert und als Demo bereitstellt. | [Folien] [Tutorial] [Notebook] |
| Prompting & Chain of Thought | API-Aufruf und Inferenzleitfaden für LLMs mit Prompt-Techniken. | [Folien] [Tutorial] [Notebook] |
| Knowledge Editing | Methoden zur gezielten Wissensänderung in Sprachmodellen. | [Folien] [Tutorial] [Notebook] |
| Mathematisches Schlussfolgern | Destillation eines Mini-R1 für Mathematikaufgaben. | [Folien] [Tutorial] [Notebook] |
| Modell-Wasserzeichen | Unsichtbare Wasserzeichen in generierten Texten. | [Folien] [Tutorial] [Notebook] |
| Jailbreak-Angriffe | Sicherheitsanalysen durch Angriffsverfahren auf LLMs. | [Folien] [Tutorial] [Notebook] |
| LLM-Steganografie | Versteckte Informationen in flüssig erzeugten Texten. | [Folien] [Tutorial] [Notebook] |
| Multimodale LLMs | Architektur, Training und Anwendung multimodaler LLMs. | [Folien] [Tutorial] [Notebook] |
| GUI-Agenten | Agenten für Desktop-/App-Interaktionen. | [Folien] [Tutorial] [Notebook] |
| Agentensicherheit | Risikobewertung von LLM-Agenten in offenen Umgebungen. | [Folien] [Tutorial] [Notebook] |
| RLHF-Alignment | RLHF-Praxis (PPO) für sicherheitsbezogenes Alignment. | [Folien] [Tutorial] [Notebook] |
Aufbauend auf dieser Reihe wurde gemeinsam mit Huawei Ascend eine weitere gemeinnützige Kursreihe veröffentlicht. Sie deckt den Entwicklungsprozess von Einsteiger- bis Fortgeschrittenen-Niveau ab und kombiniert Theorie mit Code-Praxis.
👉 LLM-Entwicklungs-Lernbereich in der Ascend-Community
Alle Inhalte basieren auf persönlichen Erfahrungen der Beitragenden, öffentlich verfügbaren Internetressourcen und täglicher Forschungsarbeit. Die Inhalte dienen als Referenz und erheben keinen Anspruch auf absolute Korrektheit. Bei Fragen bitte gerne Issue oder PR erstellen.
Das Projekt ist in aktiver Entwicklung. PRs und Issues sind ausdrücklich willkommen.
Vielen Dank an alle Lehrenden und Studierenden für die Unterstützung dieses Projekts.
Entwicklungsteam der Reihe „Hands-on mit großen Sprachmodellen“
- Shanghai Jiao Tong University: 张倬胜、袁童鑫、马欣贝、 何志威、杜巍、赵皓东、吴宗儒、吴铮、董凌众、张玉龙
- National University of Singapore: 费豪
Entwicklungsteam der Reihe „Kompletter Entwicklungsprozess für LLMs“
- Shanghai Jiao Tong University: 张倬胜、刘功申、陈星宇、程彭洲、董凌众、 何志威、鞠天杰、马欣贝、 吴铮、吴宗儒、闫子赫、姚杳、袁童鑫、赵皓东
- Huawei Ascend Community: ZOMI、谢乾、程黎明、楼梨华、焦泽昱
Für PDF- und Bildinhalte (Mandarin-Originale) gibt es eine zentrale deutsche Begleitübersetzung: