Llama (Sprachmodell)
Llama (früher LLaMA) (Large Language Model Meta AI) ist ein Large Language Model (LLM) von Meta AI, das zum US-amerikanischen Technologieunternehmen Meta Platforms (bis Oktober 2021 Facebook, Inc.) gehört. LLaMA wurde am 24. Februar 2023 veröffentlicht[1] und soll als Grundlage für einen eigenen Chatbot dienen. Für das Training verwendete Meta ausschließlich öffentlich verfügbare Datensätze wie etwa Inhalte des Project Gutenberg. Dadurch soll es "kompatibel mit Open Source und reproduzierbar" sein. Über 92 Prozent des LLaMA-Codes besteht aus der Programmiersprache Python.[2]
Facebook Research stellte LLaMA der weltweiten KI-Forschungs-Community nach einer kurzen Prüfung der jeweiligen E-Mail-Adresse zur Verfügung. Kurze Zeit später wurde das Modell geleakt und wurde als BitTorrent bereitgetellt. Das Modell gibt es anfangs in vier unterschiedlichen Größen: mit 7 Milliarden, 13 Milliarden, 30 Milliarden oder 65 Milliarden Parametern.[3] Das Institute for Human-Centered Artificial Intelligence der Stanford University veröffentlicht mit Alpaca 7B ein Open Source Sprachmodell basierend auf das LLaMA-Modell mit 7 Milliarden Parametern.[4] Der darauf basierende Chatbot Alpaca AI wurde nach kurzer Zeit wegen Verbreitung von Fehlinformationen abgeschaltet.[5] Am 18. Juli 2023[6] stellte Meta Platforms LLaMA 2 vor. Laut Meta wurden für LLaMA 2 im Vergleich zum ersten LLaMA 40 Prozent mehr Daten für das Training eingesetzt und dabei doppelt so viel Kontext einbezogen.[7][8] Gut einen Monat später veröffentlichte Meta mit Code Llama ein Programm, welches mithilfe des LLMs LLaMA Programmcode generieren und korrigieren kann.[9][10]
Am 7. Dezember 2023 startete Meta AI das Dachprojekt Purple Llama. Der Namensteil Purple ist an das Purple-Teaming-Konzept für Cybersecurity angelehnt. Dabei arbeiten ein Red Team als Angreifer und ein Blue Team als Verteidiger zusammen, um die Security zu stärken.[11][12]
Am 18. April 2024 ersetzte Meta Platforms das LLM in seinem Chatbot Meta AI durch Meta Llama 3 in englischer Sprache in 14 Staaten. Die grösste Variante von Meta Llama 3 wurde mit Daten bis Dezember 2023 erstellt und basiert auf 70 Milliarden Parametern. Die kleinere Variante mit acht Milliarden Parametern kennt Daten bis März 2023.[13] In lama 3.1 vom 23. Juli 2024 gibt es Sprachmodelle mit 8, 70 und 405 Milliarden Parametern. lama 3.1 beherrscht auch deutsch und einige weitere Sprachen. Die Kontextlänge beschränkt sich auf 128.000 Token.[14][15]
Weblinks
Quellen
- ↑ Introducing LLaMA: A foundational, 65-billion-parameter language model, February 24, 2023
- ↑ Nach ChatGPT: Facebook-Konzern Meta will mit LLaMA bei Chatbots mitmischen | heise online, 25.02.2023
- ↑ Großes KI-Sprachmodell am eigenen Rechner: Ein LLaMA für die Westentasche? | heise online, 24.03.2023
- ↑ "Alpaca 7B": Stanford-Forschende trainierten ChatGPT-Konkurrenten um 600 Dollar - Innovationen - derStandard.de › Web, 21. März 2023
- ↑ t3n | Alpaca AI verbreitet Fake News und wird offline genommen, 22.03.2023
- ↑ Meta and Microsoft Introduce the Next Generation of Llama, July 18, 2023
- ↑ Meta und Microsoft präsentieren neues Sprachmodell LLaMA 2 | heise online, 19.07.2023
- ↑ Llama 2 - Resource Overview - Meta AI (abgerufen am 19. Juli 2023)
- ↑ Meta veröffentlicht Code Llama, das auf Zuruf Programmcode schreibt | heise online, 24.08.2023
- ↑ Introducing Code Llama, a state-of-the-art large language model for coding, August 24, 2023
- ↑ Vertrauenswürdigere und sicherere KI: Meta startet Purple Llama | heise online, 09.12.2023
- ↑ AI at Meta | Announcing Purple Llama: Towards open trust and safety in the new world of generative AI, December 7, 2023
- ↑ Meta AI läuft jetzt mit Llama 3 | heise online, 18.04.2024
- ↑ Meta veröffentlicht Llama 3.1 405B – ein "Knaller" wie Zuckerberg sagt | heise online, 24.07.2024
- ↑ AI at Meta | Introducing Llama 3.1: Our most capable models to date, July 23, 2024