Llama (Sprachmodell): Unterschied zwischen den Versionen
(+) |
(+) |
||
| (Eine dazwischenliegende Version desselben Benutzers wird nicht angezeigt) | |||
| Zeile 1: | Zeile 1: | ||
'''LLaMA''' ('''Large Language Model Meta AI''') ist ein Large Language Model (LLM) von Meta AI, das zum [[Vereinigte Staaten|US-amerikanischen]] Technologieunternehmen Meta Platforms (bis Oktober 2021 Facebook, Inc.) gehört. LLaMA wurde am 24. Februar 2023 veröffentlicht<ref>[https://ai.facebook.com/blog/large-language-model-llama-meta-ai/ Introducing LLaMA: A foundational, 65-billion-parameter language model, February 24, 2023]</ref> und soll als Grundlage für einen eigenen Chatbot dienen. Für das Training verwendete Meta ausschließlich öffentlich verfügbare Datensätze wie etwa Inhalte des Project Gutenberg. Dadurch soll es "kompatibel mit Open Source und reproduzierbar" sein. Über 92 Prozent des LLaMA-Codes besteht aus der Programmiersprache Python.<ref>[https://www.heise.de/news/Nach-ChatGPT-Facebook-Konzern-Meta-will-mit-LLaMA-bei-Chatbots-mitmischen-7527502.html Nach ChatGPT: Facebook-Konzern Meta will mit LLaMA bei Chatbots mitmischen | heise online, 25.02.2023]</ref> | '''LLaMA''' ('''Large Language Model Meta AI''') ist ein Large Language Model (LLM) von Meta AI, das zum [[Vereinigte Staaten|US-amerikanischen]] Technologieunternehmen Meta Platforms (bis Oktober 2021 Facebook, Inc.) gehört. LLaMA wurde am 24. Februar 2023 veröffentlicht<ref>[https://ai.facebook.com/blog/large-language-model-llama-meta-ai/ Introducing LLaMA: A foundational, 65-billion-parameter language model, February 24, 2023]</ref> und soll als Grundlage für einen eigenen Chatbot dienen. Für das Training verwendete Meta ausschließlich öffentlich verfügbare Datensätze wie etwa Inhalte des Project Gutenberg. Dadurch soll es "kompatibel mit Open Source und reproduzierbar" sein. Über 92 Prozent des LLaMA-Codes besteht aus der Programmiersprache Python.<ref>[https://www.heise.de/news/Nach-ChatGPT-Facebook-Konzern-Meta-will-mit-LLaMA-bei-Chatbots-mitmischen-7527502.html Nach ChatGPT: Facebook-Konzern Meta will mit LLaMA bei Chatbots mitmischen | heise online, 25.02.2023]</ref> | ||
Facebook Research stellte LLaMA der weltweiten KI-Forschungs-Community nach einer kurzen Prüfung der jeweiligen E-Mail-Adresse zur Verfügung. Kurze Zeit später wurde das Modell geleakt und wurde als BitTorrent bereitgetellt. Das Modell gibt es anfangs in vier unterschiedlichen Größen: mit 7 Milliarden, 13 Milliarden, 30 Milliarden oder 65 Milliarden Parametern.<ref>[https://www.heise.de/hintergrund/Grosses-KI-Sprachmodell-am-eigenen-Rechner-Ein-LLaMA-fuer-die-Westentasche-7624131.html Großes KI-Sprachmodell am eigenen Rechner: Ein LLaMA für die Westentasche? | heise online, 24.03.2023]</ref> Das Institute for Human-Centered Artificial Intelligence der Stanford University veröffentlicht mit ''Alpaca 7B'' ein Open Source Sprachmodell basierend auf das LLaMA-Modell mit 7 Milliarden Parametern.<ref>[https://www.derstandard.de/story/2000144721795/alpaca-7b-stanford-forschende-trainierten-chatgpt-konkurrenten-um-600-dollar "Alpaca 7B": Stanford-Forschende trainierten ChatGPT-Konkurrenten um 600 Dollar - Innovationen - derStandard.de › Web, 21. März 2023]</ref> Der darauf basierende Chatbot Alpaca AI wurde nach kurzer Zeit wegen Verbreitung von Fehlinformationen abgeschaltet.<ref>[https://t3n.de/news/alpaca-ai-verbreitet-fakenews-offline-aus-ende-schluss-1543040/ t3n | Alpaca AI verbreitet Fake News und wird offline genommen, 22.03.2023]</ref> Am 18. Juli 2023<ref>[https://ai.meta.com/blog/llama-2/ Meta and Microsoft Introduce the Next Generation of Llama, July 18, 2023]</ref> stellte Meta Platforms LLaMA 2 vor. Laut Meta wurden für LLaMA 2 im Vergleich zum ersten LLaMA 40 Prozent mehr Daten für das Training eingesetzt und dabei doppelt so viel Kontext einbezogen.<ref>[https://www.heise.de/news/Meta-und-Microsoft-praesentieren-neues-Sprachmodell-LLaMA-2-9220357.html Meta und Microsoft präsentieren neues Sprachmodell LLaMA 2 | heise online, 19.07.2023]</ref><ref>[https://ai.meta.com/resources/models-and-libraries/llama/ Llama 2 - Resource Overview - Meta AI] (abgerufen am 19. Juli 2023)</ref> | Facebook Research stellte LLaMA der weltweiten KI-Forschungs-Community nach einer kurzen Prüfung der jeweiligen E-Mail-Adresse zur Verfügung. Kurze Zeit später wurde das Modell geleakt und wurde als BitTorrent bereitgetellt. Das Modell gibt es anfangs in vier unterschiedlichen Größen: mit 7 Milliarden, 13 Milliarden, 30 Milliarden oder 65 Milliarden Parametern.<ref>[https://www.heise.de/hintergrund/Grosses-KI-Sprachmodell-am-eigenen-Rechner-Ein-LLaMA-fuer-die-Westentasche-7624131.html Großes KI-Sprachmodell am eigenen Rechner: Ein LLaMA für die Westentasche? | heise online, 24.03.2023]</ref> Das Institute for Human-Centered Artificial Intelligence der Stanford University veröffentlicht mit ''Alpaca 7B'' ein Open Source Sprachmodell basierend auf das LLaMA-Modell mit 7 Milliarden Parametern.<ref>[https://www.derstandard.de/story/2000144721795/alpaca-7b-stanford-forschende-trainierten-chatgpt-konkurrenten-um-600-dollar "Alpaca 7B": Stanford-Forschende trainierten ChatGPT-Konkurrenten um 600 Dollar - Innovationen - derStandard.de › Web, 21. März 2023]</ref> Der darauf basierende Chatbot Alpaca AI wurde nach kurzer Zeit wegen Verbreitung von Fehlinformationen abgeschaltet.<ref>[https://t3n.de/news/alpaca-ai-verbreitet-fakenews-offline-aus-ende-schluss-1543040/ t3n | Alpaca AI verbreitet Fake News und wird offline genommen, 22.03.2023]</ref> Am 18. Juli 2023<ref>[https://ai.meta.com/blog/llama-2/ Meta and Microsoft Introduce the Next Generation of Llama, July 18, 2023]</ref> stellte Meta Platforms LLaMA 2 vor. Laut Meta wurden für LLaMA 2 im Vergleich zum ersten LLaMA 40 Prozent mehr Daten für das Training eingesetzt und dabei doppelt so viel Kontext einbezogen.<ref>[https://www.heise.de/news/Meta-und-Microsoft-praesentieren-neues-Sprachmodell-LLaMA-2-9220357.html Meta und Microsoft präsentieren neues Sprachmodell LLaMA 2 | heise online, 19.07.2023]</ref><ref>[https://ai.meta.com/resources/models-and-libraries/llama/ Llama 2 - Resource Overview - Meta AI] (abgerufen am 19. Juli 2023)</ref> Gut einen Monat später veröffentlichte Meta mit ''Code Llama'' ein Programm, welches mithilfe des LLMs LLaMA Programmcode generieren und korrigieren kann.<ref>[https://www.heise.de/news/Code-Llama-Meta-gibt-KI-fuer-das-Schreiben-von-Code-frei-9284369.html Meta veröffentlicht Code Llama, das auf Zuruf Programmcode schreibt | heise online, 24.08.2023]</ref><ref>[https://ai.meta.com/blog/code-llama-large-language-model-coding/ Introducing Code Llama, a state-of-the-art large language model for coding, August 24, 2023]</ref> | ||
Am 7. Dezember 2023 startete Meta AI das Dachprojekt Purple Llama. Der Namensteil ''Purple'' ist an das Purple-Teaming-Konzept für Cybersecurity angelehnt. Dabei arbeiten ein Red Team als Angreifer und ein Blue Team als Verteidiger zusammen, um die Security zu stärken.<ref>[https://www.heise.de/news/Vertrauenswuerdigere-und-sicherere-KI-Meta-startet-Purple-Llama-9568272.html Vertrauenswürdigere und sicherere KI: Meta startet Purple Llama | heise online, 09.12.2023]</ref><ref>[https://ai.meta.com/blog/purple-llama-open-trust-safety-generative-ai/ AI at Meta | Announcing Purple Llama: Towards open trust and safety in the new world of generative AI, December 7, 2023]</ref> | |||
== Weblinks == | == Weblinks == | ||
Version vom 11. Dezember 2023, 06:22 Uhr
LLaMA (Large Language Model Meta AI) ist ein Large Language Model (LLM) von Meta AI, das zum US-amerikanischen Technologieunternehmen Meta Platforms (bis Oktober 2021 Facebook, Inc.) gehört. LLaMA wurde am 24. Februar 2023 veröffentlicht[1] und soll als Grundlage für einen eigenen Chatbot dienen. Für das Training verwendete Meta ausschließlich öffentlich verfügbare Datensätze wie etwa Inhalte des Project Gutenberg. Dadurch soll es "kompatibel mit Open Source und reproduzierbar" sein. Über 92 Prozent des LLaMA-Codes besteht aus der Programmiersprache Python.[2]
Facebook Research stellte LLaMA der weltweiten KI-Forschungs-Community nach einer kurzen Prüfung der jeweiligen E-Mail-Adresse zur Verfügung. Kurze Zeit später wurde das Modell geleakt und wurde als BitTorrent bereitgetellt. Das Modell gibt es anfangs in vier unterschiedlichen Größen: mit 7 Milliarden, 13 Milliarden, 30 Milliarden oder 65 Milliarden Parametern.[3] Das Institute for Human-Centered Artificial Intelligence der Stanford University veröffentlicht mit Alpaca 7B ein Open Source Sprachmodell basierend auf das LLaMA-Modell mit 7 Milliarden Parametern.[4] Der darauf basierende Chatbot Alpaca AI wurde nach kurzer Zeit wegen Verbreitung von Fehlinformationen abgeschaltet.[5] Am 18. Juli 2023[6] stellte Meta Platforms LLaMA 2 vor. Laut Meta wurden für LLaMA 2 im Vergleich zum ersten LLaMA 40 Prozent mehr Daten für das Training eingesetzt und dabei doppelt so viel Kontext einbezogen.[7][8] Gut einen Monat später veröffentlichte Meta mit Code Llama ein Programm, welches mithilfe des LLMs LLaMA Programmcode generieren und korrigieren kann.[9][10]
Am 7. Dezember 2023 startete Meta AI das Dachprojekt Purple Llama. Der Namensteil Purple ist an das Purple-Teaming-Konzept für Cybersecurity angelehnt. Dabei arbeiten ein Red Team als Angreifer und ein Blue Team als Verteidiger zusammen, um die Security zu stärken.[11][12]
Weblinks
Quellen
- ↑ Introducing LLaMA: A foundational, 65-billion-parameter language model, February 24, 2023
- ↑ Nach ChatGPT: Facebook-Konzern Meta will mit LLaMA bei Chatbots mitmischen | heise online, 25.02.2023
- ↑ Großes KI-Sprachmodell am eigenen Rechner: Ein LLaMA für die Westentasche? | heise online, 24.03.2023
- ↑ "Alpaca 7B": Stanford-Forschende trainierten ChatGPT-Konkurrenten um 600 Dollar - Innovationen - derStandard.de › Web, 21. März 2023
- ↑ t3n | Alpaca AI verbreitet Fake News und wird offline genommen, 22.03.2023
- ↑ Meta and Microsoft Introduce the Next Generation of Llama, July 18, 2023
- ↑ Meta und Microsoft präsentieren neues Sprachmodell LLaMA 2 | heise online, 19.07.2023
- ↑ Llama 2 - Resource Overview - Meta AI (abgerufen am 19. Juli 2023)
- ↑ Meta veröffentlicht Code Llama, das auf Zuruf Programmcode schreibt | heise online, 24.08.2023
- ↑ Introducing Code Llama, a state-of-the-art large language model for coding, August 24, 2023
- ↑ Vertrauenswürdigere und sicherere KI: Meta startet Purple Llama | heise online, 09.12.2023
- ↑ AI at Meta | Announcing Purple Llama: Towards open trust and safety in the new world of generative AI, December 7, 2023
Normdaten (Sachbegriff): Wikidata: Q116894231