Der Facebook-Mutterkonzern Meta hat heute gemeinsam mit Microsoft die neue Version des Llama-Sprachmodells vorgestellt. Die Llama-2-Modelle stehen sowohl für die Forschung als auch die kommerzielle Nutzung bereit und sind über Microsoft Azure und Windows, Amazon Web Services und Hugging Face...
Die Meta Seite ist nicht der richtige Ort. Da gibt es nur das Originalmodell mit 16 oder 32 bits. D.h. für das 13B Modell wären das schon 26GB oder sogar 52GB. Da wird die Mehrheit der User schon Schwierigkeiten haben, das in den Arbeitsspeicher zu schieben, zu schweigen vom GPU Speicher. Der Trick für lokale Modelle besteht darin, die Präzision auf wenige bits zu reduzieren/quantisieren.
TheBloke hat Code geschrieben, der im Grunde alle spannenden Modelle sofort abgreift und in verschiedenen Quantisierungen anbietet. Die hab ich oben verlinkt. Konzeptionell am simpelsten sind 4 bits, dann ist am Ende des Dateinamens ein q4_0. Die Daten selbst sind aber in jedem Fall nur Modellgewichte, kein ausführbarer Code. Aber bei den Links werden auch direkt alle relevanten Tools zum Ausführen genannt.
Italia Ultime Notizie, Italia Notizie
Similar News:Puoi anche leggere notizie simili a questa che abbiamo raccolto da altre fonti di notizie.
Code Llama: Meta gibt KI für das Schreiben von Code freiMeta gibt Software frei, die Code-Strings erstellt, vervollständigt oder von Fehlern bereinigt. Das soll Programmierern die Arbeit erleichtern. Gebührenfrei.
Leggi di più »
Freitag: Meta mit Tool zum Schreiben von KI-Code, Teams mit neuen FunktionenKI für das Schreiben von Code + Microsoft räumt Teams auf + Beleidigungen in WhatsApp-Gruppen + Cyberbunker weiter vor Gericht + WinRAR-Lücke größer als gedacht
Leggi di più »
Bitcoin Code Erfahrungen: Der Krypto-Roboter im TestBitcoin Code-Test: Wir blicken auf das Angebot des Krypto-Robos Bitcoin Code - lesen Sie unsere Tipps und unsere Bitcoin Code-Erfahrungen.
Leggi di più »
- Steam Guard Code per Mail ohne Anmeldung erhaltenHey Kollege hatte eben per Steam Guard einen Code per Email erhalten dass sich jemand aus ITALY einloggen wollte. Die Mail und der Email Header sahen echt aus ( zumindest für einen Laien ) Wir haben das Passwort sofort geändert über Steam direkt und nicht über die Mail. Zudem aus allen Geräten...
Leggi di più »
Threads: So will Meta jetzt den Nutzer-Rückgang stoppenEine zentrale Neuerung startet bereits in diesen Tagen.
Leggi di più »