ComputerBase erklärt die Hintergründe zu KI-basierten Chatbots wie ChatGPT und Bard sowie zu den zugrunde liegenden Language-Models.
Künstliche Intelligenz ist ein gigantisches Fachgebiet mit abertausenden wissenschaftlichen Publikationen jedes Jahr. Viele Fachbegriffe entstammen anderen Bereichen wie der Statistik, Mathematik, Physik oder Informatik – in diesem Artikel werden daher alle Begriffe in ihrem Kontext eingeführt. Da es sich um einen Grundlagenartikel handelt, werden manche Aspekte zwecks Verständlichkeit vereinfacht und kein vorheriges Wissen vorausgesetzt.
Das Vokabular wird notwendigerweise über die Trainingsdaten definiert – wenn man nun einfach alle Wörter nehmen würde, die in den Trainingsdaten enthalten sind, dann würde das Modell früher oder später bei der tatsächlichen Benutzung auf ein Wort stoßen, das nicht im Vokabular ist. Um das zu vermeiden, lässt sich das Vokabular als das Alphabet definieren.
Um nun einen Satz in ein Language-Model zu geben, wird dieser zuerst tokenisiert und die Tokens dann anhand einer Tabelle in eine numerische Repräsentation umgewandelt. Die numerischen Repräsentationen sind Parameter des Modells, sie werden also zu Beginn eines Trainings zufällig initialisiert und dann über den Trainingsprozess hinweg angepasst, um die Fehlerfunktion zu minimieren.
In der Praxis gibt das Modell einen Vektor aus, der die gleiche Länge wie das Vokabular des Modells hat. Dieser Vektor enthält manche höhere und manche kleinere Zahlen und wird in eine Wahrscheinlichkeitsverteilung umgewandelt und die Fehlerfunktion zwischen dieser Verteilung und dem Label berechnet. Das Label wird dabei in einen sogenannten One-Hot-Vektor umgewandelt – das ist nichts anderes als ein weiterer Vektor, der überall 0 ist – außer in einer einzigen Zeile .
Konzeptuell sind Transformer ziemlich einfach: Eine Sequenz von Vektoren wird zu drei verschiedenen Sequenzen von Vektoren transformiert: Queries , Keys und Values . Zwischen jedem Paar von Tokens wird nun ein sogenannter Attention-Score berechnet, indem die entsprechenden Query- und Key-Vektoren miteinander multipliziert werden, woraus sich eine einzelne Zahl ergibt.
Italia Ultime Notizie, Italia Notizie
Similar News:Puoi anche leggere notizie simili a questa che abbiamo raccolto da altre fonti di notizie.
Wo Chatbots mit Künstlicher Intelligenz bereits im Einsatz sindChatGPT hat einen Hype um KI ausgelöst. JaStadler hat deshalb mit Menschen gesprochen, die schon mit Künstlicher Intelligenz arbeiten. Er erzählt, was die Programme leisten - etwa für die Bildung. Und wo ihre Grenzen liegen.
Leggi di più »
Künstliche Intelligenz: Britische Ministerin erwägt Einsatz von ChatGPT in RegierungsarbeitDer Textroboter ChatGPT könnte bald in Großbritannien in Ministerien Einzug finden. Das berge auch Gefahren, warnen Wissenschaftler.
Leggi di più »
Setzt britische Regierung bald ChatGPT ein?ChatGPT hat laut Experten großes Potenzial, birgt aber auch Gefahren. Mitarbeiter in der öffentlichen Verwaltung in Großbritannien haben allerdings großes Interesse an dem Textroboter.
Leggi di più »
Der Wettstreit der Tech-Riesen beim Megatrend Künstliche IntelligenzMit dem gehypten Chatbot ChatGPT im Rücken greift Microsoft die Vormachtstellung von Google an. Ein milliardenschweres Wettrennen hat begonnen.
Leggi di più »
Kein Schnee: Promis fahren Hundeschlitten-Rennen im SandBeim Schlittenhunderennen auf der Ostsee-Insel Usedom wurde Geld für die Welthungerhilfe gesammelt. Models, Schauspieler und Entertainer traten gegeneinander an.
Leggi di più »