Große Sprachmodelle können viel, weil sie mit viel Weltwissen trainiert wurden. René Peinl (Hochschule Hof) versucht herauszufinden, was sie wirklich können.
c’t: Große Sprachmodelle wie ChatGPT und Bard schneiden in Benchmarks meist sehr gut ab, mitunter sogar besser als der Mensch. Unter realistischen Bedingungen, etwa im Dialog mit Nutzern, erfüllen sie die Erwartungen häufig nicht. Was ist denn das zentrale Problem beim Benchmarken von Sprachmodellen?Im Wesentlichen ist es die automatisierte Bewertung, die ihre Grenzen hat.
Es gibt zwar auch fortgeschrittenere Maße, zum Beispiel den BERTScore , der selbst wiederum KI einsetzt, um die semantische Ähnlichkeit der Antwort mit der erwarteten Antwort zu ermitteln. Aber zum einen ist dieses Verfahren immer noch nicht flächendeckend im Einsatz und zum anderen funktioniert es nicht unter allen Umständen zuverlässig, etwa wenn die Antwort deutlich länger ist als die erwartete Antwort.
Italia Ultime Notizie, Italia Notizie
Similar News:Puoi anche leggere notizie simili a questa che abbiamo raccolto da altre fonti di notizie.
KI: Wie Benchmarks die Leistung großer Sprachmodelle messen und vergleichenMit vielen Versprechen huldigen Entwickler, Firmen und Medien gerne Sprach-KIs. In der Praxis folgt meist die große Ernüchterung. Warum ist das so?
Leggi di più »
– Interview über Altersdiskriminierung: „Das ist wie ein Bazillus“Die Berliner Unterhaltungskünstlerin Désirée Nick beklagt in ihrem neuen Buch, Frauen ab 50 würden konsequent ins Abseits gedrängt. Auch sie selbst sei betroffen. Ein Interview.
Leggi di più »
'Das große Backen'-Star Bettina Schliephake-Burchardt: Das isst sie nach einem Tag voll Kuchen & TortenWer hätte das gedacht? Auch Bettina Schliephake-Burchardt hat manchmal die Nase voll von Süßem. BUNTE.de verrät sie, was an solchen Tagen auf den Teller kommt.
Leggi di più »
'Das große Backen' 2023: Das sind die Kandidaten in Staffel 11Seit Ende August schwingen die Kandidaten in 'Das große Backen' 2023 wieder die Schneebesen. Wir haben alle Infos zu den Teilnehmern in Staffel 11.
Leggi di più »
Badetag für Hunde am Plärrer und Mozart-Endrunde: Das bietet das WochenendeAm Wochenende 15. bis 17. September gibt es in Augsburg viele Musikveranstaltungen. Doch auch ein Klassiker für Hunde-Besitzer und vieles mehr sind geboten.
Leggi di più »