KI-Prompting und Sprache

Veröffentlicht am 21.06.2024

Optimale Ergebnisse mit Künstlicher Intelligenz

Bei meHRsalz nutzen wir verschiedene KI-gestützte Modelle für unser Daily Business. Dabei haben wir festgestellt, dass die Qualität der Ergebnisse stark davon abhängt, womit wir ChatGPT "füttern". Das bekannte Prinzip "Shit in - Shit out" gilt auch hier. Unsere Erfahrungen und Erkenntnisse zu diesem Thema haben wir für Euch in diesem Blogartikel zusammengefasst.

Zusammenfassung

In der Welt der KI-Modelle wie ChatGPT-4 und Copilot GPT-4 Precise zeigt sich, dass die Sprache wichtiger als die Formatierung ist. Während die Struktur bei ChatGPT-4 keine Rolle spielt, beeinflusst sie die Ergebnisse bei Copilot GPT-4 Precise (zumindest in der deutschen Version) signifikant. Ältere Modelle wie ChatGPT-3.5 und Copilot Balanced erzielen auf Deutsch bessere Resultate, unabhängig von der Formatierung. Die Anwendung der "Chain of Thought" Prompting-Technik führt zu besseren Ergebnissen. Eine perfekte Regel für optimale Resultate gibt es nicht, da diese vom verwendeten Modell abhängen. Neuere Modelle liefern jedoch generell bessere Ergebnisse.

Zero-Shot Prompting: Ein kurzer Überblick

Zero-Shot Prompting bezeichnet die Fähigkeit eines KI-Modells, eine Aufgabe korrekt zu erledigen, ohne dass es zuvor spezielle Beispiele oder eine gezielte Trainingsphase zu dieser Aufgabe erhalten hat. Mehr dazu findet Ihr in den folgenden Ressourcen:

Sprache wichtigerals Formatierung

Unsere Tests haben gezeigt, dass der größte Unterschied nicht in der Struktur, sondern in der Sprache liegt. Auf Englisch war die Struktur sowohl bei ChatGPT-4 als auch bei Copilot GPT-4 Precise egal. Überraschenderweise war es bei ChatGPT-4 grundsätzlich egal, wie die Struktur aussieht. Nur bei Copilot GPT-4 Precise und nur auf Deutsch machte die Struktur einen Unterschied.
Hier sei angemerkt, dass die Ergebnisse unserer Tests natürlich nicht repräsentativ für alle Modelle sind, da wir allein und mit einer kleinen Stichprobe getestet haben. Umfassendere Studien sind notwendig, um diese Erkenntnisse zu bestätigen. Grundsätzlich gilt: Struktur in den Prompts schadet nicht, aber die Sprache ist entscheidender.

Beispiel für Struktur bei ChatGPT-4

Ohne Struktur:

Was sind die Vorteile von erneuerbaren Energien im Vergleich zu fossilen Brennstoffen? Beschreibe auch die wirtschaftlichen und ökologischen Aspekte.

Mit Struktur:

  1. Was sind die Vorteile von erneuerbaren Energien im Vergleich zu fossilen Brennstoffen?
  2. Beschreibe die wirtschaftlichen Aspekte.
  3. Beschreibe die ökologischen Aspekte.

Unsere Tests zeigen, dass strukturierte Prompts zu besseren, reflektierteren Antworten führen können.

Unterschiede bei älteren Modellen

Bei älteren Modellen wie ChatGPT-3.5 und Copilot Balanced erzielen strukturierte Prompts auf Deutsch bessere Ergebnisse, selbst wenn keine spezielle Formatierung verwendet wird. Dies unterstreicht die Bedeutung der Sprachwahl und Struktur für die Ergebnisqualität.

Prompting Technik: Chain of Thought

Die "Chain of Thought" Technik, bei der man hinter den Prompts ein einfaches "Think step by step" oder "Denke Schritt für Schritt" anhängt, führt zu besseren Ergebnissen. Bei den neueren Modellen war sogar 100% der Antworten korrekt. Diese Technik wurde auch im Paper "Large Language Models are Zero-Shot Reasoners" bestätigt.
Warum funktioniert Chain of Thought so gut? Unsere Vermutung ist, dass diese Technik so gut funktioniert, weil LLMs (Large Language Models) jedes Wort (eigentlich jedes Token) einzeln generieren und dafür den kompletten bisherigen Text in Kontext setzen. Wenn das LLM jeden Schritt einzeln generiert, wird der Kontext für darauffolgende Wörter größer, was oft zu besseren Ergebnissen führt.


Beispiel:
Prompt: Denke Schritt für Schritt. Was sind die Vorteile von erneuerbaren Energien?

Antwort: Die Vorteile von erneuerbaren Energien sind vielfältig. Schritt für Schritt: Erstens sind sie umweltfreundlich, da sie weniger CO2-Emissionen verursachen. Zweitens sind sie nachhaltiger, da sie auf unerschöpflichen Ressourcen basieren. Drittens fördern sie die Energieunabhängigkeit...

Ausblick

Zusammenfassend lässt sich sagen:

  • Ergebnisse sind stark vom verwendeten Modell abhängig.
  • Es gibt keine umfassende Regel, die immer das perfekte Ergebnis produziert.
  • "Chain of Thought" Prompts liefern durchschnittlich bessere Ergebnisse.
  • Neuere Modelle produzieren grundsätzlich bessere Ergebnisse.

Unsere Einschätzung:

  • Verwendet "Chain of Thought"-Prompts, um bessere und kontextualisierte Ergebnisse zu generieren.
  • Das Prompten in englischer Sprache ist aktuell wohl noch am sinnvollsten, da die KI-Modelle vor allem auf Englisch verwendet werden und sich dementsprechend weiterentwickeln.
  • Formatierung macht einen Unterschied, aber dieser ist nicht gewaltig (hauptsächlich bei Absätzen).

Fazit

Bei der Nutzung von KI-Modellen ist es wichtig, flexibel zu bleiben und verschiedene Techniken auszuprobieren. Die Sprachwahl und die "Chain of Thought" Technik sind derzeit entscheidende Faktoren für den Erfolg. Bleibt neugierig und experimentiert unbedingt weiter, um auch die Weiterentwicklung der Modelle und Daten fortlaufend zu nutzen.

Dir hat der Beitrag gefallen? Folge uns auf LinkedIn oder melde Dich an unserem Newsletter an.

Aus redaktionellen Gründen gendern wir nicht immer, es sind aber natürlich immer alle Geschlechter angesprochen.