Login
Last updated on September 15, 2023

Docy

Open-Ended-Score – KI-basierte Bewertung von offenen Fragen

Geschätzte Lektüre: 6 Minuten
Der Open-Ended-Score bewertet Freitextantworten der Befragten anhand von umfassenden Qualitätskriterien. Dafür werden verschiedene Algorithmen und ein führendes KI-Sprachmodell verwendet.

Die Funktionsweise des Open-Ended-Scores

  • Zuerst werden alle Antworten jeder Frage in eine unserer Qualitätskategorien eingestuft.
Quality Category Chart - DE
  • Anschließend wird, je nach Kategorie, eine Bewertung bzw. Score zwischen 0 und 100 vergeben.
  • Aus den individuellen Scores für jede offene Antwort wird dann ein Gesamt-Open-Ended-Score für jedes Interview ermittelt.
OES Scoring Example

Der Einsatz von GPT-4

Wir setzen das GPT-4-Modell von OpenAI als grundlegende Technologie ein, um die meisten unserer Qualitätsprüfungen durchzuführen. Dieses Modell gilt derzeit als eines der fortschrittlichsten Large Language Modelle (LLM). Damit sind wir in der Lage, eine äußerst anspruchsvolle Kategorisierung der Antworten durchzuführen. Das GPT-4-Modell bietet uns daher die erforderliche Leistungsfähigkeit, um die Qualität der offenen Antworten in verschiedenen Aspekten zu bewerten.

Um höchste datenschutzrechtliche Standards sicherzustellen, wurde GPT4  wie folgt in den ReDem®-OES implementiert.

  • Offene Antworten werden einzeln mit einer vollständig anonymisierten ID an OpenAI gesendet. Das heißt, für OpenAI sind immer nur einzelne Antworten je API-Abfrage sichtbar, jedoch niemals alle Antworten einer Umfrage.
  • Die ReDem® tritt gegenüber OpenAI als alleiniger Nutzer auf. OpenAI ist zu keinem Zeitpunkt bekannt, aus welchen Quellen die importierten Daten stammen.
  • Die von ReDem® via API gesendeten Daten werden von OpenAI nur für die Dauer von 30 Tagen gespeichert. Danach werden diese vollständig und irreversibel von OpenAI gelöscht. Die Daten werden von OpenAI zu keinem Zeitpunkt zum Training von KI-Modellen verwendet.
  • Schließlich wurde zwischen ReDem® und OpenAI ein »Data Processing Agreement« auf Basis der EU-Standardvertragsklauseln, welche die DSGVO-konforme Datenübertragung in Drittländer regelt, geschlossen. Dies ist etwa dann relevant, wenn sich personenbezogene Daten in offenen Antworten befinden.

Die ReDem® OES-Qualitätskategorien

Wir klassifizieren jede Antwort anhand einer unserer Qualitätskategorien, um den Score der Befragten besser nachvollziehen zu können.
Unsere aktuellen Kategorien decken alle relevanten Qualitätsaspekte für offene Nennungen in Umfragen ab. Wir arbeiten jedoch kontinuierlich daran, diese weiterzuentwickeln und bei Bedarf neue Kriterien hinzuzufügen.  

Die Qualitätskategorien werden in allen Datenansichten angezeigt.

OES Quality Categories Data Table - DE
OES Quality Categories Worksheet
OES Quality Categories - DE

Kontextkontrolle

  • Erkennt Antworten, die nicht zum Thema oder zur Frage passen. Konkret wird der Antwortkontext anhand der Stichwörter und der Fragestellung geprüft.
  • Alle Antworten, die nicht dem erwarteten Kontext entsprechen, erhalten die Kategorie »Wrong Topic« und einen OES von 30.
OES Wrong Topic Example - DE
  • Die Kontextprüfung kann aktiviert und deaktiviert werden. 
  • Wichtig: Sie sollten diese Option nur aktivieren, wenn Ihre Fragestellungen aussagekräftig genug sind oder mehrere relevante Stichwörter enthalten.
    • Bei der Angabe von Stichwörtern stellen Sie bitte sicher, dass der Kontextbereich der Stichwörter ausreichend weit gefasst ist, um Fehlinterpretationen zu vermeiden, die zu falsch positiven Bewertungen führen könnten.
  • Bitte beachten Sie, dass diese Funktion nur für alle offenen Fragen aktiviert oder deaktiviert werden kann.
OES Enable Context Check - DE
  • Geben Sie mehrere aussagekräftige Stichwörter für die Kontextprüfung ein.
  • Eine präzisere Formulierung der Stichwörter verbessert die Kontexterkennung unserer KI.
 
OES Keywords - DE

Nonsensprüfung

  • Die Prüfung von Nonsens-Antworten ermöglicht es Buchstabensalate, Zahlen und andere sinnlose Angaben zu erkennen.
  • All diese Antworten werden mit der Qualitätskategorie »Nonsense« klassifiziert und mit einem Score von 10 bewertet.
OES Nonsense Example - DE

Sprachprüfung

  • Durch die Angabe von erwarteten Sprachen kann kontrolliert werden, ob die Antworten in der richtigen Sprache abgegeben wurden. 
  • Wenn keine Sprachen ausgewählt werden, wird der Sprachencheck nicht aktiviert.
OES - Select Expexted Languages - DE
  • Sollte bei einer Antwort eine nicht-erwartete Sprache erkannt werden, wird die Kategorie »Wrong Language« vergeben und diese Antwort erhält 50% des ursprünglichen Scores.
OES Wrong Language Example - DE
  • Bitte beachten Sie, dass die Frage und Stichwörter in einer der erlaubten Sprachen formuliert sein sollten.
  • Fragen ohne sprachliche Informationen (z.B. zur Markenbekanntheit) sind für die Sprachprüfung ungeeignet.

Duplikatserkennung

Die effektive Überprüfung auf Duplikate ermöglicht die Identifizierung betrügerischer Antworten. Sowohl vollständige Duplikate als auch Teilduplikate (Antworten, die teilweise übereinstimmen) werden erkannt.

  • Die Kontrolle umfasst die Identifizierung von Antworten, die sich mehrmals für dieselbe Frage wiederholen.
  • Solche Antworten werden als »Duplicate Respondent« kategorisiert und mit einem Score von 0 versehen.
Duplicated Respondent Example
  • Es findet auch eine Überprüfung auf Duplikate über mehrere Fragen hinweg statt.
  • Die entsprechenden Antworten werden ebenfalls als »Duplicate Respondent« klassifiziert.
Duplicate Respondent Combined Example

Unsere Duplikatsprüfung umfasst auch die Überprüfung, ob sich die Antworten eines Befragten in mehreren Fragen wiederholen oder teilweise wiederholen. Bei solch einem Antwortverhalten wird die Qualitätskategorie »Duplicate Answer« vergeben und ein Score von 10 zugewiesen.

Wenn eine Antwort sowohl als »Duplicate Respondent« als auch als »Duplicate Answer« betrachtet werden kann, hat die Kategorie »Duplicate Respondent« Vorrang.

Copy and Paste Kontrolle

  • Wenn eine Antwort durch Kopieren und Einfügen in das Textfeld des Befragungstools eingefügt wird, erkennt das System dieses Verhalten automatisch.
  • Antworten, die als Copy-and-Paste erkannt werden, werden mit der Qualitätskategorie »Copy & Paste Answer« versehen und erhalten einen OES von 0.
  • Beachten Sie bitte, dass diese Funktion nur verfügbar ist, wenn ReDem® mit Ihrem Befragungstool verknüpft ist.

Erkennung von "Fake" Antworten

  • Darüber hinaus erfolgt eine Überprüfung, ob die Struktur einer Antwort ein glaubwürdiges Muster aufweist.
  • Dies ermöglicht die Erkennung von Antworten, die zwar thematisch relevant sind, jedoch aus externen Quellen wie Wikipedia stammen.
  • Antworten, die als »Fake Answer« identifiziert werden, erhalten einen OES von 0.

Erkennung von Schimpfwörter

  • Es werden sowohl Schimpfwörter als anstößige Ausdrücke erkannt. 
  • Für solche Antworten wird die Kategorie »Bad Language« mit einem Score von 10 vergeben.
OES Bad Language Example - DE

Erkennung generischer Antworten

  • Generische Angaben wie »gut«, »ok«, »alles«, »ja« und ähnliche werden als »Generic Answer« eingeordnet.
  • Diese Antworten werden mit einem OES von 50 bewertet.

Erkennung Antworten ohnen Informationsgehalt

  • Antworten ohne Informationsgehalt wie »keine Ahnung«, »nichts«, »kein Kommentar«, »ich weiß nicht« und ähnliches werden als »No Information« klassifiziert.
  • Diese Antworten werden mit einem OES von 60 bewertet.

Valide Antworten

  • Valide Antworten umfassen grundsätzlich alle Antworten, die nicht in eine der anderen Qualitätskategorien fallen.
  • Darüber hinaus wird der Detailgrad der Antworten bewertet. Antworten, die in die Qualitätskategorie »Valid Answer« fallen, erhalten je nach Detailgrad einen OES zwischen 70 und 100.

Unterstützte Sprachen

Der ReDem® Open-Ended-Score unterstützt über 100 unterschiedliche Sprachen wie, Englisch, Deutsch, Französisch, Spanisch, Chinesisch, Japanisch, Schwedisch und viele mehr.

Beispiel

OES Example - DE

Tipps zur Anwendung

  • Um sicherzustellen, dass eine optimale Qualität durch den ReDem® Open-Ended-Score gewährleistet wird, empfehlen wir, mindestens zwei offene Fragen in Ihrer Umfrage auszuwählen. Diese sollten von möglichst allen Befragten beantwortet werden.
  • Es ist ratsam, spezifisch formulierte Fragen zu verwenden, die nicht mit »Ja« oder »Nein« beantwortet werden können.
  • Da der OES unser derzeit aussagekräftigstes Qualitätskriterium ist, empfehlen wir in möglichst allen Fragebögen offene Fragen einzubauen.

Ähnliche Artikel

Artikel teilen
CONTENTS