
Docy
Mithilfe eines durch über 100.000 Datensätze trainierten (Fine tuning) ML-Modells auf Basis von GPT-3 von OpenAI wird eine intelligente Analyse der Frage-Antwort Kombination durchgeführt. Diese bewertet, wie gut die Antwort inhaltlich zur Frage passt (BETA).
Des Weiteren werden die Antworten in unterschiedliche Qualitätskategorien unterteilt und mit einem entsprechenden Score versehen.
Die Antworten werden in folgende Kategorien unterteilt:
Es wird ein Wörterbuch verwendet, um zu überprüfen ob die Antwort vollständige Wörter enthält. Rechtschreibfehler werden dabei berücksichtigt und vor der Überprüfung korrigiert.
Es wird außerdem überprüft, wie lange bzw. wie viele Zeichen eine Antwort beinhaltet. Die Länge der Antwort wird sowohl auf individueller Ebene als auch im Vergleich zu anderen Antworten bewertet.
Der OES verwendet zur Bewertung auch eine Blacklist, um Schimpfwörter und inhaltslose Antworten, wie »keine Angabe«, »Weiß nicht«, »?« oder Ähnliches zu erkennen.
Sollten mehrere offene Fragen in den Daten vorhanden sein, prüft der OES, pro Befragten, ob sich die selbe Antwort in mehreren Fragen befindet und somit auf ein »Copy Paste Antwortverhalten« zu schließen ist.
Derzeit werden sowohl Deutsch, Englisch und Spanisch unterstützt. Weitere Sprachen folgen.