Entwicklung und Test eines Rahmens für die Kodierung von Freitextdiagnosen von Allgemeinärzten in elektronischen Krankenakten - eine Zuverlässigkeitsstudie zur Erzeugung von Trainingsdaten für die Verarbeitung natürlicher Sprache

Developing and testing a framework for coding general practitioners’ free-text diagnoses in electronic medical records - a reliability study for generating training data in natural language processing

Wallnöfer A, Burgstaller JM, Weiss K, Rosemann T, Senn O, Markun S

BMC Prim Care (2024)

​

Hintergrund:

Diagnosen, die von Hausärzten in elektronische Krankenakten eingegeben werden, haben ein grosses Potenzial für Forschung und Praxis. Leider liegen die Diagnosen jedoch oft in einem unverschlüsselten Format vor, so dass sie nur von geringem Nutzen sind. Die Verarbeitung natürlicher Sprache (NLP) könnte bei der Kodierung von Freitext-Diagnosen helfen, aber NLP-Modelle benötigen lokale Trainingsdaten, um ihr Potenzial auszuschöpfen. Ziel dieser Studie war es, einen Rahmen für forschungsrelevante Diagnosecodes zu entwickeln, diesen Rahmen anhand von Freitextdiagnosen aus einer Schweizer Primärversorgungsdatenbank zu testen und Trainingsdaten für die NLP-Modellierung zu generieren.

Methoden:

Der Rahmen für die Diagnosecodes wurde auf der Grundlage von Beiträgen lokaler Akteure und unter Berücksichtigung epidemiologischer Daten entwickelt. Nach einer Vorprüfung enthielt der Rahmen 105 diagnostische Codes, die dann von zwei Ratern angewendet wurden, die unabhängig voneinander zufällig gezogene Freitextzeilen (LoFT) aus Diagnoselisten kodierten, die aus den elektronischen Krankenakten von 3000 Patient*innen von 27 Allgemeinärzt*innen entnommen wurden. Die Häufigkeit der Kodierung und die mittlere Häufigkeit des Auftretens (n und %) sowie die Inter-Rater-Reliabilität (IRR) der Kodierung wurden anhand von Cohens Kappa (Κ) berechnet.

Ergebnisse:

Die Stichprobe umfasste 26.980 LoFT. Bei 56,3% konnte kein Code zugewiesen werden, weil es sich nicht um eine spezifische Diagnose handelte. Die häufigsten Diagnosecodes waren 'Dorsopathien' (3,9%, ein Code, der alle Arten von Rückenproblemen abdeckt, einschliesslich unspezifischer Schmerzen im unteren Rückenbereich, Skoliose und andere) und 'andere Krankheiten des Kreislaufsystems' (3,1%). Die Rater stimmten bei 69 der 105 Diagnosecodes nahezu perfekt überein (Κ ≥ 0,81), und 28 Codes zeigten eine erhebliche Übereinstimmung (K zwischen 0,61 und 0,80). Sowohl eine hohe Kodierungshäufigkeit als auch eine fast perfekte Übereinstimmung wurden bei 37 Kodes festgestellt, darunter Kodes, die besonders schwer aus den Komponenten der elektronischen Patientenakte zu identifizieren sind, wie z. B. Erkrankungen des Bewegungsapparats, Krebs oder Tabakkonsum.

Schlussfolgerung:

Der Kodierungsrahmen zeichnete sich durch eine Untergruppe sehr häufiger und äusserst zuverlässiger Diagnosecodes aus, die die wertvollsten Ziele für das Training von NLP-Modellen für die automatisierte Klassifizierung von Krankheiten auf der Grundlage von Freitextdiagnosen aus der Schweizer Allgemeinmedizin darstellen werden.