Wikipedia:WikiProjekt KI und Wikipedia/Werkzeuge
Intro |
Diskussion |
KI allgemein |
KI+Texte |
KI+Übersetzung |
KI+Medien |
KI+QS |
KI+Hilfen |
Team |
|
Hier geht es um den Einsatz von KI zur Qualitätssicherung (Erkennen Vandalismus, Veraltung, Widersprüchen etc.) |
Instrumente zur Vandalismusbekämpfung
[Quelltext bearbeiten]- Tools/Automoderator,siehe auch Diskussion in FZW hier.
- mw:ORES ein Webdienst und eine API, die maschinelles Lernen als Dienst für Wikimedia-Projekte bereitstellt, die vom Machine Learning-Team unterhalten werden.
- en:User:ClueBot_NG Vandalismus erkennen und zurücksetzen mit KI (englische WP)
„As ClueBot NG requires a dataset to function, the dataset can also be used to give fairly accurate statistics on its accuracy and operation. Different parts of the dataset are used for training and trialing, so these statistics are not biased.
The exact statistics change and improve frequently as we update the bot. Currently:
Selecting a threshold to optimize total accuracy, the bot correctly classifies over 90% of edits. Selecting a threshold to hold false positives at a maximal rate of 0.1% (current setting), the bot catches approximately 40% of all vandalism. Selecting a false positive rate of 0.25% (old setting), the bot catches approximately 55% of all vandalism. Currently, the trial dataset used to generate these statistics is a random sampling of edits, each reviewed by at least two humans, so statistics are accurate.
Note: These statistics are calculated before post-processing filters. Post-processing filters primarily reduce false positive rate (ie, the actual number of false positives will be less than stated here), but can also slightly reduce catch rate.“
Einsatz zur QS
[Quelltext bearbeiten]- 96. DTS, 18. Juni 2024: „Verständlichkeit von Wikipediaseiten“ u.a. Prüfung der Lesbarkeit von krankheitsbezogenen Wikipediaseiten: Beurteilung der Sprache durch automatisierte computergestützte Analyse. Diabetes mellitus wie er ist (schwer), wie er durch Vereinfachung durch KI wird (leicht) und Probleme (Folien Vortrag)
- Petroni, F., Broscheit, S., Piktus, A. et al. Improving Wikipedia verifiability with AI. Nat Mach Intell 5, 1142–1148 (2023).
„We show that the process of improving references can be tackled with the help of artificial intelligence (AI) powered by an information retrieval system and a language model. This neural-network-based system, which we call SIDE, can identify Wikipedia citations that are unlikely to support their claims, and subsequently recommend better ones from the web.“
Konkreter Einsatz und Erfahrungsberichte
[Quelltext bearbeiten]- Sammlung bei Sinuhe20: QS mit KI: Nützliche OpenAI-Anfragen zur Qualitätssicherung von Wikipedia-Artikeln (Basis, "Mittlere" und Experten). Beinhaltet z.B. Rechtschreibung und Grammatik, Formatierungsprüfung, Faktenprüfung und Quellenprüfung und auch komplexere Aspekte.
- Empowering Wikidata editors and content with the Wikidata Quality Toolkit Der Workshop auf der Wikimania 2024 (mit Aufzeichnung) zeigt die Verwendung der im Wikidata Quality Toolkit (WQT) enthaltenen Tools. Das WQT besteht aus Tools, die Wikidata-Editoren bei drei ihrer täglichen Aufgaben unterstützen sollen: welche Elemente sollen bearbeitet werden (basierend auf ihrem Fachwissen und ihrem Bearbeitungsverlauf); das Erkennen von Elementreferenzen, die den Anforderungen nicht gut entsprechen (und Möglichkeiten, sie zu verbessern) sowie das automatische Generieren von "EntitySchemas" (?), um Elemente mit fehlenden Informationen zu finden.
- - Como: eine Human-in-the-Loop Plattform für Wikimedia-Projekte (Vortrag Benutzer:Kristbaum 5.10.24 WikiCon)
- Projektseite Überprüfung KI-generierter und übersetzter Texte in spielrerischer Form] (einloggen mit WP-User, links im Menue aufrufbar)