Wikipedia:Bar/2024 10 11
|
|
 Cambusa Bar giornaliero Bar delle scorse settimane |
 Discussioni in corso |
11 ottobre
Aggiornamento sul nuovo strumento anti-vandalismo - Automoderator
Ciao a tutti, mi chiamo Sam Walton e sono il Product Manager del team Moderator Tools della Wikimedia Foundation. Attualmente stiamo realizzando uno strumento chiamato Automoderator, in grado di ripristinare automaticamente le modifiche errate sulla base di un modello di apprendimento automatico e di norme definite dalla comunità. Automoderator è ora utilizzato dalle comunità di Wikipedia turca, indonesiana e ucraina, e stiamo discutendo per abilitarlo in altri progetti. Pensiamo che la vostra comunità possa essere interessata ad Automoderator, quindi abbiamo voluto pubblicare un breve aggiornamento per invitarvi a partecipare ad alcuni test e darvi l'opportunità di farci domande sull'uso del software.
Automoderator utilizza attualmente un modello linguistico-agnostico, che supporta qualsiasi progetto di Wikipedia. Attualmente stiamo studiando l'uso di un modello multilingue, che riteniamo possa avere prestazioni decisamente migliori sulle 47 lingue di Wikipedia che supporta.
Abbiamo bisogno del tuo aiuto per capire come questo modello si comporta in caso di modifiche recenti ad un vostro progetto: leggete il nostro testing process e partecipa valutando le modifiche in un set di dati. Questo ci aiuterà a capire l'accuratezza e la copertura del modello, che potremo condividere con voi per aiutarvi a capire se usare Automoderator nel vostro progetto.
Automoderator può ora essere richiesto per il vostro wiki seguendo le fasi di distribuzione. Per ulteriori informazioni sullo strumento, consultare la pagina del progetto. Se avete domande sul software o siete interessati a usarlo, fatemelo sapere! Samwalton9 (WMF) (msg) 17:57, 11 ott 2024 (CEST)
- Il "modello di apprendimento automatico" citato cosa sarebbe esattamente? E come funziona?--151.36.185.26 (msg) 09:02, 12 ott 2024 (CEST)
- @Samwalton9 (WMF) anch'io sono curioso. Può essere uno strumento utile. Tuttavia c'è da capire se è simile al Filtro anti abusi o no --Ethn23 (dimmi) 15:26, 12 ott 2024 (CEST)
- Riflessioni sparse.
- Capisco il senso, ma "Automoderator will never revert the following kinds of edits - Those made by administrators or bots" sa di comitato di redazione, cosa che magari neanche egli interessati gradiscono essere considerati.
- Ho visionato una manciata di edit del campione (che è di quasi 1800 edit, la stragrande maggioranza di IP), e sembravano abbastanza azzeccati, nel senso che il punteggio dato a edit ok non era oltre 0.25-0,55 (per riassumere, più tende a 1 più l'edit è giudicato vandalico). Sul campione di ~1800 edit, 1333 sarebbero stati annullati con indice >0.90, e 1416 con >0,66 (!!). Qualche utente ha più di un edit valutato. A occhio (di quelli che ho incrociato) [@ Egidio24, AmaliaMM, AnticoMu90] sono quelli giudicati "meglio" dall'IA (punteggio di "vandalosità" più basso) ma solo per Egidio c'è una certa numerosità di casistiche. Sui "peggiori" (0.25-033) non dico nulla :-p
- Comunque, una enormità di edit sono considerati vandalici. A me non sembra che il tasso di vandalismo sia così elevato, anzi giusto stamattina un edit perfettamente legittimo era dato dai sistemi attuali come "quasi certamente vandalico"... Buone riflessioni. --TrameOscure (📣) 16:12, 12 ott 2024 (CEST)
- @Samwalton9 (WMF) anch'io sono curioso. Può essere uno strumento utile. Tuttavia c'è da capire se è simile al Filtro anti abusi o no --Ethn23 (dimmi) 15:26, 12 ott 2024 (CEST)
- io sono sempre molto dubbioso su modelli automatici in Wikipedia. Un conto è segnalare che ci sono modifiche probabilmente dannose, come il tool che c'è adesso che poi ha una quantità di falsi positivi imbarazzante, altra cosa sono i revert automatici. Insomma non mi piace.
- (This said, I don't think [@ Samwalton9 (WMF)] speaks Italian. True, he could use an automatic translation system :-) to read our discussion, but probably it would be safer if at the end somebody will recap it in English.) -- .mau. ✉ 16:27, 12 ott 2024 (CEST)
- [@ Samwalton9 (WMF)] the tool seems heavily biased against IPs, I checked a significant number of edits from IPs which Automoderator would rollback and most of them did not really deserve such a high revert risk score as that assigned. Do we have feedback from the projects were this has already been deployed? --Civvì (Parliamone) 16:36, 12 ott 2024 (CEST)
- Si tratta di un modello diverso da ORES (ossia le etichette colorate attuali di cui mi pare state parlando). Questo strumento ha delle soglie selezionabili in autonomia dalle singole wiki e mi sembra molto cauto nell'annullare i vandalismi. A fronte di una media di 1 600 annullamenti umani al giorno su itwiki, interverrebbe 211 volte con la soglia meno permissiva (Not cautious) e solo 40 con quella più permissiva (Very cautious).[1] Ho testato qualche set di modifiche casuali contenute nel foglio di calcolo e confermo questa impressione: mi sembra tenda più a lasciarsi sfuggire un vandalismo che ad annullare una modifica corretta (almeno con le soglie più caute). Abbiamo pochissimi strumenti per gestire i vandalismi, per me ben venga provarlo. Il filtro anti abusi è utile per alcuni casi e palesemente inadeguato per altri. È uno strumento molto tecnico (e da configurare ad hoc) che solo una minima parte degli amministratori utilizza, ogni piccola modifica a un filtro può causare disastri, il registro del filtro viene monitorato da poche persone e reintegrare un falso positivo (se viene scoperto) è poco pratico. I falsi positivi sono chiaramente da preventivare anche con l'Automoderator, ma ricordo che lo strumento è all'atto pratico un'utenza, con i propri annullamenti visibili nelle ultime modifiche e in cronologia, che possono essere annullati da chiunque. Da un paio di giorni i singoli progetti possono chiedere che venga attivato. Non credo sia il caso di essere tra i primi a partecipare, ma più avanti perché no? In ogni caso questa discussione verte più che altro a raccogliere ulteriori dati e feedback con dati alla mano. Avete fatto il test menzionato? Com'è andata? --Titore (msg) 17:32, 12 ott 2024 (CEST)
- Anche per me può essere potenzialmente molto utile, d'accordo in prospettiva a testarlo, intanto invito a fare il test tramite il Google sheet. ----Friniate ✉ 18:41, 12 ott 2024 (CEST)
- Potenzialmente molto utile, lo vedo anche un potenziale strumento che può lavorare in sinergia con i nostri filtri antiabuso. Si potrebbe pensare a un test nella modalità "massima cautela", che dovrebbe ridurre i falsi positivi. Sarebbe comunque un feedback utile per gli sviluppatori per "tarare" meglio il tool, quindi anche i "falsi positivi" avrebbero una loro utilità (che ci siano, è scontato e non è il caso di urlare allo scandalo per questo. Del resto è già così anche con i nostri filtri: nessuno strumento automatico raggiungerà il 100% di precisione).--SuperSpritzl'adminalcolico 18:55, 12 ott 2024 (CEST)
- Sarebbe corretto tenere presente che strumenti del genere, se non si dimostrano estremamente necessari e funzionali, sarebbero da evitare. --TrameOscure (📣) 20:30, 12 ott 2024 (CEST)
- @TrameOscure La vogliamo smettere con gli interventi a caso? Prima ti sei detto contrario basandoti su statistiche errate, poi hai messo in mezzo wp:redazione per 40 rollback e ora metti in mezzo l'AI a caso. Quousque tandem? ----Friniate ✉ 21:13, 12 ott 2024 (CEST)
- Scusa? 1) non mi sono detto contrario, ho fatto solo delle riflessioni 2) che statistiche errate? sono dati estrapolati dal file .ods di questo strumento 3) l'IA non è affatto "a caso" ma al 100% pertinente. Cortesemente "a caso" o "smettere" mi sembra davvero ingiusto, e Cicerone questo si, fuori luogo: non sto abusando di un bel niente. Grazie. --TrameOscure (📣) 21:34, 12 ott 2024 (CEST)
- @TrameOscure La vogliamo smettere con gli interventi a caso? Prima ti sei detto contrario basandoti su statistiche errate, poi hai messo in mezzo wp:redazione per 40 rollback e ora metti in mezzo l'AI a caso. Quousque tandem? ----Friniate ✉ 21:13, 12 ott 2024 (CEST)
- Sarebbe corretto tenere presente che strumenti del genere, se non si dimostrano estremamente necessari e funzionali, sarebbero da evitare. --TrameOscure (📣) 20:30, 12 ott 2024 (CEST)
- Potenzialmente molto utile, lo vedo anche un potenziale strumento che può lavorare in sinergia con i nostri filtri antiabuso. Si potrebbe pensare a un test nella modalità "massima cautela", che dovrebbe ridurre i falsi positivi. Sarebbe comunque un feedback utile per gli sviluppatori per "tarare" meglio il tool, quindi anche i "falsi positivi" avrebbero una loro utilità (che ci siano, è scontato e non è il caso di urlare allo scandalo per questo. Del resto è già così anche con i nostri filtri: nessuno strumento automatico raggiungerà il 100% di precisione).--SuperSpritzl'adminalcolico 18:55, 12 ott 2024 (CEST)
- Anche per me può essere potenzialmente molto utile, d'accordo in prospettiva a testarlo, intanto invito a fare il test tramite il Google sheet. ----Friniate ✉ 18:41, 12 ott 2024 (CEST)
- Si tratta di un modello diverso da ORES (ossia le etichette colorate attuali di cui mi pare state parlando). Questo strumento ha delle soglie selezionabili in autonomia dalle singole wiki e mi sembra molto cauto nell'annullare i vandalismi. A fronte di una media di 1 600 annullamenti umani al giorno su itwiki, interverrebbe 211 volte con la soglia meno permissiva (Not cautious) e solo 40 con quella più permissiva (Very cautious).[1] Ho testato qualche set di modifiche casuali contenute nel foglio di calcolo e confermo questa impressione: mi sembra tenda più a lasciarsi sfuggire un vandalismo che ad annullare una modifica corretta (almeno con le soglie più caute). Abbiamo pochissimi strumenti per gestire i vandalismi, per me ben venga provarlo. Il filtro anti abusi è utile per alcuni casi e palesemente inadeguato per altri. È uno strumento molto tecnico (e da configurare ad hoc) che solo una minima parte degli amministratori utilizza, ogni piccola modifica a un filtro può causare disastri, il registro del filtro viene monitorato da poche persone e reintegrare un falso positivo (se viene scoperto) è poco pratico. I falsi positivi sono chiaramente da preventivare anche con l'Automoderator, ma ricordo che lo strumento è all'atto pratico un'utenza, con i propri annullamenti visibili nelle ultime modifiche e in cronologia, che possono essere annullati da chiunque. Da un paio di giorni i singoli progetti possono chiedere che venga attivato. Non credo sia il caso di essere tra i primi a partecipare, ma più avanti perché no? In ogni caso questa discussione verte più che altro a raccogliere ulteriori dati e feedback con dati alla mano. Avete fatto il test menzionato? Com'è andata? --Titore (msg) 17:32, 12 ott 2024 (CEST)
- [@ Samwalton9 (WMF)] the tool seems heavily biased against IPs, I checked a significant number of edits from IPs which Automoderator would rollback and most of them did not really deserve such a high revert risk score as that assigned. Do we have feedback from the projects were this has already been deployed? --Civvì (Parliamone) 16:36, 12 ott 2024 (CEST)
Fatto il test con alcuni dataset e soglie diverse e concordo con Titore. Impostato con una soglia "medio-cautious" :-D può essere utile. Non col flag da bot però (ma vedo che è un'impostazione community). Io sono 
Favorevole a provare. --Civvì (Parliamone) 12:20, 13 ott 2024 (CEST)
- Ho fatto anche io un po' di test con diversi dataset, tenendo una configurazione non eccessivamente aggressiva riconosce in modo corretto i vandalismi; per questo motivo sono
Favorevole alla sua introduzione in test --Ask21 (msg) 21:37, 13 ott 2024 (CEST)