David Magerman
Le piattaforme per l'apprendimento automatico No-code, low-code sono utili per espandere il settore analisi dati in un'impresa. Tuttavia, come molte organizzazioni stanno scoprendo ora, ci sono così tanti modi in cui la scienza dei dati può andare fallire nel risolvere nuovi problemi. Zillow ha sperimentato miliardi di dollari di perdite nell'acquisto di case utilizzando un modello di valutazione delle case basato su dati errati. La tecnologia delle risorse umane basata sui dati, specialmente quando si basa sul software di riconoscimento facciale, ha dimostrato di influenzare le decisioni di assunzione sfavorendo le categorie protette.
Mentre l'automazione è un ottimo strumento da avere nel vostro arsenale, è necessario considerare le sfide prima di utilizzare una piattaforma di ML. Queste piattaforme devono essere flessibili, configurabili e monitorabili per essere robuste e aggiungere costantemente valore nel tempo. Devono permettere ai dati di essere ponderati in modo flessibile in modi controllati dall'utente e avere strumenti di visualizzazione dei dati per individuare i valori anomali e i contributori al rumore. Hanno anche bisogno di parametri del modello automatizzati e di monitoraggi della deriva dei dati per avvisare gli utenti dei cambiamenti. Come potete vedere, non ci siamo evoluti oltre il punto in cui gli algoritmi superano l'intelligenza umana.
Quindi, non fatevi ingannare da AI/ML/low-code ... avrete ancora bisogno di persone. Diamo un'occhiata più da vicino alle ragioni del perché.
Le macchine imparano dagli umani
Cercare di sostituire gli scienziati di dati umani, i domain expert e gli ingegneri con l'automazione è una proposta che potrebbe portare al disastro se applicata ai sistemi decisionali mission-critical. Perché? Perché gli esseri umani capiscono i dati in modi in cui i sistemi automatizzati fanno ancora fatica.
Gli esseri umani possono distinguere tra errori di dati e dati insoliti (ad esempio, il trading di Game/Stop/GME a febbraio) e allineare modelli di dati insoliti con eventi del mondo reale (ad esempio, l'11 settembre, COVID, crisi finanziarie, elezioni). Comprendiamo anche l'impatto degli eventi del calendario come le festività. A seconda dei dati utilizzati negli algoritmi di ML e dei dati da prevedere, la semantica dei dati potrebbe essere difficile da scoprire per gli algoritmi di apprendimento automatico. Forzarli a scoprire queste relazioni nascoste non è necessario se non sono nascoste all'operatore umano.
A parte la semantica, la parte più difficile della scienza dei dati è differenziare tra risultati statisticamente buoni e risultati utili. È facile usare le statistiche di stima per convincersi di avere buoni risultati o che un nuovo modello dà risultati migliori di un vecchio modello, quando in realtà nessuno dei due modelli è utile per risolvere un problema del mondo reale. Tuttavia, anche con metodologie statistiche valide, c'è ancora una componente nell'interpretazione dei risultati della modellazione che richiede intelligenza umana.
Quando si sviluppa un modello, spesso ci si imbatte in problemi su quali statistiche di stima del modello misurare: come pesarle, valutarle nel tempo e decidere quali risultati sono significativi. Poi c'è tutta la questione dell'eccesso di test: Se testate troppo frequentemente lo stesso set di dati, alla fine "imparate" i vostri dati di test, rendendo i vostri risultati troppo ottimistici. Infine, dovete costruire modelli e capire come mettere insieme tutte queste statistiche in una metodologia di simulazione che sia realizzabile nel mondo reale. Bisogna anche considerare che solo perché una piattaforma di machine learning è stata impiegata con successo per risolvere uno specifico problema di modellazione e previsione, non significa che ripetere lo stesso processo su un problema diverso in quel dominio o in una verticale diversa porterà allo stesso risultato di successo.
Ci sono così tante scelte che devono essere fatte in ogni fase del processo di ricerca, sviluppo e implementazione della scienza dei dati. Avete bisogno di scienziati dei dati esperti per progettare gli esperimenti, di domain expert per capire le condizioni limite e le sfumature dei dati, e di ingegneri di produzione che capiscano come i modelli saranno distribuiti nel mondo reale.
La visualizzazione è una perla della data science
Oltre a ponderare e modellare i dati, gli scienziati dei dati beneficiano anche della visualizzazione dei dati, un processo molto manuale e più un'arte che una scienza. Tracciare i dati grezzi, le correlazioni tra i dati e le quantità previste e le serie temporali dei coefficienti risultanti dalle stime nel tempo può produrre osservazioni che possono essere reinserite nel processo di costruzione del modello.
Potreste notare una periodicità nei dati, forse un effetto giorno della settimana o un comportamento anomalo intorno alle vacanze. Potreste rilevare movimenti estremi nei coefficienti che suggeriscono che i dati anomali non vengono gestiti bene dai vostri algoritmi di apprendimento. Potreste notare un comportamento diverso nei sottoinsiemi dei vostri dati, suggerendo che potreste separare i sottoinsiemi dei vostri dati per generare modelli più raffinati. Di nuovo, gli algoritmi di apprendimento auto-organizzato possono essere usati per cercare di scoprire alcuni di questi modelli nascosti nei dati. Ma un essere umano potrebbe essere meglio attrezzato per trovare questi modelli, e poi alimentare le intuizioni da essi nel processo di costruzione del modello.
Le piattaforme ML orizzontali hanno bisogno di monitoraggio
Un altro ruolo importante che le persone giocano nell'implementazione dei sistemi AI basati sul ML è il monitoraggio del modello. A seconda del tipo di modello utilizzato, di cosa sta prevedendo e di come queste previsioni vengono utilizzate in produzione, diversi aspetti del modello devono essere monitorati in modo che le deviazioni nel comportamento siano tracciate e i problemi possano essere anticipati prima che portino a una degradazione delle prestazioni nel mondo reale.
Se i modelli vengono riaddestrati su base regolare utilizzando dati più recenti, è importante monitorare la coerenza dei nuovi dati che entrano nel processo di addestramento con i dati precedentemente utilizzati. Se gli strumenti di produzione vengono aggiornati con nuovi modelli addestrati su dati più recenti, è importante verificare che i nuovi modelli siano simili ai vecchi modelli come ci si potrebbe aspettare, dove l'aspettativa dipende dal modello e dal compito.
Ci sono chiaramente enormi benefici nell'applicare l'automazione a un'ampia serie di problemi in molti settori, ma l'intelligenza umana è ancora intrinseca a questi sviluppi. È possibile automatizzare il comportamento umano fino a un certo punto e, in ambienti controllati, replicare la potenza e le prestazioni del loro lavoro con sistemi AI basati su ML no/low-code. Ma, in un mondo in cui le macchine sono ancora fortemente dipendenti dagli esseri umani, non dimenticare mai il potere delle persone.