The goal is to build a computer that can be more effective in understanding and interacting in natural language, but not necessarily the same way humans do it.
David Ferrucci
Nell’autunno del 2004 Charles Lickel, reasearch manager, durante una cena a Poughkeepsie con i colleghi di lavoro, notò che, alle 19 in punto, la maggior parte delle persone del ristorante Sapore Steakhouse fissavano la televisione al bar. Tutte quelle persone guardavano il campione Ken Jennings impegnato a rispondere alle domande del quiz televisivo Jeopardy! .
Dalla vittoria di Deep Blue su Garry Kasparov nel 1997, IBM cercava una nuova grande sfida e Lickel comprese subito che questa sarebbe stata perfetta, costruire una macchina in grado di competere contro un concorrente umano.
Per competere in Jeopardy!, una macchina non solo avrebbe dovuto trovare la risposta, ma anche comprendere il linguaggio naturale ed essere sicuro della risposta data. Di ritorno da Poughkeepsie, Lickel espose la sua intuizione a Paul Horn, responsabile esecutivo della ricerca in IBM, che accolse il suo suggerimento e lo propose ai membri del suo dipartimento. Infine fu David Ferrucci a raccogliere il guanto della sfida.
IBM stava già lavorando da 6 anni a un sistema di Question & Answering (Q&A) chiamato Piquant (Practical Intelligent Question Answering Technology) e in una competizione aveva risposto correttamente solo al 35% delle domande impiengando alcuni minuti per farlo. Questo sistema non era nemmeno vicina a ciò che era necessario per vincere Jeopardy! E i tentativi di adattamento di Piquant fallirono. Pertanto, era necessario un nuovo approccio al Q&A. Era il 2005 e nasceva Watson.
Una macchina sarebbe stato in grado di eguagliare in arguzia e comprensione del linguaggio naturale i campioni di Jeopardy?
1.0 – Winners cloud: Primi test
Nei test iniziali effettuati nel 2006 da David Ferrucci, a Watson furono date 500 domande dalle precedenti edizioni del quiz televisivo. Mentre il miglior concorrente umano aveva dato le risposte in metà del tempo e aveva risposto correttamente al 95% dei quesiti, la prima versione di Watson riusciva solo a dare il 15% di risposte corrette.
Come ci racconta David Ferrucci , in questo articolo “Building the team that built Watson” (2012), non è stato facile formare un team interdisciplinare, ma durante il 2007 venne creato un team inziale di 12 persone, che si sarebbe allargato a 25, con l’obiettivo di risolvere il problema in un tempo compreso fra tre e cinque anni. Infine nel dicembre del 2009 i ricercatori dichiararono che Watson avrebbe potuto competere con i campioni umani contattando i produttori di Jeopardy e a dicembre del 2010 IBM annuncia ufficialmente la sfida.
2.0 – Jeopardy!
Jeopardy! è un noto quiz , nato nel 1964 dalla mente di Merv Griffin (1925-2007), trasmesso e sospeso più volte dal palinsesto televisivo americano.
Griffin e sua moglie Julann avevano avuto l’idea di un gioco chiamato What’s the Question? e lo presentarono ai dirigenti della NBC.
La NBC offrì loro un accordo, prima ancora di guardare il pilot, ribattezzando lo show Jeopardy! e mandando in onda il primo episodio nel 1964 e dal 1984 facendolo condurre da Alex Trebek.
Ogni volta che Jeopardy viene trasmesso in televisione vengono apportate lievi modifiche, lasciando però invariata la struttura del gioco. Dal successo della versione americana sono nati in altri paesi format simili tra cui negli anni ’70 l’italiano “Rischia Tutto!” condotto da Mike Bongiorno.
Un tabellone mostra sei colonne, corrispondenti ad altrettante categorie, con 5 caselle contenenti l’indicazione dei premi dai 200 ai 1000 dollari.
Un giocatore sceglie la categoria (ad esempio: Beatles People, Name the Decade) e poi un premio in dollari tra quelli disponibili: più è alto il valore, più sarà difficile indovinare.
La casella scelta mostra l’indizio, che verrà letto dal presentatore Alex Trebek. A questo punto il concorrente più veloce a premere il buzzer (pulsante) può prenotarsi per dare la risposta sottoforma di domanda.
Indizi, come quello nell’immagine, che non sono lineari e possono contenere acronimi, indovinelli, giochi di parole e richiedono, oltre ad una padronanza della categoria, anche una capacità di discernimento difficile da acquisire per una macchina.
Se il concorrente indovina vince la somma di denaro che era indicata nella casella, altrimenti perde quella stessa cifra. Alla fine della puntata chi possiede più denaro vince e torna in veste di campione nella puntata successiva, dove dovrà sfidare altri due concorrenti.
Nascosto nel tabellone c’è anche un Daily Double. Il concorrente che ci finisce sopra ha la possibilità di rispondere senza che gli altri possano prenotarsi per dare la risposta. Prima di farlo, deve scommettere alcuni dei soldi del proprio montepremi: se indovina guadagna la cifra che aveva scommesso, nel caso di una risposta sbagliata la perde.
3.0 – Uomo Vs Macchina
The buzzer sounds.
Alex Trebek: “Watson?”
Watson: “What is …”
Una prima puntata di prova era stata registrata il 14 gennaio presso il T. J. Watson Research Laboratory davanti a un pubblico di dirigenti e clienti della compagnia IBM.
John Kelly, nuovo direttore esecutivo della ricerca di IBM, disse al pubblico di non sapere se Watson avrebbe vinto, ma di credere che la competizione rappresentasse un momento importante nella storia dell’elaborazione dei dati. Dichiarando:
La questione non è se un computer vincerà un giorno a Jeopardy!, ma quando
David Ferrucci descrive Watson come un sistema in grado di comprendere il linguaggio naturale (NLU) e di poter fornire una riposta a domande su qualsiasi argomento attraverso l’utilizzo di tecniche di information retrieval, rappresentazione della conoscenza e machine learning.
Watson non restiuisce la risposta da un database strutturato, ma attraverso l’analisi della domanda (POS, ricerca delle keywords,) in modo da comprendere la tipologia di domanda ( predictive annotation) e il contenuto della richiesta, in un secondo momento vengono generate le ipotesi per ogni possibile risposta cercando fra milioni di documenti. Infine raccogliendo e filtrando le prove assegnandovi un punteggio, combinando e pesando i risultati per scegliere la risposta corretta.
Il vero match si è svolto in tre episodi televisivi, conclusosi mercoledì 16 febbraio 2011, con Watson che ha battuto i due campioni storici: Ken Jennings e Brad Rutter.
Jennings, durante la stagione 2004-2005, ha avuto la serie di vittorie più lunga di tutto lo show con ben 74 partite di fila. Invece Rutter ha vinto più soldi di qualsiasi altro giocatore di Jeopardy! con quasi $ 3,3 milioni di dollari.
Durante i tre giorni della sfida, Watson si è comportato come un giocatore esperto, rispondendo correttamente circa al 90 % delle volte, ma sono stati gli errori a rivelare di più.
Il secondo giorno durante la fase finale del quiz, final Jeopardy, Watson rispose per la categoria US Cities che la città di Toronto in Canada fosse una città degli Stati Uniti. L’ultimo giorno, Watson è inciampato rispondendo Chemise (un tipo di abito) per un indizio della categoria Also On Your Computer Keys.
Sitografia
[1] How did supercomputer Watson beat Jeopardy champion Ken Jennings? Experts discuss
[2] ,The inside story of how the Jeopardy-winning supercomputer was born, and what it wants to do next,
[3] ,Computer Wins on ‘Jeopardy!’: Trivial, It’s Not,
[4] Why Watson Wagered $947, and Other Intel on the Jeopardy Supercomputer
[5] Joshua Davis Creates the Face of Watson, IBM’s Jeopardy Supercomputer
[6] Ken Jennings vs. Watson ‘Jeopardy’ Liveblog
[7] Mind vs. Machine
[8] Q&A: ‘Final Jeopardy’ author Stephen Baker on Watson, IBM, the future of e-books and the fate of humanity
[9] The Final Night Of IBM’s Jeopardy Challenge: How Did Watson Do?
[10] How Watson “sees,” “hears,” and “speaks” to play Jeopardy!
[11] The buzzer factor: did Watson have an unfair advantage?
[12] How I Beat IBM’s Watson at Jeopardy (3 Times!)
[13] My Puny Human Brain
[14] Building the Team That Built Watson
Bibliografia
[xyz-ips snippet=”volto-watson”]
Videografia
[1] Supercomputer: Watson(IBM computing system) – Documentary