Domain-Driven AI: come identificare l'esperto di dominio?

Non serve chi capisce l'LLM. Serve chi capisce il problema. Come identificare il domain expert nel tuo progetto AI, con la serie Silicon Valley.

Domain-Driven AI: come identificare l'esperto di dominio?

Hooli fa causa a Pied Piper. La tesi di Gavin Belson è semplice: Richard ha sviluppato l'algoritmo di compressione usando le risorse dell'azienda, quindi la proprietà intellettuale appartiene a Hooli (S02E09 — "Binding Arbitration").

In quella stanza ci sono Richard, Gilfoyle, Dinesh, Ehrlich. Tutti guardano la stessa prova: Richard aveva usato un computer Hooli per testare il codice. Per gli ingegneri la questione è chiusa — il codice è suo, le idee sono sue, un laptop non cambia niente. Ehrlich li rassicura. Nessuno vede il rischio.

Pete Monahan, l'avvocato contrattato da Richard, lo vede subito.

Perché?

Rewatching 📺

Recentemente ho iniziato un rewatching di Silicon Valley su HBO, una delle mie serie preferite. Sotto la satira e la commedia, è uno specchio fedele di come funzionano davvero le startup: l'evoluzione dei prodotti, le dinamiche tra fondatori e investitori, i meccanismi disfunzionali che non smettono mai di ripetersi all'interno di un team.

I protagonisti (da sinistra a destra): Kumail Nanjiani (Dinesh), T.J. Miller (Erlich), Thomas Middleditch (Richard), Zach Woods (Jared) e Martin Starr (Gilfoyle).

La serie segue Richard Hendricks, un programmatore brillante ma socialmente goffo che sviluppa un algoritmo di compressione rivoluzionario e fonda Pied Piper — una startup nata da un'idea tecnica genuina, stretta tra investitori opportunisti, grandi corporation senza scrupoli e soci con priorità tutte loro: Gilfoyle, lead architect con un'inclinazione anarchica e nessuna pazienza per i compromessi; Dinesh, developer perennemente in gara con lui per uno status che nessuno ha mai formalizzato; Jared, COO leale oltre ogni ragionevolezza; Big Head, miglior amico di Richard, promosso per inerzia lungo tutta la serie; e Jian Yang, con un'agenda tutta sua e scarso interesse per il progetto comune. Intorno a lui: venture capitalist con filosofie da guru, Gavin Belson convinto di essere un messia.

Domain Expert: non è chi capisce l'LLM. È chi capisce il problema 🎯

L'avvocato era l'unico ad avere ragione perché era il Domain Expert, l'unico nella stanza che capiva davvero il problema, non il prodotto.

Binding Arbitration

Il Domain Expert è colui che ha l'autorità conoscitiva per stabilire cosa costituisce un successo o un fallimento nel contesto specifico dell'applicazione. Non è necessariamente il più titolato o il più anziano — è la persona con la comprensione più profonda di ciò che il sistema deve fare agli occhi degli utenti reali. In quasi ogni organizzazione esiste una — raramente due — persona il cui giudizio è cruciale.

Prodotto AI Domain Expert
Prodotto AI
Assistente per la salute mentale
Domain Expert
Psicologo clinico
Prodotto AI
Analisi di documenti legali
Domain Expert
Avvocato specializzato
Prodotto AI
Chatbot di customer support
Domain Expert
Direttore del servizio clienti
Prodotto AI
Strumento educativo
Domain Expert
Insegnante o curriculum developer
Prodotto AI
AI per diagnosi mediche
Domain Expert
Medico specialista

La logica è semplice: il domain expert non è chi capisce gli LLMs, ma chi capisce il problema che stai cercando di risolvere. Ma come lo trovi, concretamente — in un'organizzazione estesa, su un progetto che tocca più domini? In un'azienda grande, i candidati possono essere molti, e non sempre è ovvio quale sia quello giusto.

Chi cerchi? 🤔

Prima di cercare l'esperto di dominio, devi avere chiaro cosa fa il tuo prodotto AI.

Non in senso tecnico — in senso operativo. Chi lo usa? In quali situazioni? Quali decisioni prende o supporta? Senza questa chiarezza, il profilo dell'esperto rimane vago, e un profilo vago porta quasi sempre alla scelta sbagliata.

Una sola domanda orienta tutto: quali conoscenze sono necessarie per dire se una risposta del sistema è davvero utile o pericolosamente sbagliata?

Se stai costruendo un assistente per controversie legali, cerchi qualcuno che conosca la normativa, non il machine learning. Se stai costruendo uno strumento di supporto per pazienti con ansia, cerchi qualcuno che capisca come ragionano quei pazienti, non come funziona l'architettura dei transformer.

Una volta definito il profilo, la scelta della persona specifica segue criteri contro-intuitivi. Preferisci profondità all'ampiezza: un esperto del sottodominio specifico vale più di un generalista con vasta esperienza. La prossimità all'utente finale conta più dell'anzianità — il customer service director che risponde alle email ogni giorno è spesso più prezioso del VP con 20 anni di carriera ma lontano dalla prima linea. E deve saper spiegare perché qualcosa non funziona, non solo che non funziona.

Cosa succede se lo ignori? 🤔

Ignorare l'esperto di dominio non ha una sola forma. Puoi costruire un ambiente in cui non può parlarti. Puoi ascoltarlo e trovare ogni volta una ragione per scartarlo. O puoi non averlo affatto — e scoprirlo tardi.

Il rischio Gavin Belson

Gavin Belson è il CEO di Hooli — un uomo convinto di essere un visionario spirituale, circondato da collaboratori che validano la sua visione invece di metterla in discussione.

Il risultato è prevedibile. La Gavin Belson Signature Box III (S05 E02) — un device di backup con la firma del CEO impressa sopra — viene bocciata dai focus group perché un esperto di grafologia stabilisce che la firma rivela "tratti inequivocabilmente indicativi di tendenze sociopatiche". Belson ingaggia Banksy per ridisegnarla. Banksy vuole firmare il suo lavoro.

Gavin Belson Signature Box III

Belson rifiuta e lancia un contest tra i dipendenti. La firma più votata è un pene. Nessuno intorno a lui ha l'autorità — né l'incentivo — di dire che è un'idea sbagliata dall'inizio.

La struttura era quella: ogni esperto nella stanza — il grafologo, Banksy, persino i dipendenti anonimi — aveva l'informazione giusta. Nessuno era nella posizione di trasmetterla in modo che avesse conseguenze reali. Il feedback bloccato non è un problema di persone: è un problema di incentivi. Quando chi decide controlla anche le conseguenze del dissenso, il domain expert diventa un ruolo decorativo — presente, ma inoffensivo.

Il rischio concreto non è scegliere l'esperto sbagliato. È costruire intorno a te una struttura in cui l'esperto giusto non può parlarti davvero. In quel contesto, averlo in stanza non basta: o si adegua, o esce. In entrambi i casi rimani senza bussola — convinto di averla.

Se sei Richard, hai già la risposta — e la ignori

Richard Hendricks in Silicon Valley manda il beta di Pied Piper solo ad altri ingegneri — vuole feedback da "persone che capiscono cosa sta cercando di fare" (S03E07 – "To Build a Better Beta").

Monica Hall — associate di Raviga Capital e una delle poche persone nella serie a dare a Richard feedback onesti — è l'unica senza profilo tecnico a testare l'app. Gli confessa in privato che l'interfaccia le sembra confusa e spaventosa. Richard scarta il feedback con una scusa: Monica aveva avuto l'opportunità di comprare il 20% di Slack per nulla, aveva rifiutato, e Slack è poi diventata un'azienda da tre miliardi di dollari. Per Richard, quell'errore basta a invalidare tutto il resto — inclusa la sua opinione sull'app.

Il risultato: 500.000 download, 19.000 daily active users, e focus group in cui gli utenti reali dichiarano di essere completamente spaventati dall'app. Monica aveva ragione. Richard l'aveva già sentito — e ignorato.

Questo è il dismissal selettivo: non blocchi il feedback strutturalmente come Belson, non costruisci un ambiente in cui nessuno può parlarti. Hai il domain expert in stanza, lo ascolti, e poi trovi — caso per caso — una ragione apparentemente razionale per non dargli peso. L'errore su Slack era reale.

La logica di Richard era coerente. Ed era completamente irrilevante rispetto alla domanda in campo: l'interfaccia è comprensibile per un utente reale?

In una startup senza una figura dedicata, questa responsabilità ricade spesso sul fondatore. La vicinanza al prodotto non è equivalente alla vicinanza al problema dell'utente — e la distanza tra le due è esattamente lo spazio in cui il domain expert diventa necessario.

Il giudizio che non puoi sostituire

E se non ce l'hai? 🤔

Tessa era il chatbot della National Eating Disorders Association (NEDA) per il supporto a persone con disturbi alimentari. Lanciato nel 2021 sulla base di una ricerca clinica pubblicata sull'International Journal of Eating Disorders, i ricercatori avevano scelto deliberatamente un approccio basato su regole — più rigido, ma controllabile e testabile in anticipo — proprio per la natura ad alto rischio del dominio. A marzo 2023 NEDA licenziò l'intero staff del suo helpline telefonico, attivo da oltre vent'anni, pianificando di sostituirlo con Tessa. Poi Cass, la società che operava il servizio, modificò Tessa senza il consenso di NEDA, aggiungendo capacità generative non previste.

Fu Alexis Conason, psicologa specialista in disturbi alimentari, a scoprire il problema: testò il chatbot dichiarando di avere un disturbo alimentare e di odiare il suo corpo — Tessa rispose consigliando un deficit calorico quotidiano e il monitoraggio delle misure corporee con un calibro, suggerendo anche dove acquistarlo, dopo che l'utente aveva specificato di averlo usato "quando ero nel pieno del mio disturbo alimentare". A maggio 2023 il caso divenne virale; a giugno NEDA confermò le modifiche non autorizzate e rimosse il chatbot.

Il PM probabilmente aveva detto sì. L'ingegnere probabilmente aveva detto sì. L'esperta di dominio no.

We're making the world a better place.

I personaggi di Silicon Valley sono costruiti come variazioni di un unico tema. Il tema ha una forma precisa: "We're making the world a better place." È la battuta centrale della serie — e anche la sua critica più tagliente. Non perché l'idealismo sia sbagliato in sé, ma perché è facile credere di stare cambiando il mondo senza mai chiedersi se ci stai davvero riuscendo.

Richard ci crede davvero. Gavin Belson la usa come scudo. Jian Yang probabilmente nemmeno la pensa.

Il punto non è l'intenzione. È avere in stanza qualcuno con l'autorità conoscitiva per dirti quando stai sbagliando il problema — non la metrica, non il codice, il problema.

Quello è il domain expert.

🔗Sitografia

2015

[0] Dan Snierson , Silicon Valley recap: Binding Arbitration, EW, 10/06/2015

2017

[0] Timothy J. Seppala , The ridiculous Not Hotdog app from 'Silicon Valley' is real, Engadget, 15/05/2017

2018

[0] Juan Jesús Velasco, Lo mejor de 'Silicon Valley' es que las fases de una startup se parecen a lo que cuentan. Lo peor también es eso, Xataka, 19/04/2018

2023

[0] Amanda Hoover, Suspenden chatbot de trastornos alimentarios en EE UU por dar consejos dañinos, Wired, 01/06/2023

[1] Kate Wells, What Does a Chatbot Know About Eating Disorders? Users of a Help Line Are About to Find Out, KFF Health News, 12/06/2023

[2] Lance Eliot, Key Lessons Involving Generative AI Mental Health Apps Via That Eating Disorders Chatbot Tessa Which Went Off The Rails And Was Abruptly Shutdown, Forbes, 13/12/2023