Modello multimodale

Che cos'è un modello multimodale?

I primi modelli linguistici lavoravano solo con il testo: si scriveva una domanda e si riceveva una risposta scritta. Un modello multimodale accetta e combina anche altri tipi di informazione, come immagini, audio, video e codice. Può descrivere una foto, leggere un grafico, interpretare uno schema disegnato a mano. Nel marzo 2023 OpenAI ha presentato GPT-4 come un modello che accetta in ingresso testo e immagini.

Che cosa vuol dire «nativamente multimodale»?

Secondo Google, finora i modelli multimodali nascevano spesso unendo componenti addestrati separatamente per ciascun tipo di dato. Gemini, presentato il 6 dicembre 2023, è stato invece addestrato fin dall'inizio su testo, codice, audio, immagini e video. Google sostiene che questo approccio migliori il ragionamento quando le informazioni arrivano da fonti diverse.

Come cambia il prompt?

Con un modello multimodale il prompt non è più solo una frase: è un insieme di testo e materiali. Conviene dire al modello dove guardare, chiedergli di descrivere ciò che vede prima di trarre conclusioni e di separare ciò che è visibile da ciò che deduce. Per i testi poco leggibili è utile chiedere di segnalarli invece di indovinarli. Anche i materiali vanno scelti con cura: un'immagine nitida e ritagliata sulla parte che interessa vale più di molte parole di spiegazione.