Mistral Large e Le Chat: un assistente europeo

Lunedì 26 febbraio la francese Mistral AI ha fatto tre annunci in un giorno: un nuovo modello di punta, Mistral Large, un assistente conversazionale, le Chat, e una partnership pluriennale con Microsoft. Per la prima volta un'azienda europea propone un'alternativa completa ai grandi assistenti americani. Vale la pena capire che cosa offre, e che cosa significa per chi lavora in italiano.

Chi è Mistral, in breve

Mistral si era fatta conoscere con modelli a pesi aperti, scaricabili e utilizzabili anche sui propri server. L'11 dicembre aveva rilasciato Mixtral 8x7B, un modello a «mixture of experts» distribuito con licenza Apache 2.0: 46,7 miliardi di parametri in totale, ma solo 12,9 miliardi usati per ogni token, il che lo rende veloce ed economico. Secondo Mistral eguaglia o supera GPT-3.5 nella maggior parte dei test standard. È oggi uno dei punti di riferimento tra i modelli open weight.

Con Mistral Large la strategia cambia: il nuovo modello di punta non è a pesi aperti, ma si usa via API.

Che cosa sa fare Mistral Large?

Secondo i test pubblicati da Mistral, Large è il secondo modello al mondo disponibile tramite API, dopo GPT-4. Alcune caratteristiche interessano da vicino chi lavora in Europa:

• è nativamente fluente in inglese, francese, spagnolo, tedesco e italiano, con attenzione alla grammatica e al contesto culturale;
• ha una finestra di contesto di 32.000 token, sufficiente per documenti di diverse decine di pagine;
• segue le istruzioni con precisione, tanto che Mistral lo ha usato per impostare la moderazione di le Chat;
• supporta il «function calling» e una modalità che forza l'output in JSON valido.

Insieme a Large arriva Mistral Small, più rapido ed economico, che secondo l'azienda supera Mixtral 8x7B.

Dove si usa?

Ci sono tre strade. La Plateforme, il servizio di Mistral ospitato su infrastruttura in Europa. Azure, il primo partner di distribuzione: Mistral Large è disponibile da subito in Azure AI Studio e Azure Machine Learning. E l'installazione sui propri sistemi, con accesso ai pesi del modello, per i casi più sensibili.

Per chi vuole semplicemente provare c'è le Chat, in beta e accessibile con registrazione. Si può scegliere tra Mistral Large, Mistral Small e un prototipo chiamato Mistral Next, pensato per risposte brevi e concise. Un limite da tenere presente: le Chat per ora non accede a Internet, quindi può dare informazioni imprecise o datate. Per le aziende è annunciata una versione Enterprise, con installazione dedicata e moderazione configurabile.

Cosa cambia per chi progetta con i prompt?

La prima novità è la lingua. Un modello che dichiara l'italiano tra le lingue native merita di essere messo alla prova sui testi di tutti i giorni: email ai clienti, sintesi di documenti, risposte all'assistenza. La seconda è la scelta: fino a poco tempo fa per un'azienda italiana il confronto era quasi solo tra OpenAI e Google, oggi c'è anche un'opzione europea con dati ospitati in Europa.

La terza riguarda la progettazione. Un sistema di prompt ben costruito non dovrebbe dipendere da un solo fornitore. Il system prompt, gli esempi, il formato di uscita: se sono scritti in modo chiaro, si possono spostare da un modello all'altro con pochi ritocchi. La modalità JSON, in particolare, aiuta a rendere l'output prevedibile e confrontabile tra modelli diversi.

Un esempio da provare su le Chat con Mistral Large:

Sei un assistente dell'ufficio clienti di un'azienda di arredamento. Leggi il messaggio del cliente qui sotto e restituisci solo un oggetto JSON con questi campi: «categoria» (consegna, reso, garanzia, altro), «urgenza» (alta, media, bassa), «sintesi» (massimo 30 parole, in italiano), «risposta_proposta» (tono cordiale, massimo 80 parole). Se mancano informazioni, scrivile nel campo «dati_mancanti».

Il consiglio operativo

Chi usa già GPT-4 può fare un test semplice: prendere tre o quattro prompt che funzionano bene nel proprio lavoro, eseguirli su Mistral Large senza modifiche e annotare dove il risultato è migliore, uguale o peggiore. Poi ritoccare il prompt e ripetere. Si scopre così quanto il proprio sistema è legato a un singolo modello e quanto, invece, è davvero progettato.

Avere più modelli tra cui scegliere è una buona notizia. Ma lo è davvero solo per chi ha prompt abbastanza solidi da poterli spostare.

Fonti

• Mistral AI, Mixtral of experts, 11 dicembre 2023
• Mistral AI, Au Large, 26 febbraio 2024
• Mistral AI, Le Chat, 26 febbraio 2024
• Microsoft, Microsoft and Mistral AI announce new partnership to accelerate AI innovation and introduce Mistral Large first on Azure, 26 febbraio 2024