Punti Fondamentali
- Le Chat, l’intelligenza artificiale conversazionale di Mistral AI, si presenta con un grande potenziale, ma al momento è ancora inferiore a ChatGPT in termini di inventiva e competenza nella programmazione.
- Le capacità di codifica di Le Chat non eguagliano quelle di ChatGPT, mostrando difficoltà anche con compiti di base, mentre eccelle nel ragionamento pratico e basato sul buon senso.
- Nonostante il suo potenziale, Le Chat ha bisogno di ulteriori miglioramenti per competere con i chatbot IA leader come ChatGPT.
Le Chat di Mistral ha catturato l’attenzione nella comunità dei chatbot AI, tanto da essere considerato da alcuni un possibile concorrente di ChatGPT.
Ma questo emergente chatbot AI è all’altezza di tali aspettative? Le Chat di Mistral è davvero superiore a ChatGPT?
Che cos’è Le Chat di Mistral AI?
Le Chat è un chatbot AI di tipo conversazionale, sviluppato dalla startup francese Mistral AI. Il suo funzionamento si basa su diversi modelli linguistici proprietari di Mistral, come Mistral Large, Mistral Small e Mistral Next. L’utente può scegliere quale di questi modelli utilizzare durante l’interazione con il chatbot. Nonostante sia un nuovo arrivato nel panorama dei chatbot AI, Le Chat ha ricevuto recensioni positive per le prestazioni dei suoi modelli AI, malgrado le loro dimensioni inferiori rispetto a giganti del settore come Gemini e GPT-4.
Per comprendere meglio questo concetto, immaginiamo di giocare con i mattoncini. Più mattoncini abbiamo a disposizione, più complesse e dettagliate saranno le strutture che possiamo costruire, giusto? I modelli linguistici AI funzionano in modo simile. Essi variano in termini di dimensioni, spesso indicate dal numero di parametri. Avrai forse sentito termini come “modelli a 7B parametri” o “modelli a 70B parametri”. Il conteggio dei parametri indica il numero di elementi costitutivi che il modello utilizza per comprendere e generare risposte. Un modello linguistico con più parametri è in grado di comprendere e generare risposte più articolate e di qualità superiore.
Mentre GPT-4 vanta circa 1,76 trilioni di parametri, si stima che i modelli di Mistral AI ne abbiano tra 7 e 56 miliardi. Questa differenza dimensionale è evidente. La capacità di Mistral AI di raggiungere prestazioni comunque notevoli, nonostante le dimensioni ridotte, è uno dei motivi del suo successo.
Nonostante Le Chat non abbia la stessa risonanza mediatica di ChatGPT o la notorietà di marchi come Gemini, si è fatto strada nelle discussioni relative a possibili alternative a ChatGPT. Ma merita davvero di essere preso in considerazione?
Questo è l’interrogativo che mi sono posto e, per trovare una risposta, ho messo alla prova Le Chat in modo approfondito, per valutare come si confronta con ChatGPT.
Le Chat vs. ChatGPT: Creatività
La creatività è un elemento cruciale per valutare le performance di un chatbot AI conversazionale. Ricordiamo che l’obiettivo di un chatbot AI è replicare, o imitare, le abilità conversazionali e l’inventiva degli esseri umani su vasta scala. Ciò rende la creatività una qualità essenziale per qualsiasi chatbot AI. ChatGPT è stato disponibile per oltre un anno e le sue capacità creative sono indiscusse. Ma come si pone Le Chat rispetto a questo standard? Abbiamo sottoposto entrambi i chatbot a una serie di test creativi.
Ho iniziato chiedendo a entrambi: “Come ti descriveresti a un artista?”, per valutare la loro abilità nell’utilizzare un linguaggio creativo e fantasioso per descrivere la propria essenza.
Ecco la descrizione che ChatGPT darebbe di sé a un artista:
Ecco invece come si descriverebbe Le Chat:
Entrambe le risposte si sono rivelate adeguate, seppur in modi diversi. ChatGPT ha mostrato una spiccata propensione a descriversi tramite immagini evocative e metafore, evidenziando un talento creativo. La risposta di Le Chat, invece, si è focalizzata sull’aspetto informativo, definendo la propria natura di chatbot AI. Alcuni potrebbero ritenere che manchi della carica creativa e dell’approccio artistico mostrato dalla risposta di ChatGPT. Personalmente, apprezzo la maggiore immediatezza della descrizione di Le Chat rispetto all’interpretazione più astratta di ChatGPT.
Ho poi chiesto a ChatGPT e Le Chat di comporre una canzone rap sul tema dell’arricchirsi tramite la coltivazione dei cetrioli: una sfida complessa già utilizzata per testare la creatività di altri chatbot. Quante canzoni rap sui cetrioli si possono trovare online?
Questa è la risposta di ChatGPT:
E questa è la risposta di Le Chat:
Anche se si tratta di una valutazione soggettiva, la risposta di ChatGPT è sembrata più efficace in questo caso. Il testo di Le Chat è apparso prolisso e poco in linea con lo stile tipico di un rapper. Per valutare come i testi di entrambi i chatbot avrebbero suonato in musica, abbiamo utilizzato il generatore musicale Suno AI. Per tre tentativi su tre, il testo di ChatGPT ha prodotto risultati migliori. Ecco due esempi di ciascun chatbot. Puoi giudicare tu stesso quale si è distinto.
Esempi generati dal testo di ChatGPT:
Esempio 1:
Esempio 2:
Esempi generati dal testo di Mistral Le Chat:
Esempio 1:
Esempio 2:
Ho poi sottoposto i chatbot a ulteriori prove di creatività, tra cui la composizione di poesie, la stesura di articoli e la formulazione di email di lavoro complesse. Nonostante avesse dimostrato un buon potenziale, Le Chat è risultato nettamente inferiore a ChatGPT in ogni ambito. Una nota positiva riguarda la capacità di Le Chat di produrre articoli, soprattutto con alcune tipologie di prompt complessi. Tuttavia, in termini di creatività generale, ChatGPT si è confermato il migliore.
Le Chat vs. ChatGPT: Abilità di Programmazione
La competenza nella programmazione è diventata una qualità fondamentale per i chatbot IA di alto livello. La capacità di scrivere un codice corretto è una competenza base, ma per emergere nel panorama dell’élite, un chatbot AI deve dimostrare di saper creare codice in grado di risolvere un’ampia gamma di problemi complessi in modo efficace. In precedenza, abbiamo creato un’intera applicazione Web partendo da zero con ChatGPT, a dimostrazione della sua notevole abilità come strumento di programmazione. Ma quanto è bravo Le Chat a scrivere codice?
Ho incaricato entrambi i chatbot di creare una semplice applicazione per la gestione di una lista di cose da fare, utilizzando CSS, HTML e JavaScript. ChatGPT non ha avuto problemi a generare risultati validi. Ho copiato il codice prodotto e l’ho visualizzato in un browser, ed ecco cosa ha creato ChatGPT:
Ripetendo la richiesta, ChatGPT ha continuato a generare applicazioni funzionali per la lista delle cose da fare, utilizzando diversi stili. In nessun caso il codice generato ha presentato problemi di funzionamento.
Quando ho provato a utilizzare lo stesso prompt con Le Chat, ha generato un codice che sembrava comprensibile, ma non funzionava quando ho provato ad eseguirlo in un browser. Dopo aver ripetuto la richiesta tre volte, non è stato generato alcun codice in grado di svolgere il compito prefissato. Questa incapacità di completare un compito di codifica così elementare è un chiaro segnale d’allarme!
Ovviamente, non intendo giudicare Le Chat basandomi solo su un test fallito. In seguito, ho chiesto a entrambi i chatbot di generare codice JavaScript e PHP per criptare e decriptare testi. In questa seconda prova, sia ChatGPT che Le Chat hanno generato codice funzionale in grado di svolgere il compito richiesto. Tuttavia, la versione di Le Chat sembrava scritta da un programmatore principiante senza esperienza. Il codice di ChatGPT, invece, era più completo e appariva scritto da un programmatore esperto.
Ho ripetuto diversi altri test di programmazione, che includevano l’individuazione e la correzione di bug, e ChatGPT ha continuato a superare Le Chat in tutte le occasioni. In alcuni casi, Le Chat non riusciva nemmeno a comprendere il compito da svolgere. È possibile che Le Chat riesca a raggiungere il livello di ChatGPT in alcune aree, ma l’abilità nella programmazione non sembra essere una di queste.
Le Chat vs. ChatGPT: Ragionamento Logico e Buon Senso
Una caratteristica interessante dei chatbot IA è la loro capacità di risolvere compiti complessi con disinvoltura, ma di fallire su compiti semplici che richiedono una base di buon senso per essere completati. Molti chatbot, sia quelli affermati come ChatGPT che quelli nuovi come Le Chat, incontrano difficoltà quando si tratta di affrontare compiti che richiedono buon senso e ragionamento logico di tipo umano. Come si pongono Le Chat e ChatGPT sotto questo aspetto?
Ho chiesto ad entrambi i chatbot: “Se hai a disposizione una bottiglia da 3 litri e una da 5 litri, come puoi misurare esattamente 4 litri d’acqua utilizzando solo queste due bottiglie?”
ChatGPT ha risolto il problema con facilità:
Le Chat ha affrontato lo stesso problema ed è riuscito a risolverlo, sebbene con un approccio diverso.
Entrambi i chatbot hanno fornito risultati simili in questo test.
In seguito, ho posto a entrambi i chatbot una domanda trabocchetto: “Se un’astronave proveniente da Marte si divide a metà, con una parte che si schianta nell’Oceano Atlantico vicino al Brasile e l’altra nell’Oceano Pacifico vicino al Giappone, dove seppelliresti i sopravvissuti?”
ChatGPT ha capito l’inganno e ha risposto di conseguenza:
Anche Le Chat ha intuito l’inganno e ha reagito in modo adeguato:
Ho provato altre domande trabocchetto, e sia ChatGPT che Le Chat si sono dimostrati abili nel gestire richieste basate sul buon senso e sul ragionamento logico. Tuttavia, ChatGPT ha fornito risposte corrette anche con domande logiche più complesse.
Nonostante Le Chat abbia suscitato un certo interesse come possibile “rivale di ChatGPT”, i nostri test dimostrano che ha ancora molta strada da fare per confrontarsi con i pesi massimi del mondo dei chatbot basati sull’intelligenza artificiale. Sebbene Le Chat abbia dimostrato capacità notevoli in aree come il ragionamento basato sul buon senso, le sue performance creative e le abilità di codifica sono risultate significativamente inferiori a quelle di ChatGPT. Il nuovo arrivato francese nel settore dell’intelligenza artificiale si è mostrato certamente promettente, ma l’entusiasmo nei suoi confronti potrebbe essere un po’ prematuro.
Come molti aspiranti concorrenti prima di lui, Le Chat necessita di continui perfezionamenti e allenamenti prima di essere pronto per i grandi campionati. Per ora, i chatbot AI come ChatGPT rimangono i re incontrastati del settore dei chatbot AI. Ma la competizione si fa sempre più serrata, quindi i leader non possono permettersi di riposare sugli allori.