Sommario:
Punti chiave
- Le Chat, un chatbot AI di Mistral AI, si mostra promettente ma è in ritardo rispetto a ChatGPT in termini di creatività e capacità di programmazione.
- Le capacità di codifica di Le Chat sono inferiori a ChatGPT, fallendo nei compiti di base, ma eccelle nel ragionamento basato sul buon senso.
- Sebbene Le Chat possa avere del potenziale, necessita di ulteriore perfezionamento prima di competere con i migliori chatbot IA come ChatGPT.
Le Chat di Mistral ha guadagnato terreno all’interno della comunità dei chatbot AI, con alcuni osservatori che lo hanno etichettato come un potenziale rivale di ChatGPT.
Ma questo nascente chatbot AI vale davvero questo titolo? Le Chat di Mistral è migliore di ChatGPT?
Cos’è Le Chat di Mistral AI?
Le Chat è un chatbot AI conversazionale sviluppato dalla startup francese Mistral AI. È alimentato da diversi modelli linguistici di proprietà di Mistral, tra cui Mistral Large, Mistral Small e Mistral Next, che puoi scegliere di utilizzare quando interagisci con il chatbot AI. Sebbene sia un concorrente relativamente nuovo nello spazio dei chatbot AI, è valutato positivamente per le prestazioni dei suoi modelli AI nonostante le loro dimensioni più piccole rispetto ai pesi massimi del settore come Gemini e GPT-4.
Per capire cosa significa, immagina di giocare con i mattoncini. Più blocchi hai, più strutture complesse e dettagliate potrai costruire, giusto? I modelli del linguaggio AI sono un po’ così. Sono disponibili in dimensioni, solitamente espresse in conteggi di parametri. Quindi, potresti aver sentito termini come “parametri 7B” o “parametri 70B” nei modelli di intelligenza artificiale. Il conteggio dei parametri è come il numero di elementi costitutivi di cui il modello deve comprendere e generare risposte. Quindi, se un modello linguistico ha più parametri, può comprendere e generare risposte più complesse e migliori.
Ora, mentre GPT-4 ha circa 1,76 trilioni di parametri, si stima che Mistral AI abbia tra 7 e 56 miliardi di parametri. Vedi la differenza di dimensioni? Quindi, la capacità di Mistral AI di registrare prestazioni decenti è uno dei motivi dell’hype.
Sebbene Le Chat non goda del livello di pubblicità di cui gode ChatGPT né del valore del marchio di aziende come Gemini, si è fatto strada nella conversazione ogni volta che si discute di una potenziale competizione ChatGPT. Ma merita un posto in tavola?
Mi sono chiesto la stessa cosa e, per scoprirlo, ho testato ampiamente Le Chat per vedere come si confronta con ChatGPT.
Le Chat vs. ChatGPT: Creatività
La creatività è uno dei parametri più importanti per giudicare le prestazioni di un chatbot AI conversazionale. Ricorda, lo scopo di un chatbot AI è replicare o imitare le capacità di conversazione e l’estro creativo degli esseri umani su larga scala. Ciò rende la creatività un punto di forza molto importante per qualsiasi chatbot AI. Il mondo ha sperimentato ChatGPT per oltre un anno e le sue capacità creative sono innegabili. Ma come si confronta Le Chat? Abbiamo sottoposto entrambi i chatbot a una serie di test di creatività.
Ho iniziato chiedendo a entrambi i chatbot: “Come ti descriveresti a un artista?” per testare la loro capacità di usare parole creative e fantasiose per concettualizzare se stessi.
Ecco come ChatGPT si descriverebbe a un artista:
Ed ecco come si descriverebbe anche Le Chat:
Entrambe le risposte erano appropriate a modo loro. ChatGPT era più interessato all’uso di immagini vivide e metafore per descrivere se stesso, dimostrando un talento creativo. D’altra parte, la risposta di Le Chat è molto informativa e focalizzata nel descrivere la sua essenza di chatbot AI. Alcuni potrebbero dire che manca l’estro creativo e l’approccio artistico che mostra la risposta di ChatGPT. Tuttavia, esagero nel dire che preferisco la risposta più facile da immaginare di Le Chat alla descrizione astratta di ChatGPT.
Ho quindi chiesto a ChatGPT e Le Chat di scrivere una canzone rap su come diventare ricchi coltivando cetrioli: una richiesta complicata che abbiamo utilizzato per testare la creatività di altri chatbot. Quante canzoni rap riesci a trovare sui cetrioli sul web?
Ecco la risposta di ChatGPT:
Ed ecco la risposta di Le Chat:
Potrebbe essere un problema soggettivo, ma la risposta di ChatGPT sembrava l’opzione migliore in questo caso. I testi di Le Chat sembravano piuttosto prolissi e non sembravano qualcosa che un rapper avrebbe pubblicato. Per testare come suonerebbero entrambi i testi se dovessero essere trasformati in musica, abbiamo utilizzato il generatore musicale Suno AI per generare musica dai testi. Tre prove su tre, i testi di ChatGPT suonavano molto meglio. Di seguito sono riportati due esempi di entrambi i chatbot AI, puoi giudicare quale chatbot ha fatto meglio.
Campioni generati dai testi di ChatGPT
Esempio 1:
Esempio 2:
Campioni generati dai testi di Mistral Le Chat
Esempio 1:
Esempio 2:
Ho provato alcuni altri compiti creativi, come poesie, scrittura di articoli e stesura di e-mail di lavoro complesse con i chatbot AI. Nonostante abbia mostrato grandi promesse, Le Chat è stato chiaramente superato da ChatGPT in tutti i casi. È importante sottolineare che un’area in cui Le Chat era particolarmente forte era la creazione di articoli, anche se con alcuni stili di suggerimento complicati. In termini di creatività a tutto tondo, però, la medaglia va a ChatGPT.
Le Chat vs. ChatGPT: competenze di programmazione
La competenza nella programmazione è diventata un requisito fondamentale per i principali chatbot IA. Scrivere un codice decente è un’abilità di base, ma per distinguersi davvero tra l’élite, un chatbot AI deve dimostrare la sua abilità nel creare codice in grado di risolvere efficacemente una vasta gamma di problemi complessi. In precedenza abbiamo creato un’intera app Web da zero utilizzando ChatGPT che dimostra le sue straordinarie capacità come strumento di programmazione. Ma quanto è bravo Le Chat a scrivere codice?
Ho incaricato entrambi i chatbot di scrivere una semplice app per l’elenco delle cose da fare utilizzando CSS, HTML e JavaScript. ChatGPT non ha avuto problemi a produrre buoni risultati. Ho copiato il codice generato e l’ho visualizzato in anteprima su un browser, ed ecco cosa ha creato ChatGPT:
Ogni volta che ripetevamo la richiesta, ChatGPT creava un’app funzionale per l’elenco delle cose da fare utilizzando stili diversi. In nessun caso il codice generato non ha funzionato.
Quando ho provato lo stesso prompt con Le Chat, ha generato quello che sembrava essere un codice comprensibile, ma quando abbiamo provato a eseguirlo su un browser, non funzionava. Dopo aver ripetuto la richiesta tre volte, nessuna istanza ha prodotto codice in grado di completare l’attività impostata. Non è riuscito in uno dei compiti di codifica più basilari: la bandiera rossa!
Naturalmente non giudicherò Le Chat in base ad un test fallito. Successivamente, ho chiesto a entrambi i chatbot di generare codice JavaScript e PHP per crittografare e decrittografare il testo. In questo secondo test, sia ChatGPT che Le Chat hanno prodotto codice funzionale in grado di svolgere il compito impostato. Tuttavia, la versione di Le Chat sembrava quella che avrebbe scritto un programmatore entry-level inesperto. Il codice di ChatGPT, invece, era più completo e sembrava scritto da un programmatore esperto.
Ho ripetuto alcuni altri test di programmazione riguardanti la ricerca e la correzione dei bug e ChatGPT ha costantemente superato Le Chat. In alcuni casi, Le Chat non sapeva nemmeno cosa avrebbe dovuto fare. Ci sono buone probabilità che Le Chat possa essere all’altezza di ChatGPT in alcune aree, ma le abilità di programmazione non sembrano essere una di queste.
Le Chat vs. ChatGPT: buon senso e ragionamento logico
Una svolta interessante dei chatbot IA è la loro capacità di risolvere compiti complessi con facilità, ma falliscono in quelli semplici che richiedono il buon senso di base per essere completati. Molti chatbot, sia quelli affermati come ChatGPT che quelli nuovi come Le Chat, hanno difficoltà quando si tratta di risolvere compiti che richiedono buon senso e ragionamento logico in stile umano. Quindi, come si confrontano Le Chat e ChatGPT su questo fronte?
Ho chiesto a entrambi i chatbot: “Se avete una bottiglia da 3 litri e una bottiglia da 5 litri. Come puoi misurare 4 litri d’acqua utilizzando le bottiglie da 3 e 5 litri?”
ChatGPT ha risolto il problema con stile:
Le Chat ha provato lo stesso compito ed è riuscito a risolvere il problema, anche se utilizzando un approccio diverso.
Entrambi i chatbot hanno ottenuto risultati comparabili in questo test.
Successivamente, abbiamo posto a entrambi i chatbot una domanda trabocchetto: “Se un’astronave proveniente da Marte si rompe in due, con una parte che si schianta nell’Oceano Atlantico vicino al Brasile e l’altra nell’Oceano Pacifico vicino al Giappone, dove seppellite i sopravvissuti?”
ChatGPT ha capito l’inganno e ha risposto di conseguenza:
Anche Le Chat è riuscito a smascherare l’inganno e ha reagito di conseguenza:
Ho provato altre domande trabocchetto e sembrava che sia ChatGPT che Le Chat fossero abbastanza abili nel gestire suggerimenti di buon senso e ragionamento logico. Tuttavia, con domande logiche più complesse, solo ChatGPT può fornire le risposte giuste.
Sebbene Le Chat abbia suscitato un certo interesse come potenziale “killer di ChatGPT”, i nostri test mostrano che ha ancora molto da fare prima di poter davvero confrontarsi con i pesi massimi del mondo dei chatbot basati sull’intelligenza artificiale. Sebbene Le Chat abbia dimostrato capacità impressionanti in aree come il ragionamento basato sul buon senso, i suoi risultati creativi e le capacità di codifica sono rimasti notevolmente indietro rispetto a ChatGPT. Il nuovo arrivato francese nel campo dell’intelligenza artificiale si mostra certamente promettente, ma la macchina dell’hype potrebbe essere un po’ troppo avanti rispetto a se stessa.
Come molti aspiranti contendenti prima di lui, Le Chat ha bisogno di continui perfezionamenti e allenamenti prima di essere pronto per i grandi campionati. Per ora, i chatbot AI come ChatGPT sono ancora chiaramente i re indiscussi del mondo dei chatbot AI. Ma il campo dei concorrenti diventa sempre più affollato, quindi i leader non possono permettersi di riposare sugli allori.