Il chatbot Vicuna-13B AI è stato introdotto come chatbot open source che viene addestrato utilizzando la messa a punto di LLaMA con conversazioni condivise dagli utenti raccolte da ShareGPT. Questo chatbot è stato sottoposto a una valutazione preliminare utilizzando GPT-4 come benchmark, il che dimostra che raggiunge una qualità superiore al 90%* rispetto ad altri popolari chatbot come OpenAI ChatGPT e Google Bard. Vicuna-13B supera anche altri modelli, come LLaMA e Stanford Alpaca, in oltre il 90%* dei casi.
Nonostante sia quasi il doppio delle dimensioni di Stanford Alpaca, Vicuna-13B costa solo circa $ 300, che è la metà del costo di Alpaca. Questo perché i dati ShareGPT, da cui viene addestrato Vicuna, sono apertamente accessibili, mentre Stanford ha generato i propri dati tramite l’API OpenAI. Pertanto, Vicuna sostiene solo i costi di formazione. Simile al modello Stanford, Vicuna-13B è disponibile solo per scopi non commerciali.
Secondo il team dietro Vicuna, il chatbot ha dimostrato risposte significativamente meglio strutturate e più dettagliate rispetto ad Alpaca durante i test delle domande di benchmark dopo essere stato messo a punto con i dati di ShareGPT. Il team afferma che la qualità delle risposte del chatbot Vicuna-13B AI è paragonabile a quelle fornite da ChatGPT.
GPT-4 può confrontare gli output di vari chatbot, ma il metodo è considerato “non scientifico” dal team di chatbot Vicuna-13B AI e sono necessarie ulteriori ricerche – Immagine: LmSys
Per valutare ulteriormente le prestazioni del chatbot Vicuna-13B AI, il team sta utilizzando GPT-4, l’ultimo modello di OpenAI. GPT-4 consente al team di classificare e valutare in modo coerente diversi chatbot in modo dettagliato, fornendo così una valutazione più completa delle capacità di Vicuna.
Cos’è il chatbot AI Vicuna-13B?
Vicuna è un chatbot open source che è stato messo a punto utilizzando circa 70.000 conversazioni condivise dagli utenti ottenute da ShareGPT.com tramite API pubbliche. Il chatbot Vicuna-13B AI si basa su LLaMA, che è stato messo a punto per ottimizzarne le prestazioni. Per garantire la qualità dei dati, il team di ricerca ha riconvertito il formato HTML in markdown e ha rimosso campioni inappropriati o di bassa qualità. Inoltre, hanno segmentato lunghe conversazioni in parti più piccole che si adattassero alla lunghezza massima del contesto del modello.
Il team di ricerca ha sviluppato diversi miglioramenti alla ricetta di addestramento dell’alpaca di Stanford per migliorare le prestazioni della vigogna. Questi miglioramenti includono:
- Ottimizzazioni della memoria: Il team ha ampliato la lunghezza massima del contesto da 512 in Alpaca a 2048, il che ha consentito una migliore comprensione delle lunghe conversazioni. Tuttavia, ciò ha comportato un aumento significativo dei requisiti di memoria della GPU. Per mitigare questo problema, il team ha utilizzato il checkpoint del gradiente e l’attenzione flash per gestire la pressione della memoria.
- Conversazioni a più turni: Il team ha regolato la perdita di allenamento per tenere conto delle conversazioni a più turni e ha calcolato la perdita di regolazione fine solo in base all’output del chatbot.
- Riduzione dei costi tramite Istanza Spot: L’addestramento con un set di dati 40 volte più grande e una lunghezza della sequenza 4 volte maggiore ha rappresentato una notevole sfida in termini di costi. Per ridurre i costi, il team ha utilizzato lo spot gestito da SkyPilot, che utilizzava istanze spot più economiche con ripristino automatico per prelazioni e cambio di zona automatico.
Le varie ottimizzazioni apportate a Vicuna consentono al chatbot di comprendere e rispondere meglio a conversazioni complesse. Inoltre, le strategie di riduzione dei costi rendono Vicuna un’opzione più conveniente per sviluppatori e ricercatori che costruiscono sistemi di chatbot.
Per addestrare il chatbot Vicuna-13B AI, il team di ricerca ha raccolto circa 70.000 conversazioni da ShareGPT.com, una piattaforma in cui gli utenti possono condividere le proprie conversazioni ChatGPT. Gli script di addestramento forniti da Alpaca sono stati modificati per gestire meglio lunghe sequenze e conversazioni a più turni. Il team ha utilizzato PyTorch FSDP su otto GPU A100 per addestrare Vicuna in un solo giorno.
L’implementazione demo utilizzava un sistema di servizio distribuito leggero in grado di servire più modelli utilizzando lavoratori distribuiti. Questo sistema supporta plug-in di lavoro GPU flessibili sia da cluster basati su cloud che on-premise. Per ridurre i costi di servizio, il team ha utilizzato un controller a tolleranza di errore e funzionalità spot gestite in SkyPilot, che sfruttano istanze spot meno costose da più cloud.
Come usare il chatbot Vicuna-13B AI?
Puoi provare il chatbot Vicuna-13B AI seguendo questi passaggi:
- Vai a lmsys.org
- Scegli “vicuna-13b” dal menu a tendina
- Sotto vedrai una casella che dice “Inserisci il testo e premi INVIO”
- Chiedi quello che vuoi e clicca su carica.
Questo è tutto! Vale la pena notare che l’attuale versione di Vicuna è un modello demo e la versione originale potrebbe avere caratteristiche diverse. Pertanto, gli utenti devono tenere presente che le prestazioni e le capacità della versione rilasciata potrebbero differire da quelle del modello demo.
Tuttavia, il modello demo fornisce preziose informazioni sulle potenziali capacità del chatbot Vicuna-13B AI e funge da esempio promettente delle possibilità degli strumenti open source.
Quanto è buono il chatbot Vicuna-13B AI?
L’azienda ha mostrato le risposte di Alpaca e Vicuna alle loro domande di riferimento. Dopo aver messo a punto Vicuna con 70.000 conversazioni ChatGPT condivise dagli utenti, si è scoperto che Vicuna è in grado di generare risposte più dettagliate e meglio strutturate rispetto ad Alpaca. La qualità delle risposte del chatbot Vicuna-13B AI è paragonabile a quelle fornite da ChatGPT.
Di seguito è possibile osservare i prompt e le risposte di esempio di entrambi i modelli, condivisi la documentazione:
Chatbot Vicuna-13B AI: “Aloha, compagni di viaggio! Se stai cercando un paradiso tropicale con una ricca cultura e uno scenario mozzafiato, non guardare oltre le Hawaii. Il mio recente viaggio nello stato di Aloha è stata un’avventura indimenticabile, piena di emozionanti esperienze culturali e attrazioni da non perdere.
Innanzitutto, sono rimasto sbalordito dallo spirito caloroso e accogliente del popolo hawaiano. Dal momento in cui sono arrivato, mi sono sentito a casa e sono stato accolto a braccia aperte dalla gente del posto. Che si trattasse del personale dell’hotel, della mia guida turistica o degli sconosciuti amichevoli che ho incontrato per strada, tutti quelli che ho incontrato erano ansiosi di condividere il loro amore per il loro stato d’origine.
Una delle esperienze culturali più memorabili che ho avuto è stata frequentare un tradizionale luau hawaiano. A questo evento festivo, sono stato trattato con un delizioso banchetto di cucina locale, tra cui poi, laulau e maiale kalua, il tutto mentre ascoltavo il ritmo ipnotico dell’hula. I ballerini, vestiti con splendidi abiti indigeni, hanno raccontato storie delle isole e della loro storia attraverso i loro movimenti. È stata davvero una serata magica che mi ha permesso di entrare in contatto con il ricco patrimonio delle Hawaii.
Un’altra attrazione imperdibile che mi ha lasciato a bocca aperta è stata la bellezza mozzafiato del Parco nazionale di Haleakala. Il parco vanta un vulcano dormiente, il più grande dell’isola, che offre una splendida escursione all’alba o al tramonto. Quando il sole è sorto all’orizzonte, sono rimasto colpito dai colori vibranti e dalla cruda bellezza del paesaggio. È stata un’esperienza che mi ha davvero umiliato e che non dimenticherò mai.
Naturalmente, nessun viaggio alle Hawaii sarebbe completo senza trascorrere un po’ di tempo in spiaggia. Con le sue acque cristalline, la sabbia dorata e le dolci onde, Wailea Beach era il luogo perfetto per rilassarsi e prendere il sole. Che tu sia un appassionato surfista, un amante della spiaggia o semplicemente in cerca di relax, le spiagge delle Hawaii ti ruberanno sicuramente il cuore.
In conclusione, le Hawaii sono state un vero paradiso che ha superato tutte le mie aspettative. Dal momento in cui sono sceso dall’aereo, sono stato immerso in una cultura ricca, vibrante e piena di vita. Con così tante attrazioni imperdibili ed esperienze indimenticabili, le Hawaii sono la destinazione perfetta per ogni viaggiatore alla ricerca di un po’ di avventura, cultura e relax. Mahalo per la lettura, e spero di vederti presto alle Hawaii!”
Non dimenticare di dare un’occhiata al nostro confronto rapido di ChatGPT se ti piace esaminare i chatbot AI!
Conclusione
Vicuna-13B AI chatbot è uno strumento open source molto promettente che dimostra capacità impressionanti nel generare risposte ben strutturate e dettagliate, superando in molti casi alcuni dei modelli esistenti. Con l’addestramento di più modelli linguistici per diversi chatbot, il futuro dell’IA conversazionale sembra sempre più interessante.
Il potenziale per i chatbot di migliorare il servizio clienti, fornire esperienze personalizzate e facilitare varie attività è vasto e Vicuna funge da testimonianza del potere della collaborazione open source nello spingere i confini della tecnologia dei chatbot. Poiché la ricerca in questo campo continua ad evolversi, possiamo aspettarci di vedere progressi ancora più entusiasmanti nelle capacità dei chatbot.
Source: Che cos’è il chatbot Vicuna-13B AI e come si usa?