Il team di ingegneri di X ha rilasciato il mese scorso il codice per il suo algoritmo di raccomandazione “per te”. Elon Musk ha descritto la pubblicazione come una vittoria per la trasparenza, affermando: “Sappiamo che l’algoritmo è stupido e necessita di enormi miglioramenti, ma almeno puoi vederci lottare per migliorarlo in tempo reale e con trasparenza”. Musk ha aggiunto: “Nessun’altra società di social media lo fa”.
X è l’unico grande social network ad offrire elementi open source del suo algoritmo di raccomandazione. Tuttavia, i ricercatori sostengono che il codice pubblicato fornisce una trasparenza limitata per comprendere le operazioni della piattaforma nel 2024. Il codice assomiglia a una versione redatta rilasciata nel 2023, secondo John Thickstun, assistente professore di informatica alla Cornell University.
Thickstun ha dichiarato a Engadget, “Ciò che mi preoccupa di queste versioni è che ti danno la pretesa di essere trasparenti nel rilasciare il codice e la sensazione che qualcuno potrebbe essere in grado di utilizzare questa versione per fare una sorta di lavoro di audit o di supervisione e il fatto è che ciò non è affatto possibile.
Dopo il rilascio, gli utenti di X hanno condiviso discussioni approfondite interpretando il codice per consigliare ai creatori come aumentare la visibilità. Un post, visualizzato più di 350.000 volte, affermava che X “premierà le persone che conversano” e “innalzerà le vibrazioni di X”. Un altro post, con oltre 20.000 visualizzazioni, affermava che pubblicare video è fondamentale. Un terzo post raccomandava di attenersi a una “nicchia” perché “cambiare argomento danneggia la tua portata”.
Thickstun ha messo in guardia dal ricavare strategie per la viralità dal codice. “Non possono trarre queste conclusioni da ciò che è stato rilasciato”, ha detto. Il codice rivela dettagli operativi minori, come il filtraggio dei contenuti più vecchi di un giorno. Thickstun ha descritto gran parte delle informazioni come “non utilizzabili” per i creatori di contenuti.
Un cambiamento strutturale significativo separa l’attuale algoritmo dalla versione 2023. Il nuovo sistema utilizza un modello linguistico di grandi dimensioni simile a Grok per classificare i post. Ruggero Lazzaroni, Ph.D. ricercatore dell’Università di Graz, ha spiegato la differenza: “Nella versione precedente, questo era codificato: hai preso quante volte qualcosa è piaciuto, quante volte qualcosa è stato condiviso, quante volte qualcosa è stato risposto… e poi in base a questo calcoli un punteggio, e poi classifichi il post in base al punteggio.”
“Ora il punteggio non deriva dalla quantità reale di Mi piace e condivisioni, ma da quanto è probabile che Grok pensi che ti piacerebbe e condivideresti un post”, ha continuato Lazzaroni. Questo spostamento aumenta l’opacità, secondo Thickstun. “Molti più processi decisionali… avvengono all’interno delle reti neurali a scatola nera che stanno addestrando sui loro dati”, ha affermato. “Il potere decisionale di questi algoritmi si sta spostando sempre di più non solo fuori dalla vista del pubblico, ma in realtà fuori dalla vista o dalla comprensione anche degli ingegneri interni che lavorano su questi sistemi, perché vengono spostati in queste reti neurali.”
La nuova versione omette i dettagli precedentemente divulgati nel 2023 sulla ponderazione delle interazioni per il posizionamento. Nel 2023, X ha specificato che una risposta equivaleva a 27 retweet e una risposta che generava una risposta dall’autore originale equivaleva a 75 retweet. X ha cancellato queste ponderazioni nell’ultimo codice, citando “motivi di sicurezza”.
Il codice non fornisce informazioni sui dati di training per il modello. Mohsen Foroughifar, assistente professore di tecnologie aziendali presso la Carnegie Mellon University, ha sottolineato questa lacuna: “Una delle cose che vorrei davvero vedere è quali sono i dati di addestramento che stanno utilizzando per questo modello. Se i dati utilizzati per l’addestramento di questo modello sono intrinsecamente distorti, allora il modello potrebbe effettivamente finire per essere ancora distorto, indipendentemente dal tipo di cose che si considerano all’interno del modello. ”
Lazzaroni, che lavora a un progetto finanziato dall’UE che simula le piattaforme di social media per testare gli approcci di raccomandazione, ha notato che il codice stesso è privo del modello stesso. “Abbiamo il codice per eseguire l’algoritmo, ma non abbiamo il modello necessario per eseguire l’algoritmo”, ha affermato. Ciò impedisce ai ricercatori di riprodurre l’algoritmo di X.
Lo studio dell’algoritmo ha valore oltre i social media. Thickstun ha osservato che le sfide con le raccomandazioni sui social media rispecchiano i problemi dei chatbot AI. “Molte di queste sfide che stiamo vedendo sulle piattaforme di social media e sui [sistemi] di raccomandazione appaiono in modo molto simile anche con questi sistemi generativi”, ha affermato. “Quindi puoi estrapolare in un certo senso il tipo di sfide che abbiamo visto con le piattaforme di social media fino al tipo di sfide che vedremo con l’interazione con le piattaforme GenAI.”
Lazzaroni, che simula comportamenti tossici sui social media, ha criticato le priorità nello sviluppo dell’intelligenza artificiale. “Società AIEs, per massimizzare il profitto, ottimizzare i grandi modelli linguistici per il coinvolgimento degli utenti e non per dire la verità o preoccuparsi della salute mentale degli utenti”, ha detto. “E questo è esattamente lo stesso identico problema: guadagnano di più, ma gli utenti ottengono una società peggiore, o ne ottengono una salute mentale peggiore.”
Il rilascio è avvenuto il mese scorso, con la versione 2023 che fungeva da benchmark precedente. L’approccio di X è in contrasto con altre piattaforme, come ha osservato Musk, anche se i ricercatori ne mettono in dubbio l’utilità per la supervisione o l’auditing. Le interpretazioni degli utenti si sono moltiplicate immediatamente, nonostante gli avvertimenti degli esperti sui limiti del codice. La transizione a una classificazione basata su reti neurali sostituisce i conteggi espliciti delle interazioni con previsioni del modello, oscurando ulteriormente i processi. Le revisioni riguardano sia le ponderazioni che i dettagli della formazione, limitando l’analisi esterna.
Thickstun ha evidenziato le implicazioni del cambiamento sia per la comprensione interna che per quella esterna. L’attenzione di Foroughifar sui dati di addestramento sottolinea i rischi di pregiudizio. La sfida riproduttiva di Lazzaroni blocca la ricerca basata sulla simulazione. Secondo i ricercatori, questi elementi collettivamente diminuiscono le pretese di trasparenza del comunicato.
