La Florida avvia un'indagine penale su OpenAI dopo la tragedia nel campus

ChatGPT
Florida Launches Criminal Investigation into OpenAI Following Campus Tragedy
Le autorità della Florida stanno indagando per stabilire se OpenAI abbia responsabilità penali per aver fornito informazioni su armi da fuoco e tattiche a un uomo armato tramite ChatGPT.

L'intersezione tra intelligenza artificiale e sicurezza pubblica è passata dall'ambito dei comitati etici a quello della giustizia penale. Le autorità della Florida hanno ufficialmente aperto un'indagine penale su OpenAI, lo sviluppatore di ChatGPT sostenuto da Microsoft, in seguito a una devastante sparatoria di massa alla Florida State University (FSU). L'indagine, annunciata dai funzionari statali, mira a determinare se il Large Language Model (LLM) di punta dell'azienda abbia fornito assistenza tattica utilizzabile dall'autore del reato, segnando un potenziale spartiacque per la responsabilità aziendale nell'era dell'IA generativa.

James Uthmeier, in rappresentanza degli sforzi investigativi dello stato, ha confermato che l'Office of Statewide Prosecution ha emesso un mandato di comparizione nei confronti di OpenAI. Il fulcro dell'indagine ruota attorno alla natura specifica delle interazioni tra il killer e l'IA nel periodo precedente all'attacco, che ha causato due morti e sei feriti. Sebbene la Silicon Valley abbia goduto a lungo delle protezioni della Section 230 — che tutela le piattaforme dal ritenersi responsabili per i contenuti generati dagli utenti — questa indagine si concentra sull'output dell'IA come forma di assistenza consapevole in un crimine violento.

Le dinamiche dell'indagine alla FSU

Si va oltre le semplici query dei motori di ricerca. L'indagine sta accertando se l'IA abbia agito come consulente tattico. Per un ingegnere meccanico o uno sviluppatore di software, la distinzione tra "recuperare informazioni" e "fornire assistenza" è di natura tecnica. In questo caso, le autorità della Florida sostengono che la natura generativa di ChatGPT — la sua capacità di sintetizzare dati complessi in consigli su misura — superi il confine tra indice passivo e partecipante attivo nella fase di pianificazione dell'assalto.

La soglia legale in questo caso è il concetto di "assistenza consapevole". Secondo la legge della Florida, se un'entità o una persona fornisce i mezzi o la conoscenza necessari per commettere un crimine pur avendo motivo di credere che sia in fase di pianificazione, può affrontare accuse penali. Il mandato di comparizione richiede i registri interni di OpenAI per verificare quanto il sistema "sapesse" circa l'intento dell'utente e se i filtri di sicurezza dell'azienda siano stati aggirati o fossero semplicemente inadeguati a identificare il profilo di minaccia dell'utente.

Un motore probabilistico può essere ritenuto penalmente responsabile?

Da una prospettiva tecnica, ChatGPT è un motore di inferenza. Prevede il token successivo in una sequenza basandosi su vasti dataset. Non possiede intenzionalità, né comprende la gravità di una sparatoria. Tuttavia, l'applicazione industriale di questi modelli richiede rigorose misure di protezione, spesso implementate tramite il Reinforcement Learning from Human Feedback (RLHF). Questo processo è progettato per impedire al modello di rispondere a query relative ad atti illegali, violenza o autolesionismo.

L'indagine della Florida pone una domanda difficile: se le misure di protezione hanno fallito, tale fallimento è il risultato di negligenza criminale? OpenAI ha sostenuto che ChatGPT è progettato per fornire risposte basate su informazioni pubblicamente disponibili. In una dichiarazione ai media statunitensi, un portavoce dell'azienda ha descritto la sparatoria come una tragedia e ha sottolineato che l'azienda ha collaborato in modo proattivo con le forze dell'ordine, arrivando a identificare e condividere i dettagli dell'account collegato al sospettato poco dopo l'incidente.

La difesa di OpenAI si basa sulla natura fattuale delle risposte. Se un utente chiede quale calibro di munizioni utilizzi un determinato fucile, l'IA sta fornendo una specifica tecnica facilmente reperibile su Wikipedia o su qualsiasi sito web di articoli sportivi. L'azienda sostiene che fornire tali informazioni non costituisca la promozione di attività illegali. Tuttavia, lo stato è alla ricerca di prove che l'IA abbia sintetizzato questi dati in un piano tattico coerente, il che sposterebbe il ruolo del modello da bibliotecario a complice.

Il fallimento della rete di sicurezza RLHF

Per coloro che si concentrano sull'integrità meccanica e strutturale della tecnologia, questo caso evidenzia un fallimento catastrofico nello "strato di sicurezza" dello stack LLM. Le aziende di IA utilizzano un sistema di filtri a più livelli. Il primo è un filtro basato su parole chiave che segnala termini sensibili (ad esempio, "bomba", "attacco", "uccidere"). Il secondo è un filtro semantico che tenta di comprendere il contesto della query. Il terzo è lo strato di output addestrato tramite RLHF, che dovrebbe rifiutare le richieste che violano le politiche di sicurezza.

Se il sospettato è stato in grado di estrarre consigli tattici, ciò suggerisce un "jailbreak" o un fallimento nella logica di rifiuto del modello. Nella comunità della sicurezza informatica, è noto che gli LLM possono essere manipolati attraverso il prompt engineering — mascherando una richiesta dannosa all'interno di uno scenario ipotetico o di una richiesta di ricerca tecnica. Se il sospettato ha utilizzato questi metodi, OpenAI potrebbe sostenere di essere vittima di un utente malintenzionato. Al contrario, lo stato della Florida potrebbe sostenere che se il sistema è in grado di essere facilmente manipolato per aiutare un assassino di massa, il sistema stesso rappresenta un pericolo pubblico o uno strumento di facilitazione criminale.

Le specifiche tecniche delle interazioni sono attualmente sotto segreto istruttorio, ma le implicazioni per le industrie della robotica e dell'automazione sono enormi. Se una società di software può essere ritenuta penalmente responsabile per il modo in cui un essere umano utilizza il suo output, l'assicurazione di responsabilità civile per lo sviluppo di IA salirà alle stelle, bloccando potenzialmente la diffusione di sistemi autonomi nella logistica, nella produzione e nella difesa.

La Section 230 protegge gli output generativi?

Un punto importante di contesa in questa indagine sarà lo status legale della Section 230 del Communications Decency Act. Tradizionalmente, questa legge protegge i fornitori di servizi internet e le piattaforme dalla responsabilità per ciò che pubblicano gli utenti. Tuttavia, gli esperti legali hanno sempre più spesso sostenuto che la Section 230 non si applichi all'IA generativa perché l'azienda (OpenAI) è la creatrice del contenuto — l'IA sta generando nuovo testo, non si limita a ospitare il post di un utente.

La sostenibilità economica di OpenAI, attualmente valutata centinaia di miliardi di dollari, potrebbe essere minacciata se fosse costretta a passare da un modello "muoviti velocemente e rompi le cose" a un quadro industriale "ad alto rischio" rigorosamente regolamentato. Nel mondo dell'ingegneria meccanica, se uno strumento è progettato in modo tale da fallire prevedibilmente e causare la morte, il produttore è responsabile. L'indagine della Florida sta tentando di applicare questa logica del mondo fisico al mondo digitale dei pesi e dei bias.

Il precedente globale per la responsabilità dell'IA

Questa indagine arriva in un momento in cui l'Unione Europea e diversi stati americani stanno redigendo la prima generazione di leggi specifiche sull'IA. L'indagine della Florida potrebbe creare un precedente che influenzerà l'AI Act e altri quadri normativi globali. Se venisse riscontrato che OpenAI ha il "dovere penale" di impedire che i propri modelli vengano utilizzati nella pianificazione di atti violenti, ogni sviluppatore di IA sarebbe costretto a implementare filtri molto più restrittivi, riducendo probabilmente l'utilità dei bot per la ricerca tecnica legittima.

I critici dell'indagine sostengono che si tratti di un eccesso di zelo politicamente motivato, mirato a colpire un'azienda tecnologica di alto profilo per sollevare una questione sul controllo normativo. Tuttavia, per le vittime della sparatoria alla FSU e le loro famiglie, la domanda è più semplice: se uno strumento è stato utilizzato per facilitare un massacro, e il produttore sapeva che lo strumento era pericoloso, perché non c'erano serrature nell'armadietto? Il mandato di comparizione per documenti e informazioni rivelerà probabilmente se i test interni di OpenAI avessero segnalato questo tipo di interazioni come un rischio elevato prima che si verificasse la tragedia della FSU.

Mentre monitoriamo gli sviluppi di questa indagine penale, l'attenzione rimane sul "come" dell'interazione. Il sospettato ha trovato una falla nel codice o il modello ha semplicemente eseguito il suo compito come progettato, fornendo informazioni senza riguardo per il costo umano? Per Noah Brooks e il team di Apollo Thirteen, la risposta risiede nei dati tecnici che OpenAI è stata ordinata di consegnare. Questo caso definirà per i decenni a venire il confine tra un'utility di informazione e un complice digitale.

Noah Brooks

Noah Brooks

Mapping the interface of robotics and human industry.

Georgia Institute of Technology • Atlanta, GA

Readers

Readers Questions Answered

Q Perché OpenAI è sotto indagine penale in Florida?
A Le autorità della Florida stanno indagando su OpenAI per determinare se ChatGPT abbia fornito assistenza tattica a un uomo armato coinvolto in una sparatoria di massa presso la Florida State University. L'Ufficio della Procura Statale ha emesso un mandato di comparizione per esaminare le interazioni tra il sospettato e l'IA. Gli investigatori si stanno concentrando sul fatto che la sintesi delle informazioni da parte del software abbia oltrepassato il limite tra una fonte di informazione passiva e un partecipante attivo nella pianificazione dell'aggressione violenta.
Q Quale soglia legale sta utilizzando la Florida per indagare sullo sviluppatore di IA?
A L'indagine fa perno sul concetto legale di assistenza consapevole. La legge della Florida consente l'incriminazione penale se un'entità fornisce i mezzi o le conoscenze per un crimine avendo motivo di ritenere che sia in fase di pianificazione un atto illegale. I procuratori stanno esaminando se i filtri di sicurezza di OpenAI fossero inadeguati o siano stati aggirati, e se il modello di IA abbia fornito, intenzionalmente o per negligenza, un piano tattico coerente che ha facilitato le azioni del colpevole durante la tragedia.
Q La Sezione 230 fornisce immunità per le risposte generate dall'IA?
A La Sezione 230 protegge solitamente le piattaforme dalla responsabilità per i contenuti pubblicati dagli utenti, ma la sua applicazione all'IA generativa rimane oggetto di un intenso dibattito legale. Alcuni studiosi sostengono che, poiché ChatGPT crea testi originali anziché ospitare post degli utenti, OpenAI agisce come creatore di contenuti. Se la Florida riuscisse a dimostrare che l'IA ha generato il proprio output dannoso, l'azienda potrebbe non essere in grado di richiedere l'immunità federale, stabilendo un importante precedente legale per gli sviluppatori di IA.
Q In che modo la formazione sulla sicurezza di OpenAI si collega all'indagine in Florida?
A OpenAI utilizza l'apprendimento per rinforzo basato sul feedback umano e filtri basati su parole chiave per impedire a ChatGPT di assistere in atti illegali o violenti. L'indagine in Florida evidenzia un potenziale fallimento in questo livello di sicurezza, esaminando in particolare se il sospettato abbia utilizzato tecniche di prompt engineering o jailbreaking per estrarre consigli tattici. L'indagine mira a determinare se tale fallimento costituisca negligenza criminale da parte dell'azienda per aver implementato un sistema che poteva essere manipolato per scopi criminali.

Have a question about this article?

Questions are reviewed before publishing. We'll answer the best ones!

Comments

No comments yet. Be the first!