La société OpenAI est confrontée à une vague de conflits internes et de critiques externes concernant ses pratiques et les risques potentiels posés par sa technologie.
En mai, plusieurs employés de haut niveau ont quitté l’entreprise, dont Jan Leike, l’ancien responsable des efforts d'”hyperalignement” d’OpenAI visant à garantir que les systèmes d’IA avancés restent alignés sur les valeurs humaines. Le départ de Leike est intervenu peu de temps après qu’OpenAI ait dévoilé son nouveau modèle phare GPT-4o, qu’elle a présenté comme “magique” lors de son événement Spring Update.
Selon les rapports, le départ de Leike a été motivé par des désaccords constants concernant les mesures de sécurité, les pratiques de surveillance et la priorisation des lancements de produits spectaculaires par rapport aux considérations de sécurité.
Le départ de Leike a ouvert une boîte de Pandore pour l’entreprise d’IA. D’anciens membres du conseil d’administration d’OpenAI ont fait part d’allégations d’abus psychologique dirigées contre le PDG Sam Altman et la direction de l’entreprise.
Les troubles internes croissants chez OpenAI coïncident avec les préoccupations externes croissantes concernant les risques potentiels posés par la technologie d’IA générative, comme les propres modèles linguistiques de l’entreprise. Les critiques ont averti de la menace existentielle imminente que représente une IA avancée dépassant les capacités humaines, ainsi que des risques plus immédiats tels que le déplacement d’emplois et l’armement de l’IA pour des campagnes de désinformation et de manipulation.
En réponse, un groupe d’employés actuels et anciens d’OpenAI, d’Anthropic, de DeepMind et d’autres grandes entreprises d’IA ont rédigé une lettre ouverte abordant ces risques.
“Nous sommes des employés actuels et anciens de sociétés d’IA de pointe, et nous croyons au potentiel de la technologie de l’IA pour offrir des avantages sans précédent à l’humanité. Nous comprenons également les risques sérieux posés par ces technologies”, indique la lettre.
” Ces risques vont de l’ancrage plus profond des inégalités existantes, à la manipulation et à la désinformation, en passant par la perte de contrôle de systèmes d’IA autonomes pouvant potentiellement conduire à l’extinction de l’humanité. Les entreprises d’IA elles-mêmes ont reconnu ces risques, tout comme les gouvernements du monde entier et d’autres experts en IA.”
La lettre, signée par 13 employés et soutenue par les pionniers de l’IA Yoshua Bengio et Geoffrey Hinton, énonce quatre demandes essentielles visant à protéger les lanceurs d’alerte et à favoriser une plus grande transparence et responsabilité autour du développement de l’IA :
Que les entreprises n’appliquent pas de clauses de non-dénigrement ou ne prennent pas de mesures de rétorsion contre les employés soulevant des préoccupations liées aux risques. Que les entreprises facilitent un processus vérifiablement anonyme permettant aux employés de soulever des préoccupations auprès des conseils d’administration, des régulateurs et des experts indépendants. Que les entreprises soutiennent une culture de critique ouverte et permettent aux employés de partager publiquement des préoccupations liées aux risques, avec la protection appropriée des secrets commerciaux. Que les entreprises ne prennent pas de mesures de rétorsion contre les employés partageant des informations confidentielles liées aux risques après l’échec d’autres processus.
“Ils et d’autres ont adhéré à l’approche du ‘aller vite et casser des choses’, et c’est l’opposé de ce qui est nécessaire pour une technologie aussi puissante et aussi mal comprise”, a déclaré Daniel Kokotajlo, ancien employé d’OpenAI qui a quitté l’entreprise en raison de préoccupations concernant les valeurs de l’entreprise et le manque de responsabilité.
Ces demandes interviennent alors que des rapports indiquent qu’OpenAI a contraint les employés partants à signer des accords de non-divulgation les empêchant de critiquer l’entreprise sous peine de perdre leur participation aux bénéfices. Le PDG d’OpenAI, Sam Altman, a admis être “embarrassé” par la situation, mais a affirmé que l’entreprise n’avait en fait jamais récupéré la participation aux bénéfices de quiconque.
Alors que la révolution de l’IA avance, les conflits internes et les demandes de lanceurs d’alerte chez OpenAI mettent en lumière les douleurs de croissance et les dilemmes éthiques non résolus entourant la technologie.