1. OpenAI heeft een gecoördineerde campagne ontwricht waarbij getracht werd redeneervermogen uit zijn AI-modellen te extraheren. Deze campagne hield in dat aanvallers modelinteracties manipuleerden zodat beschermd redeneren zichtbaar werd gemaakt voor de aanvrager op een gecoördineerde, geschaalde manier die de servicevoorwaarden schond.
2. De aanvallers kopieerden versleutelde redeneergegevens uit één gesprek en vroegen het model vervolgens in een apart gesprek om de inhoud te ontsleutelen en in platte tekst te transcriberen. De aanvallers braken de encryptie niet, compromitteerden geen database en kregen geen directe toegang tot opgeslagen gebruikersgesprekken. OpenAI heeft een bug opgelost die dit mogelijk maakte.
3. OpenAI nam de activiteit op 1 juli waar. Dit nam geleidelijk toe tot 16.000 prompts van 4.000 gebruikers op 24 en 25 juli. Op 28 juli was het aantal verdachte gebruikers gestegen tot 15.000, waarna OpenAI de operatie "volledig ontwricht" had.
4. Buitenstaanders rapporteerden in augustus een vergelijkbare kwetsbaarheid aan OpenAI.
5. OpenAI vermoedt dat personen werkzaam voor Moonshot AI, een Chinees AI-bedrijf, achter een "kerncluster" van de activiteit zaten. Moonshot AI is eerder beschuldigd van het distilleren van Amerikaanse modellen. Amerikaanse AI-bedrijven en de Amerikaanse overheid beschuldigen Chinese bedrijven zoals Moonshot AI van systematische distillatieaanvallen op hun nieuwste modellen. Cybersecurity-experts geven aan dat Chinese bedrijven gebruikmaken van zwarte of grijze markten om duizenden individuele accounts te verkrijgen voor modellen zoals Claude en ChatGPT. Vervolgens worden deze modellen overspoeld met miljoenen prompts en gegevensverzoeken om modelcapaciteiten en trainingsgegevens te kopiëren.
6. Kimi, het model van Moonshot AI, is een van de Chinese open-source AI-modellen die gebruikers en organisaties "goed genoeg" prestaties biedt tegen lage kosten.
7. OpenAI deelt geen aanvullende informatie "om veiligheidsredenen". OpenAI's blogpost citeert geen technische bewijzen of redeneringen voor de attributie.
8. OpenAI meldt dat dezelfde kwetsbaarheid bestaat in andere AI-modellen en heeft informatie gedeeld met groepen zoals het Frontier Model Forum. Naast het verbannen van overtredende accounts, heeft OpenAI de registratie- en infrastructuurcontroles verbeterd en netwerkmonitoring uitgebreid.