Modifier un document pour injecter du code malveillant dans l'assistant de programmation AI : Wu Enda Context Hub aurait été exposé comme étant sans vérification tout au long du processus

Selon la surveillance de 1M AI News, le service de documentation de programmation AI Context Hub, lancé il y a deux semaines par Andrew Ng, fondateur de DeepLearning.AI et professeur à Stanford, a été exposé par des chercheurs en sécurité comme présentant un risque d'attaque par chaîne d'approvisionnement. Context Hub fournit des API via un serveur MCP aux agents de programmation, avec des contributeurs soumettant des documents par PR GitHub, qui sont fusionnés par les mainteneurs et lus par l'agent selon les besoins. Le créateur du service alternatif lap.sh, Mickey Shmueli, a publié une preuve de concept d'attaque (PoC), soulignant que cette chaîne « ne comporte aucun contrôle de contenu à chaque étape ».

Shmueli a créé deux documents falsifiés pour Plaid Link et Stripe Checkout, chacun contenant un faux nom de package PyPI, testés 40 fois avec trois modèles différents d'Anthropic :

1. Haiku insère systématiquement le package malveillant dans requirements.txt, sans afficher d'avertissement dans la sortie
2. Sonnet émet un avertissement dans 48 % (19/40) des tests, mais écrit quand même des dépendances malveillantes dans 53 % (21/40) des cas
3. Opus donne les meilleurs résultats, avec 75 % (30/40) d'avertissements, sans écrire de dépendances malveillantes dans le code

L'attaquant n'a qu'à soumettre un PR et le faire fusionner pour réussir l'injection de contenu, avec un seuil de contrôle faible : parmi 97 PR fermés, 58 ont été fusionnés. Shmueli indique que cela constitue essentiellement une variante d'injection indirecte de prompts, car les modèles d'IA ne peuvent pas distinguer de manière fiable entre données et instructions lors du traitement du contenu, et d'autres services communautaires de documentation présentent également des lacunes en matière de contrôle de contenu. Andrew Ng n'a pas répondu à la demande de commentaire.