OpenRouter mise en cache de la réponse en ligne : même requête sans facturation, la latence passe de secondes à millisecondes

robot
Création du résumé en cours

币界网消息,OpenRouter推出响应缓存(response caching)功能,开发者在请求头中加入x-openrouter-cache: true即可启用。
首次调用正常走供应商计费,之后完全相同的请求直接返回缓存结果,不产生token费用。
缓存命中后响应时间在80到300毫秒之间,查询平均4毫秒。
未缓存时,Gemini 2.5 Flash平均约1.3秒,Kimi K2.6约4.6秒,GPT-5.5约9.1秒。
该功能与供应商的prompt缓存不同,响应缓存完全跳过供应商,从OpenRouter边缘缓存直接返回完整响应。
文本、图片、音频、文档、工具调用均可缓存,覆盖四个端点。
缓存按API key隔离,TTL默认5分钟,可设为1秒到24小时。

Voir l'original
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
  • Récompense
  • Commentaire
  • Reposter
  • Partager
Commentaire
Ajouter un commentaire
Ajouter un commentaire
Aucun commentaire
  • Épingler