Coinbase виявила проблему в Kubernetes, через яку 14 липня сталася аварійна зупинка тривалістю 50 хвилин

Coinbase опублікувала постмортем 21 липня, де визначила програмну помилку, що спричинила 50-хвилинний простій 14 липня. Через це клієнти не могли завершити перекази, робити покупки за допомогою Coinbase Card та отримувати доступ до ончейн-сервісів. Збій стався через непомічене зіткнення назв ресурсів Kubernetes під час рутинного інфраструктурного оновлення, яке змінило не той компонент мережі. Інцидент зачепив роздрібні, інституційні та платформні сервіси для розробників приблизно з 12:37 до 1:25 p.m. ET, хоча кошти клієнтів не були під ризиком. Простойся стався в той час, коли Coinbase розширює діяльність за межі спот-торгівлі криптовалютою в напрямку токенізованих акцій, безстрокових ф'ючерсів і ширших фінансових послуг — підвищуючи ставки, коли спільна інфраструктура виходить з ладу.

Зіткнення назв ресурсів Kubernetes спричинило збій шлюзу

Інженери здійснювали оновлення, яке виглядало як рутинне й низькоризикове, коли непомічене зіткнення назв ресурсів Kubernetes спричинило зміну не того компонента мережі, йдеться в постмортемі, опублікованому 21 липня. Kubernetes — це ПЗ, яке Coinbase використовує, щоб організовувати та запускати застосунки в хмарній інфраструктурі. Зіткнення назв ресурсів призвело до того, що оновлення змінювало частину ingress gateway компанії Istio, а не лише запланований компонент. Шлюз діє як диспетчер трафіку, спрямовуючи запити між внутрішніми сервісами Coinbase. Коли шлюз пішов у офлайн, системи, відповідальні за обробку угод, переказів, розрахунків і авторизацій платежів, більше не могли спілкуватися. Coinbase заявила, що інцидент «стався через ненавмисну неправильну конфігурацію важливого мережевого компонента внаслідок рутинного оновлення конфігурації», і що «у жодний момент кошти клієнтів не були під ризиком».

Простій порушив перекази, покупки за карткою та інституційні розрахунки

Збій зачепив роздрібні, інституційні та платформні сервіси для розробників Coinbase приблизно з 12:37 p.m. ET до 1:25 p.m. ET. Деякі роздрібні клієнти не могли завершити депозити, зняття коштів або транзакції поза платформою. Перекази, які вже були в процесі, виглядали «завислими», але їх обробили після відновлення сервісу. Купівлі за дебетовою карткою Coinbase Card були відхилені, тоді як покупки кредитною карткою продовжували проходити. Простой також перервав ончейн-обміни через Coinbase DEX на Base і Solana. Клієнти Coinbase Exchange та Prime зіткнулися із затримками або невдалими переказами й розрахунками, тоді як клієнти для розробників не могли підключити користувачів, переміщувати кошти або використовувати онрамп-сервіси. Вплив підкреслює зростаючу важливість надійності, оскільки Coinbase виходить за межі спот-торгівлі криптовалютою. Її заплановані продукти «everything exchange» — зокрема токенізовані акції та безстрокові ф'ючерси — розширюють діапазон фінансової активності, який залежить від інфраструктури компанії. Coinbase також окремо описувала плани зробити платформу ширшим фінансовим хабом із новими сервісами для торгівлі, платежів і керування грошима, що охоплюватимуть акції, похідні інструменти, платежі зі стейблкоїнами та інструменти для розробників.

Coinbase впроваджує нові запобіжники після ручного відновлення

Шлюз відновили о 1:20 p.m. ET, а Coinbase заявила, що інцидент усунено через три хвилини. Накопичені затримки транзакцій очищалися протягом наступних годин. Відновлення тривало довше, тому що інструменти розгортання Coinbase покладалися на відмовивший шлюз. Інженери не могли використати стандартний процес rollback і натомість вручну запустили аварійне розгортання через хмарного провайдера компанії, використовуючи тимчасовий підвищений рівень доступу. Тепер Coinbase додає перевірки, щоб блокувати конфлікти назв, відокремлює інструменти відновлення від інфраструктури, якою вони керують, і частіше тестує процедури аварійного доступу. Coinbase наголосила, що «наша мета — завжди нульовий простій», і заявила: «Ми активно переосмислюємо нашу інфраструктуру, щоб у вкрай малоймовірному випадку ще одного збою, подібного до цього, ми могли швидко відкотити й відновити роботу».

FAQ

Що спричинило простій Coinbase 14 липня?
Простій стався через непомічене зіткнення назв ресурсів Kubernetes під час рутинного інфраструктурного оновлення, яке змінило не той компонент мережі — зокрема, змінювало частину ingress gateway Istio у Coinbase замість запланованого компонента.

Як довго тривав простій Coinbase і які сервіси були зачеплені?
Простій тривав приблизно 50 хвилин — з 12:37 p.m. ET до 1:25 p.m. ET 14 липня. Він зачепив перекази роздрібних клієнтів і дебетові покупки за Coinbase Card, інституційні розрахунки на Coinbase Exchange і Prime, ончейн-обміни через Coinbase DEX на Base та Solana, а також сервіси платформи для розробників, зокрема підключення користувачів і переміщення коштів.

Які запобіжники впроваджує Coinbase після простію?
Coinbase вже додає перевірки, щоб блокувати конфлікти назв, відокремлює інструменти відновлення від інфраструктури, якою вони керують, і частіше тестує процедури аварійного доступу, щоб забезпечити швидке відкотування та відновлення в майбутніх інцидентах.