Guide / diagnostics
Troubleshooting
Симптом → проверка → безопасное исправление. Не меняйте несколько параметров одновременно.
Symptom table
Быстрая диагностика
| Симптом | Сначала проверить | Исправление |
|---|---|---|
| OOM при старте | RAM, batch, context | Снизить batch и перейти на economy profile |
| Медленный первый ответ | Cold-start report | Прогреть runtime, не менять модель |
| Ломается JSON | Формат, max tokens, prompt | Вернуть strict schema и увеличить answer budget |
| Checksum mismatch | Manifest revision | Удалить повреждённый artifact и скачать снова |
| Плохой retrieval | Top-k chunk IDs | Увеличить overlap или rerank, не менять LLM |
Commands
Безопасная последовательность
vertex-runtime doctor
vertex-runtime inspect --manifest model.manifest.json
vertex-runtime verify ./model.manifest.json
vertex-runtime bench --warmup 2 --requests 4
vertex-runtime replay ./eval/recent-failures.jsonlСохраняйте вывод каждой команды. Он помогает отличить проблему артефакта, runtime, памяти и prompt.
Recovery
Не удаляйте исходный checkpoint
- Работайте в отдельном каталоге с новой revision.
- Сохраняйте checksum и config до эксперимента.
- При OOM сначала уменьшайте batch, затем context и precision.
- При ухудшении качества сравнивайте baseline BF16 и candidate Q4.
- Не публикуйте prompt или документы в debug-логах без необходимости.
Escalation
Что приложить к запросу
В workspace-запросе указывайте model ID, revision, format, runtime version, hardware profile и минимальный воспроизводимый prompt. Не отправляйте секретные ключи и полные приватные документы.
Минимальный пакет: manifest checksum, `doctor --json`, короткий eval и ожидаемый результат.