mikhailK

Можно принимать файлы через API, ставить их в очередь и возвращать текст с временными метками. При таком подходе проще оценить необходимую мощность и стоимость обработки. Для распознавания речи можно использовать реализацию Whisper на CTranslate2. Она поддерживает вычисления FP16, квантование и пакетную обработку. Фильтр VAD позволяет исключать участки без речи. Размер пакета я бы подбирал по потреблению VRAM и допустимому времени ожидания. Качество отдельно проверял бы на записях с шумом, профессиональными терминами и несколькими говорящими. Для такого проекта я бы включил в подбор Hostkey. В каталоге GPU серверов есть конфигурация с NVIDIA RTX 4090 на 24 ГБ, 64 ГБ оперативной памяти и NVMe на 1 ТБ. Её можно рассмотреть для пилотного запуска с пакетным распознаванием. На накопителе разместил бы модель, временные аудиофайлы и результаты обработки. Доступность выбранной карты в почасовых тарифах уточнил бы перед заказом.

Понравилось, что сервер полностью находится под нашим управлением. Мы сами установили необходимые библиотеки, настроили среду и распределили ресурсы между моделями. Конфигурацию можно подобрать под конкретную задачу, а для коротких проектов удобно использовать почасовую оплату. GPU серверы Hostkey оказались практичным решением для постоянной работы с нейросетями и большими объёмами изображений.