[Перевод] Маршрутизация моделей кажется простой задачей. Но только до продакшна

Маршрутизация языковых моделей кажется достаточно тривиальной задачей: простые запросы уходят дешевым моделям, сложные — дорогим. Еще можно выбирать модель по специализации: одну для программирования, другую для обработки изображений, третью для анализа документов. Но это легко только на первый взгляд.

Исследователи IBM Research выяснили: в агентных системах эта схема быстро перестает быть рабочей. Задача, которая изначально выглядит как выбор подходящей модели, превращается в оптимизацию всей системы. Маршрутизатору нужно одновременно учесть качество, стоимость, время задержки, состояние инфраструктуры и имеющиеся ограничения.