Что на самом деле выбирает компания: место работы модели и ответственного
Облачная нейросеть работает у внешнего поставщика: компания обращается к сервису по своему ключу, и запросы обрабатываются на его стороне. Локальная модель стоит на оборудовании самой компании, и запросы остаются внутри её периметра. Между этими крайностями есть промежуточные схемы, поэтому вопрос не в том, какая из них сильнее, а в том, что подходит под ваши данные и задачи.
Подготовка: какие данные пройдут через нейросеть
Начните не с моделей, а с перечня задач. Для каждой запишите, что агент увидит: переписку с покупателями, остатки из 1С, договоры, сведения о сотрудниках. От этого зависит допустимый уровень риска. Для сводки по открытым прайсам внешняя модель обычно не вызывает вопросов, а для разбора кадровых документов нужно отдельное решение.
Перед выбором проверьте по каждой задаче следующее:
- какие категории данных попадают в запросы к модели
- есть ли среди них персональные данные и как их обработка выстраивается по Закону № 99-З
- требует ли договор с контрагентом или решение руководства хранить сведения только внутри компании
- кто сможет обслуживать сервер, если модель будет локальной
- сколько сотрудников работают с агентом одновременно и как меняется нагрузка в течение дня
- какой бюджет на оборудование и подписки согласован
Запуск: пробный контур на одной задаче
Выберите безопасную задачу
Например, сводка входящих писем отдела продаж без персональных данных. Задача должна быть понятной, а результат — легко проверяемым человеком.
Подключите облачную модель по своему ключу
Ключ принадлежит компании, расходы видны в её кабинете, доступ можно отозвать. Так проще оценить качество ответов и реальный объём запросов.
Проверьте ответы на своих документах
Дайте агенту типовые письма и обезличенные образцы договоров, пока модель внешняя, и сравните черновики с тем, что подготовил бы сотрудник. Записывайте, где модель путается и какие правила агенту нужно добавить.
Оцените локальный вариант
Если часть задач требует закрытого контура, выясните, какая модель на своём сервере справляется с ними и какое оборудование для неё нужно. Сравнивайте на тех же образцах, что и в облаке.
Сравнение схем на одной странице
| Схема | Подходит, когда | Ограничение |
|---|---|---|
| Облачная модель по своему ключу | нужно быстро начать, данные не чувствительные, нагрузка меняется | часть данных обрабатывается за пределами сервера компании, нужны договорённости с поставщиком |
| Модель на своём сервере | данные закрытые, требования к хранению строгие, есть специалист по инфраструктуре | нужны оборудование и обслуживание, качество зависит от выбранной модели |
| Модели от платформы | нет желания разбираться с ключами и серверами | условия определяет платформа, их стоит уточнить до подключения |
| Смешанная схема | у задач разный уровень чувствительности данных | правила сложнее: нужно описать, какие данные куда направляются |
Закрепление: как записать решение и когда его пересмотреть
Допустим, небольшая торговая компания в Барановичах начинает с облачной модели для сводок по почте, а работу с договорами и кадровыми документами оставляет для модели на своём сервере. Такое разделение записывается в короткий регламент: какая задача, какие данные, какая модель и кто отвечает.
В Coagent нейросеть выбирается под каждого агента: можно подключить свои ключи, использовать модели от платформы или поставить свои модели на сервере компании. Это позволяет дать разным ролям разные схемы.
Пересматривайте выбор, когда меняется нагрузка, появляются новые виды документов или выходят новые версии моделей. Раз в квартал сверяйте результаты на тех же образцах.
Опишите две-три задачи и уровень чувствительности данных, чтобы подобрать схему нейросети под них.