Чем локальная нейросеть отличается от облачной
Локальной называют модель, которая запускается на оборудовании самой компании: в серверной, в арендованной стойке или в частном облаке. Запросы сотрудников обрабатываются там же, и текст документов не уходит к внешнему поставщику. Облачная модель работает на стороне поставщика, а компания обращается к ней по ключу доступа.
Между этими крайностями есть середина: платформа стоит на сервере компании, а нейросеть подключается по ключу или работает рядом. Поэтому вопрос звучит не как выбор между своим и чужим, а как два уточнения: где именно обрабатывается текст и кто отвечает за работу модели.
Сравнение трёх вариантов размещения
| Вариант | Подходит, когда | Ограничение |
|---|---|---|
| Облачная модель по своему ключу | Нужен быстрый старт, документы не содержат закрытых сведений, нагрузка неравномерная | Часть текста обрабатывается за пределами компании, условия поставщика нужно проверить |
| Модель, которую предоставляет платформа | Не хочется разбираться с ключами и тарифами, задачи типовые | Зависимость от условий платформы, права доступа надо согласовать заранее |
| Своя модель на сервере компании | Договоры, персональные данные и внутренние регламенты нельзя отдавать наружу | Нужны мощное оборудование, специалист и время на обновления; ответы зависят от размера модели |
Таблица не выбирает за руководителя. Она помогает назвать условия, при которых каждый вариант работает, и честно увидеть цену решения: деньги, время и ответственность.
Когда свой сервер действительно оправдан
Локальный вариант стоит рассматривать, если совпадает несколько условий сразу:
- в запросах к модели регулярно встречаются персональные данные клиентов или сотрудников
- договоры и коммерческие условия нельзя показывать внешнему сервису по требованию контрагентов
- нагрузка ровная, и сервер не будет простаивать большую часть времени
- в штате или на подряде есть специалист, который готов обновлять и контролировать систему
- задачи не требуют самой большой модели: типовые ответы, сводки, поиск по документам
Если выполняется только одно условие, чаще разумнее начать с облачной модели и обезличивать данные до отправки. Для обработки персональных данных стоит выстроить процесс по Закону № 99-З и уточнить детали у юриста.
Что придётся взять на себя при локальном размещении
Своя модель означает собственную инфраструктуру. Нужно купить или арендовать оборудование, настроить резервное копирование, следить за обновлениями и местом на дисках, решать, кто имеет доступ к серверу. Когда сотрудники начнут активно пользоваться системой, потребуется оценить нагрузку и, возможно, расширить мощности. Эти расходы стоит сложить заранее и сравнить с оплатой облачного тарифа в BYN за тот же период.
Как проверить решение до покупки оборудования
Выберите две-три реальные задачи
Например, сводка по письмам клиента, поиск условия в договоре, черновик ответа на претензию. Не пробуйте всё сразу.
Прогоните их на облачной модели
Используйте обезличенные примеры без фамилий, УНП и адресов. Отметьте, где ответы подходят, а где требуют доработки.
Повторите на локальной модели
Возьмите те же примеры и сравните результат глазами сотрудников, которые знают тему. Не опирайтесь на впечатление одного человека.
Сложите затраты и риски
Оборудование, электричество, сопровождение и время специалиста против оплаты тарифа. Отдельно запишите, что будет, если данные всё же обработаются снаружи.
Как устроен выбор модели в платформе агентов
Coagent ставится на сервер компании, поэтому доступы к 1С, CRM и почте остаются у неё. Нейросеть выбирается под каждого агента: свои ключи, модели от платформы или собственные модели на сервере компании. Можно, например, отдать работу с договорами локальной модели, а справочные задачи оставить внешней. Если выбрана внешняя модель, часть данных обрабатывается за пределами сервера, и об этом нужно сказать сотрудникам и юристу.
Опишите задачи и тип документов, чтобы обсудить подходящее размещение нейросети.