01
Локально
Модель работает внутри вашего контура, если нельзя отдавать документы, переписку и базу знаний наружу.
05услуга
ИИ в контуре: локально, через API или гибридно
ИИ — продолжение той же инженерной роли, что сеть и backend. Подбираем схему под данные, риск и бюджет: локально, через API или гибридно.
01
Что закрываем
02
Через API
Внешние модели по ключам, когда важны скорость запуска, доступ к сильному качеству и меньше своей инфраструктуры.
03
Поиск по знаниям
Ответы по документации, регламентам и инструкциям. Модель не должна выдумывать политику компании.
04
Автоматизация рутины
Разбор заявок, черновики, маршрутизация, классификация. ИИ встраивается в процесс, а не живёт отдельным чатом.
02
Как собираем
01
Схема под риск
Чувствительное остаётся в контуре. Там, где можно, берём внешний API. Гибрид — когда часть задач нельзя смешивать.
02
Это сервис, не ноутбук
Runtime, очереди, ключи, лимиты и журнал запросов. Модель без сопровождения снова станет файлом у одного инженера.
03
Контроль доступа
Кто может спрашивать, какие данные попадают в запрос, что пишется в аудит. Предсказуемая эксплуатация, не «поставили и забыли».
ИИ
Локальный или внешний запуск моделей: приватность данных, скорость старта и доступ к качеству
- Ollama
- vLLM
- OpenAI API
- Anthropic API
- OpenRouter
Поиск по знаниям
Ответы по документации, базе знаний, инструкциям и регламентам
- pgvector
- Qdrant
- embeddings
- RAG
Платформа и backend
API, интеграции и сервисы под прикладную нагрузку
- Python
- TypeScript / Node.js
- FastAPI
- NestJS
- Linux
- systemd
03
Связанный кейс
ai
ИИ в контуре
Локально, через API или гибридно — под данные, риск и бюджет.
Локально · API · гибрид
Разбор кейса04
Вопросы
Нужно ли сразу поднимать свою модель?
Нет. Если данные можно отдать провайдеру и важен быстрый старт — начинаем с API. Свою модель берём, когда периметр это требует.
Чем это отличается от «подключили ChatGPT»?
Запросами по вашей базе знаний, лимитами, журналом и изоляцией. Чужой чат удобен, пока в него не уходит внутреннее.
Где крутится локальная модель?
В вашем контуре: Ollama или vLLM, в зависимости от нагрузки. Это часть инфраструктуры, которую мы сопровождаем.
Можно ли совместить локальное и API?
Да. Часть задач — внутри, часть — через внешнего провайдера. Схему собираем под риск, стоимость и качество ответа.
05
Другие направления
Инфраструктура
Сервис должен выдерживать обновление, сбой и рост нагрузки без ручной магии. Берём путь от сценария запуска до графиков, копий и человека, которому можно написать.
Сеть и доступ
Доступ не должен зависеть от чужого VPN и ключей в чате. Собираем контур, в котором видно, кто входит, куда можно ходить и жив ли канал.
Backend
Сервис не должен собирать отчёт руками и терять операции между таблицами. Разводим потоки, включаем проверку и оставляем контур, который можно сопровождать.
Почта
Почта и вход на сайты могут жить у вас, без чужого кабинета и чужих правил. Собираем узел, который не останавливается из‑за смены тарифа у провайдера.
06подключение
Получить план запуска
Опишите текущую ситуацию — ответим, какие работы нужны по инфраструктуре, сети, backend или ИИ, какие риски видим и с чего начать.