Автоматизация нормализации НСИ: как сервис SOFROS AI/ML оптимизирует работу с данными

Как сообщает Хабр, потери от деградации нормативно-справочной информации (НСИ) конвертируются в регулярные затраты на дедупликацию и нормализацию — данные деградируют быстрее, чем классические методы успевают их восстановить, отвлекая ресурсы компании от основной деятельности. Сервис SOFROS AI/ML адресует проблему через гибридный ML-стек: классификация, семантический поиск, интеллектуальная экстракция характеристик. Решение работает ассистентом в контуре 1С:MDM — не подменяет MDM-систему, а расширяет её.

Архитектура и ML-стек

Подтверждённая структура — два компонента:

• Автономный локальный сервер взаимодействия. Docker-контейнер. Микросервисная архитектура. Оркестрация моделей. REST API. Поддержка Windows и Linux.
• Расширение для 1С:MDM. Файл расширения конфигурации 1С:MDM Управление НСИ, редакция 2.5. SDK для библиотек ИИ 1С. API к автономному серверу. Бизнес-логика нормализации в интерфейсе 1С.

Разделение ответственности: расширение формирует SDK и обрабатывает запросы пользователя; автономный сервер — оркестрация моделей, обучение, возврат предсказаний. Граница между UI-слоем 1С и ML-бэкендом явная.

ML-стек — четыре подтверждённых элемента гибридного подхода:

• Наивный байесовский классификатор — базовая классификация.
• NER — экстракция характеристик.
• BERT + FAISS — семантический поиск.
• LLM — контекстный поиск.

Обогащение данных. Обучение на реальных примерах. Эволюция сервиса — два подтверждённых этапа:

1. Наблюдение. Анализ действий пользователя. Накопление обучающих примеров. Обучение моделей в реальном времени.

2. Подсказки. Рост уверенности предсказаний. Предложение вариантов заполнения на основе накопленного опыта.

Источник фиксирует структуру цикла: первая и вторая статьи разобрали причины деградации НСИ и общую архитектуру SOFROS AI/ML; третья — модели под капотом. Текущая публикация переводит фокус на интерфейс 1С:MDM, режимы работы, параметры настройки.

Что отслеживать

Чек-лист для архитектурного комитета:

• SLA на время отклика REST API под нагрузкой.
• Vendor lock-in: версии BERT, FAISS, LLM — провайдерозависимость и лицензионные риски.
• Совместимость расширения с 1С:MDM редакции 2.5; другие редакции — вне периметра.
• Производительность Docker-контейнера на целевом дистрибутиве Linux.
• Ретенция обучающих примеров и версионирование моделей.
• Observability ML-пайплайна на стороне автономного сервера.
• Разграничение информационных потоков: инфраструктурные алерты — отдельно; спортивные события и статистика — параллельный контур мониторинга, не смешивать с инфраструктурной повесткой.