ИИ и данные: почему без данных нет ИИ

Большинство компаний, которые приходят с запросом «внедрить искусственный интеллект», на самом деле нуждаются не в моделях, а в данных. Нейросеть, машинное обучение, предиктивная аналитика — всё это лишь способ извлечь закономерности из информации, которую бизнес уже накопил или должен накопить. Если данных нет, нет и предмета для обучения: алгоритм просто нечему учить. Именно поэтому практика внедрения ИИ в бизнес всегда начинается не с кода, а с аудита информации.

Почему данные — это фундамент ИИ

Машинное обучение работает по простому принципу: модель получает множество примеров «на входе было так, на выходе получилось так» и учится предсказывать выход для новых, незнакомых случаев. Чем больше качественных примеров, тем точнее прогноз. Отсюда прямое следствие: качество и полнота данных определяют результат сильнее, чем выбор алгоритма. Современные библиотеки машинного обучения доступны всем, поэтому конкурентное преимущество давно сместилось от алгоритмов к данным.

Цифры подтверждают это наблюдение. По разным оценкам, специалисты по данным тратят от 60 до 80% рабочего времени на сбор, очистку и подготовку информации, и лишь меньшую часть — на построение самих моделей. Другая известная статистика: значительная доля ИИ-проектов — по разным исследованиям от 60 до 85% — не доходит до промышленной эксплуатации, и в большинстве случаев корневая причина не в алгоритмах, а в данных: их мало, они грязные, разрозненные или не соответствуют задаче.

Приведём пример. Компания хочет предсказывать отток клиентов. Модель должна увидеть тысячи завершённых историй: кто ушёл, кто остался, какое поведение этому предшествовало. Если в CRM хранятся только факты продаж без истории обращений, без причин закрытия сделок и без отметок об уходе — прогноз построить невозможно, даже с самым продвинутым алгоритмом. Данные — это топливо, без которого двигатель ИИ не заведётся.

Какие данные нужны для ИИ

Универсального набора нет: всё зависит от задачи. Но есть устойчивая структура, вокруг которой строится почти любой проект. Данные делятся на признаки (features) — то, что описывает ситуацию, и целевую переменную (target) — то, что модель должна научиться предсказывать. Например, для прогноза спроса признаками будут история продаж, сезонность, цены, рекламная активность, а целевой переменной — фактический объём продаж в следующий период.

По типу источников данные для бизнес-ИИ обычно включают:

• Транзакционные данные — продажи, заказы, платежи, возвраты. Основа для прогнозирования спроса и выручки.
• Клиентские данные — профили, история взаимодействий, сегменты, RFM-метрики. Нужны для персонализации и удержания.
• Операционные данные — склад, логистика, производство, загрузка оборудования. Питают задачи оптимизации и предиктивного обслуживания.
• Поведенческие данные — веб-аналитика, записи звонков, обращения в поддержку, действия в приложении.
• Неструктурированные данные — тексты, изображения, видео, аудио. Их обрабатывают с помощью NLP и компьютерного зрения.

Отдельно стоит сказать об объёме. Для простых задач регрессии и классификации на табличных данных часто достаточно от нескольких тысяч до десятков тысяч строк. Для распознавания изображений или текстов нужны уже сотни тысяч и миллионы примеров. Есть простое правило: чем реже и сложнее прогнозируемое событие, тем больше исторических данных требуется. Отток клиентов, который случается у 3% базы, требует в разы больше примеров, чем прогноз ежедневных продаж.

Не менее важны два параметра, о которых забывают чаще всего: глубина истории и гранулярность. Глубина определяет, видит ли модель сезонные циклы — год, квартал, неделю. Если вы прогнозируете спрос на товар с ярко выраженной сезонностью, а истории всего три месяца, модель просто не узнает о новогоднем пике. Гранулярность задаёт уровень детализации: продажи по дням и по магазинам дают модели больше информации, чем общая сумма по компании за месяц. Укрупнение данных — почти всегда потеря прогнозной силы.

Где брать данные: источники

Первое, что стоит сделать, — провести инвентаризацию того, что уже есть внутри компании. Практика показывает: у большинства организаций данных больше, чем кажется, просто они разбросаны по системам и форматам. Основные внутренние источники:

• CRM (Битрикс24, amoCRM и аналоги) — сделки, клиенты, история коммуникаций.
• Учётные системы (1С, ERP) — товары, склад, закупки, финансы.
• Веб-аналитика (Яндекс Метрика и другие) — трафик, конверсии, поведение на сайте.
• Колл-центр и поддержка — записи разговоров, тексты обращений, тематики.
• Системы видеонаблюдения — сырьё для задач видеоаналитики: подсчёт посетителей, контроль очередей, безопасность.
• Датчики и оборудование — телеметрия, состояние станков, данные IoT.

Если внутренних данных не хватает, их дополняют внешними: открытые источники (Росстат, Центробанк, отраслевые реестры), покупные датасеты, данные партнёров и поставщиков. Отдельная категория — синтетические данные и разметка: когда примеров мало, данные генерируют или размечают вручную, например с помощью асессоров. Но внешние и синтетические источники требуют особенно аккуратной проверки качества.

Сводная таблица источников и типичных рисков их качества:

Качество данных: «мусор на входе — мусор на выходе»

Принцип garbage in, garbage out работает в машинном обучении буквально. Модель не может отличить реальную закономерность от ошибки ввода: если менеджер проставил цену 1000 вместо 100 000, алгоритм воспримет это как факт и исказит прогноз. Поэтому подготовка данных — самая трудоёмкая и самая недооценённая часть проекта.

Качество данных принято оценивать по нескольким измерениям:

• Полнота — доля заполненных значений. Пропуски в ключевых полях делают строки непригодными для обучения.
• Точность — соответствие данных реальности. Опечатки, устаревшие телефоны, неверные суммы.
• Согласованность — единые форматы и справочники. «ООО Ромашка», «Ромашка ООО» и «Ромашка» — это три разных клиента для алгоритма.
• Актуальность — свежесть данных. Модель, обученная на поведении двухлетней давности, плохо предсказывает сегодняшний спрос.
• Уникальность — отсутствие дубликатов, которые завышают вес отдельных примеров.

Типовой процесс очистки включает профилирование (оценка состояния данных), дедупликацию, нормализацию форматов, обработку пропусков и выбросов. Ключевая организационная практика — единый источник правды (master data): одна система, которая считается эталонной по каждому объекту, будь то клиент, товар или филиал. Без этого каждая интеграция будет плодить новые расхождения.

Особое внимание — целевой переменной. Если вы прогнозируете отток, нужно чёткое, единое для всех определение «ушедшего клиента»: не заходил 30 дней, не покупал 90 дней, расторг договор? Если определение размыто, модель будет учиться не на том, что нужно бизнесу.

Приведём наглядный пример из практики. В одной розничной сети при подготовке модели спроса выяснилось, что у одного и того же товара в двух магазинах разные артикулы, а в третьем он вообще числится как «прочее». Формально данных много, фактически — три фрагмента одной истории, которую нельзя склеить без ручной сверки справочников. Такие расхождения не видны в отчётах, но полностью ломают обучение. Именно поэтому аудит качества делают до запуска модели, а не после.

Хранение и инфраструктура данных

Чтобы ИИ работал, данные должны быть не просто собраны, а централизованы и доступны. Отдельные таблицы Excel, разбросанные по компьютерам сотрудников, для машинного обучения непригодны. Нужна инфраструктура, которая решает три задачи: консолидация, безопасность, регулярное обновление.

Первый шаг — хранилище данных (DWH) или озеро данных (data lake). Хранилище подходит для структурированной информации и отчётности, озеро — для сырых и неструктурированных данных: логи, изображения, записи разговоров. В большинстве практических проектов используют гибрид: структурированные данные — в хранилище, неструктурированные — в озеро.

Данные в хранилище попадают через ETL/ELT-процессы — конвейеры, которые извлекают информацию из источников, преобразуют её и загружают в единое место. Это не разовая выгрузка, а регулярный автоматизированный процесс: модель должна получать свежие данные на постоянной основе, иначе её прогнозы устаревают.

Отдельный слой — безопасность и комплаенс. Если компания работает с персональными данными, действуют требования 152-ФЗ: нужно правовое основание обработки, согласия, обезличивание там, где возможно. Доступ к данным должен быть разграничен по ролям, а сами данные — защищены резервным копированием. Организация и сопровождение такой инфраструктуры — типичная задача ИТ-аутсорсинга, когда у компании нет собственной команды для её поддержки.

Выбор между облаком и собственным сервером — это компромисс между скоростью запуска и контролем. Облачные хранилища позволяют стартовать быстро, без крупных вложений в железо, и легко масштабироваться при росте объёма данных. Собственная инфраструктура оправдана там, где важны жёсткие требования к размещению данных или уже есть вычислительные мощности. Для большинства средних компаний практичный вариант — гибрид: чувствительные данные остаются внутри, аналитика и вычисления идут в облако. Решение принимают по объёму данных, требованиям регулятора и бюджету на сопровождение.

Типичные ошибки подготовки данных

Ошибки на этапе данных дорого обходятся, потому что обнаруживаются поздно — когда модель уже построена и показывает странные результаты. Вот самые частые из тех, что встречаются на практике.

1. Начинать с модели, а не с данных. Компания закупает «ИИ-решение», не проверив, есть ли информация для его обучения. Результат — дорогая система, которая не даёт прогнозов.
2. Считать, что «данных мало, но сойдёт». Модель на недостаточной выборке переобучается: отлично работает на истории и ошибается на новых данных.
3. Хранить всё в одной общей таблице. Единый файл Excel, который ведут несколько человек, неизбежно накапливает дубликаты, конфликтующие версии и ошибки.
4. Игнорировать качество целевой переменной. Если в истории нет корректных меток результата, модель нечему учиться, даже при огромном объёме признаков.
5. Утечка данных (data leakage). В обучающую выборку попадает информация из будущего — например, признак «факт оплаты» при прогнозе оттока. Модель показывает блестящие метрики на тесте, но бесполезна в бою.
6. Путать отчётность с данными для ML. Отчёт строится по агрегатам и итогам, а модели нужны детальные записи. Сводная таблица за месяц не заменит тысячи строк по каждой сделке.

Чек-лист готовности к внедрению ИИ

Прежде чем обсуждать алгоритмы и подрядчиков, пройдитесь по списку ниже. Если на большинство пунктов ответ «нет» — начинать нужно именно с данных, а не с ИИ.

• Задача сформулирована как измеримая: что именно прогнозируем, оптимизируем или классифицируем.
• Определена целевая переменная и единое правило её расчёта.
• Проведена инвентаризация: все источники данных перечислены, их владельцы известны.
• Данные собраны в одном месте и доступны технически, а не разбросаны по таблицам.
• Есть исторический период, достаточный для обучения: не менее нескольких тысяч строк по задаче.
• Оценено качество: полнота, дубликаты, пропуски, согласованность справочников.
• Настроен регулярный процесс обновления данных, а не разовая выгрузка.
• Решены вопросы безопасности и 152-ФЗ по персональным данным.
• Назначен ответственный за качество данных на стороне бизнеса.
• Сформулирован критерий успеха: какой бизнес-эффект считается достаточным для окупаемости.

Если по итогам аудита данных не хватает, есть два честных пути: сначала накопить историю (запустить сбор и вернуться к задаче через несколько месяцев) либо переформулировать задачу под то, что уже есть. Пытаться «выжать» модель из неполных данных — почти гарантированный способ потратить бюджет впустую.

Что спросить у подрядчика по ИИ

Выбор исполнителя для ИИ-проекта — это в первую очередь проверка зрелости подхода к данным. Насторожитесь, если подрядчик сразу предлагает модель, не спросив про данные. Вот вопросы, которые стоит задать до старта.

• С каких данных вы предлагаете начать и достаточно ли их для задачи? Как вы это оцените?
• Как будете чистить и готовить данные, кто отвечает за это — вы или наша команда?
• Какие метрики качества модели вы используете и как проверите её на наших данных, а не на демо?
• Как модель будет получать свежие данные в промышленной эксплуатации?
• Как решаются вопросы 152-ФЗ и безопасности при обработке наших данных?
• Как выглядит расчёт экономики: сколько стоят работы и сопровождение и за какой срок они окупятся?

Надёжный признак компетентного подрядчика — он начинает с пилота на ограниченном объёме данных, фиксирует метрики и только потом масштабирует решение. Полезно изучить и отзывы клиентов по похожим задачам, чтобы понять, как исполнитель работал с данными в реальных проектах, а не только на презентации. Получить консультацию по подготовке данных и внедрению ИИ можно через страницу контактов.

Частые вопросы

Полезно на сайте: внедрение ИИ в бизнес, ИТ-аутсорсинг, цены, отзывы клиентов.