Що таке машинне навчання: модель замість жорстких правил

Машинне навчання це спосіб навчити програму знаходити закономірності в даних і застосовувати їх до нових випадків — без того, щоб людина прописувала кожне правило «якщо — тоді». Замість інструкцій система отримує приклади, підбирає параметри математичної моделі і далі робить прогнози, класифікує об’єкти або генерує відповідь.

Формально це підгалузь штучного інтелекту. На практиці ж різниця простіша: класична програма виконує код, який написали; модель машинного навчання стискає досвід з навчальної вибірки в набір чисел і перевіряється на тому, чого вона ще не бачила. Саме здатність узагальнювати, а не запам’ятовувати таблицю, відділяє навчання від звичайної оптимізації.

Нижче — механізм роботи без магії, чотири різні способи «вчити» алгоритм, межа між ШІ, ML і глибокими мережами, український контекст і типові причини, чому модель раптом починає брехати в продакшені.

Комп’ютер більше не виконує інструкції — він шукає закономірність

У класичному програмуванні логіка живе в коді. Фільтр спаму виглядає так: якщо лист містить слово «віагра», надісланий із підозрілого домену і має десять посилань — відправити в спам. Правило працює, поки шахраї не змінять формулювання. Кожна нова хитрість вимагає нової гілки if. Через рік такий код перетворюється на чагарник винятків, який ніхто не хоче чіпати.

Машинне навчання розвертає задачу. Людина не описує ознаки спаму. Вона збирає, скажімо, сто тисяч листів із мітками «спам / не спам» і дає алгоритму знайти комбінації ознак, які найкраще відділяють один клас від іншого: репутація відправника, співвідношення тексту і посилань, нетипова пунктуація, мовна статистика. Модель не «розуміє» лист. Вона оцінює ймовірність класу.

Термін machine learning запровадив Артур Семюел у 1959 році, працюючи в IBM над програмою, що грала в шашки і з партії в партію ставала сильнішою. Точніше робоче визначення дав Том Мітчелл у підручнику 1997 року: програма навчається з досвіду E щодо класу задач T і міри якості P, якщо її результат у задачах T, виміряний через P, покращується зі зростанням E. Для спам-фільтра T — класифікація листа, P — частка правильних рішень (або, ще краще, повнота щодо спаму), E — нові розмічені листи.

Модель у цьому сенсі — не «мозок». Це функція з тисячами чи мільярдами параметрів, які підігнали так, щоб помилка на навчальних прикладах стала малою, а на нових — теж прийнятною. Якщо друге не виконується, навчання не відбулося: система просто зазубрила таблицю.

Джерело: узагальнення інженерної практики зіставлення правил і навчання на даних (IBM, Google for Developers).

Ця таблиця пояснює, чому ML не «замінює програмістів». Воно замінює той шар логіки, який людина вже не в змозі виписати вручну: мільйони комбінацій пікселів, тональностей голосу чи транзакційних ознак.

Що насправді відбувається під час навчання моделі

Робочий цикл виглядає прозаїчно. Спочатку збирають сирі дані й чистять їх: дублікати, пропуски, помилки одиниць виміру, витоки майбутнього в минуле. У прикладних проєктах саме підготовка забирає більшу частину часу. Далі обирають ознаки (те, що модель бачить) і цільову змінну (те, що має передбачити). Для оцінки вартості квартири ознаками будуть площа, район, рік будинку, поверх, стан; ціллю — ціна в гривнях.

Вибірку ділять щонайменше на три частини. Навчальна — на ній підбирають параметри. Валідаційна — на ній порівнюють гіперпараметри і ловлять перенавчання. Тестова — її чіпають один раз, на фіналі, щоб оцінити узагальнення. Якщо тестовий набір «підглядати» під час налаштування, цифра точності стане рекламною, а не правдивою.

Серце навчання — функція втрат. Вона числом каже, наскільки прогноз розійшовся з істиною. Для регресії часто беруть середньоквадратичну помилку, для класифікації — перехресну ентропію. Алгоритм градієнтного спуску дивиться, у який бік змінити ваги, щоб втрата зменшилася, і робить маленький крок. Тисячі таких кроків — і параметри «сідають» у конфігурацію, де помилка на навчанні низька.

Після цього модель заморожують і переводять у режим інференсу: на вхід подають новий приклад, на виході отримують прогноз. Навчання може тривати години чи тижні на кластері GPU. Інференс має вкластися в десятки мілісекунд, якщо це рекомендація в застосунку чи скоринг платежу.

Головний критерій успіху — не «гарна цифра на тренуванні», а поведінка на даних, яких модель не бачила. Якщо на навчанні точність 99%, а на тесті 71%, система запам’ятала шум: прізвища конкретних клієнтів, випадкові артефакти сканера, дату вивантаження файлу. Це перенавчання. Зворотна хвороба — недонавчання: модель занадто проста, і навіть на своїх прикладах помиляється грубо.

З практики проєктів часто видно одну й ту саму розвилку. Команда бере «як є» вивантаження з CRM, навчає градієнтний бустинг за вечір і радіє AUC 0,94. За місяць у продакшені метрика падає, бо маркетингова акція змінила портрет клієнта, а в навчальній вибірці цієї акції не було. Навчання відбулося. Узагальнення — ні, бо світ уже інший.

Чотири способи навчити алгоритм — і коли який обирати

Усі методи машинного навчання групують за тим, який «сигнал» система отримує під час тренування. Від цього залежить і тип задачі, і те, які дані треба зібрати.

Кероване навчання: є правильна відповідь

Кожен приклад має мітку. Лист — спам чи ні. Знімок — пухлина чи норма. Клієнт — піде за 30 днів чи залишиться. Якщо ціль неперервна (ціна, попит, час доставки), це регресія. Якщо дискретна — класифікація.

Типові алгоритми: лінійна та логістична регресія, дерева рішень, випадковий ліс, градієнтний бустинг (XGBoost, LightGBM, CatBoost), метод опорних векторів, наївний баєсів класифікатор. Для таблиць із тисячами рядків бустинг досі часто обходить нейронні мережі і за точністю, і за швидкістю запуску.

Ціна входу — розмітка. Лікарям треба години, щоб підписати знімки; операторам кол-центру — щоб розмітити намір дзвінка. Без міток кероване навчання не стартує.

Некероване навчання: міток немає, є структура

Алгоритм шукає групи, осі стиснення або рідкісні точки. Кластеризація (k-means, DBSCAN, ієрарархічні методи) ділить клієнтів на сегменти, які маркетинг потім називає людською мовою. Зниження розмірності (PCA, t-SNE, UMAP) стискає сотні ознак до кількох, щоб побачити картину. Виявлення аномалій ловить дивну транзакцію чи збій датчика, не знаючи наперед, як саме виглядає «шахрайство».

Людина тут інтерпретатор, а не вчитель. Кластер сам по собі нічого не означає, поки аналітик не зрозуміє: «це оптові покупці з регіону, які замовляють раз на квартал».

Навчання з підкріпленням: дія, середовище, винагорода

Агент робить крок, світ відповідає станом і винагородою (або штрафом). Мета — політика, що в довгій перспективі максимізує суму винагород. Так навчають роботи ходити, програми грати в го (AlphaGo), системи торгів рекламою та алгоритми маршрутизації.

Це дорого: потрібен симулятор або безпечне середовище. У банку чи лікарні «спробувати і помилитися» на живих людях неприпустимо, тому підкріплення ставлять за симуляцію, а в реальність виводять уже з жорсткими обмеженнями.

Самонавчання і напівкерований режим

Великі мовні моделі майже не читають ручні мітки на етапі первинного навчання. Вони самі будують задачу з тексту: закрити масковане слово, передбачити наступний токен. Це самонавчання (self-supervised learning) — форма керованого сигналу, витягнутого з самих даних. Напівкероване навчання змішує малу кількість дорогих міток із морем нерозміченого матеріалу: зручно в медицині та промисловому контролі якості.

Джерело: класифікація парадигм навчання, яку використовують IBM і Google for Developers; самонавчання додано як окремий робочий режим сучасних великих моделей.

Правило вибору просте. Є стабільна мітка і таблиця — починайте з керованого бустингу. Треба зрозуміти структуру без відповідей — кластеризація. Рішення складається з послідовності дій із відкладеним ефектом — підкріплення. Даних море, міток майже немає — самонавчання або напівкерований підхід.

ШІ, машинне навчання і глибокі мережі — де проходить межа

Ці слова в новинах ставлять через кому, ніби це синоніми. Ієрархія інша. Штучний інтелект — широка мета: змусити машину виконувати задачі, які асоціюють з інтелектом. Сюди входять і системи на правилах, і пошук, і планування. Машинне навчання — один зі способів досягти цього: навчити параметри з даних. Глибоке навчання — підтип ML, де функцію задають штучні нейронні мережі з багатьма шарами.

Глибина дає дві речі. По-перше, мережа сама виділяє ознаки: на перших шарах — краї й текстури, далі — деталі обличчя чи синтаксис речення. Інженеру не треба вручну вигадувати «коефіцієнт блиску в оці». По-друге, такі моделі масштабуються на сирий сигнал — зображення, звук, текст, відео — де класичні ознаки будувати важко. Плата відома: потрібні великі вибірки, обчислювальні ресурси і складніше пояснити, чому модель так вирішила.

Генеративний ШІ не випадає з цієї схеми. Велика мовна модель — це глибока мережа, попередньо навчена самонаглядом на текстах, потім доведена інструкціями і, часто, навчанням з підкріпленням за відгуком людей (RLHF). Трансформери вміють зважати на контекст усієї послідовності; саме тому чат-бот тримає нитку розмови, а не лише наступне слово «в вакуумі».

Важливий практичний наслідок: для більшості бізнес-таблиць глибока мережа не обов’язкова. Якщо у вас 20 тисяч рядків про відтік клієнтів і 40 колонок у CRM, випадковий ліс або градієнтний бустинг майже завжди стартують швидше, дешевше і прозоріше. Нейромережі виграють там, де вхід — зображення дрона, запис розмови, скан накладної чи вільний текст скарги.

Де алгоритми вже ухвалюють рішення поруч із вами

Рекомендації Netflix і Spotify, прогноз прибуття в картах, автофокус камери, переклад у браузері, стрічка новин, антиспам у пошті — усе це моделі, навчені на поведінці мільйонів людей. Банк скорить платіж за мілісекунди: сума, пристрій, географія, історія, час доби складаються в оцінку ризику. Медичні системи підсвічують на знімку ділянки, які лікар має перевірити ще раз, а не «ставлять діагноз замість нього».

В Україні застосування вже не лабораторне. За опитуванням Національного банку у листопаді 2025 року (208 установ фінансового ринку) технології ШІ та машинного навчання використовують 64% респондентів, активне застосування задекларували 23%. Йдеться про ефективність операцій, ризик-менеджмент і сервіси. Окремого закону про ШІ в Україні ще немає; орієнтирами служать Концепція розвитку ШІ (розпорядження КМУ № 1556-р від 02.12.2020), дорожня карта Мінцифри та європейський AI Act.

Дослідження IT Ukraine Association «Ukraine AI Industry Map» оцінює український ринок ШІ у 2025 році в 573,7 млн і прогнозує зростання до3,22 млрд до 2031-го (CAGR 33,3%) за частки близько 0,2% світового ринку. У DefenceTech комп’ютерний зір, за тими ж даними, піднімає точність FPV-дронів в умовах радіоелектронної боротьби з орієнтовних 30–40% до 70–90%. В AgriTech моделі скорочують витрати ресурсів до 30% і додають близько 15% до врожайності. Grammarly і Preply показують інший бік: продуктові компанії з українським корінням будують глобальний бізнес саме на NLP і рекомендаційних моделях.

Окремий шар — повсякденне користування. Той самий огляд фіксує, що інструментами ШІ користуються близько 42% дорослих і 70% підлітків в Україні. Це вже не «майбутнє ІТ-відділу», а масова навичка, яка тисне на сервіси: клієнт очікує, що банк, аптека чи держпослуга теж розумітимуть запит природною мовою.

Ситуації, коли класичне правило б’є будь-яку модель

Машинне навчання має сенс, коли закономірність є, але її важко виписати, а ціна помилки сумісна з імовірнісною відповіддю. Якщо умова інша — модель стає дорогим способом зробити гірше.

Не потрібен ML, коли правил мало і вони стабільні. «Відвантажувати тільки після 100% передоплати новим контрагентам» не потребує нейромережі. Не потрібен він і тоді, коли прикладів десятки, а не десятки тисяч: складна модель запам’ятає кожен рядок і розсипеться на першому новому клієнті. Якщо регулятор вимагає повністю простежуване рішення, а пояснення «дерево з глибиною 3» ще проходить, а «чорна скринька з 40 мільйонами параметрів» — ні, чесніше лишити прозорий скоринг.

Катастрофічна ціна помилки без людини в контурі — ще один стоп-сигнал. Модель може підказати радіологу пріоритет знімка. Вона не повинна самостійно призначати хіміотерапію. У кредиті високого ризику фінальне «так» часто лишають андерайтеру, а алгоритм лише ранжує чергу.

Перед проєктом варто відповісти на сім запитань.

1. Чи є достатньо історичних прикладів саме тієї події, яку прогнозуємо?
2. Чи мітка визначена однозначно, а не «ну, приблизно відтік»?
3. Чи можна виміряти успіх однією метрикою, узгодженою з бізнесом (не «accuracy для краси»)?
4. Чи є канал, яким нові дані повертатимуться в модель після запуску?
5. Що станеться, якщо модель помилиться в 5, 15 і 40% випадків?
6. Чи не дешевше евристика, яку аналітик збере за два дні?
7. Хто відповідає, коли прогноз завдасть шкоди клієнту?

Якщо на три перші відповіді «ні», бюджет краще витратити на збір даних і опис процесу, а не на GPU.

Міфи, перенавчання і брудні дані: чому прогнози ламаються

Найстійкіший міф — ніби модель «мислить» або «розуміє». Вона апроксимує статистичний зв’язок. Якщо в навчальній вибірці всі фото вовків зроблені на снігу, а лисиць — на траві, мережа може класифікувати за фоном. Це не дурість штучного інтелекту. Це точне виконання інструкції «відділи два класи будь-якою доступною ознакою».

Другий міф: «більше даних завжди краще». Обсяг допомагає, коли нові приклади різноманітні й правильно розмічені. Мільйон рядків із тією самою помилкою в даті народження лише закріплює помилку. Принцип garbage in, garbage out тут не метафора: модель підніме шум до рангу закономірності.

Третій: «99% точності — перемога». У шахрайстві, де підозрілих операцій 0,8%, класифікатор, який завжди каже «все чисто», має точність 99,2% і нульову користь. Потрібні precision, recall, F1, PR-AUC — метрики, чутливі до рідкісного класу. Інакше дашборд бреше чемно.

Типові інженерні помилки повторюються з проєкту в проєкт.

• Перенавчання. Занадто гнучка модель + мала вибірка. Ліки: спрощення, регуляризація, більше даних, рання зупинка, перевірка на відкладеній вибірці.
• Витік даних. У ознаки випадково потрапив ідентифікатор, який існує лише після події, або тест «підмішали» в тренування. Метрика злітає, бізнес — ні.
• Зсув вибірки. Вчили на клієнтах Києва, застосували на всю країну. Або вчили на денних дзвінках, а нічна зміна має інший розподіл.
• Дрифт. Після запуску світ змінився: новий продукт, війна, курс, сезон. Модель застаріла, хоча код той самий. Потрібен моніторинг вхідних розподілів і регулярне перенавчання.
• Упередження. Історичні дані містять дискримінацію — модель її відтворить, іноді навіть підсилить. Перевірка по групах (стать, вік, регіон) має бути частиною приймання, а не «етичним додатком».
• Неправильна ціль. Оптимізували кліки, отримали клікбейт. Оптимізували швидкість відповіді підтримки, отримали короткі відписки замість розв’язаних проблем.

Коли «щось пішло не так» у продакшені, перший крок — не донавчати хаотично. Порівняйте розподіл ознак «тоді» і «зараз». Подивіться матрицю помилок по сегментах. Перевірте, чи не змінилася сама мітка (інша методика обліку відтоку). Лише потім — перенавчання або відкат на попередню версію. Без журналу версій моделі і датасетів діагностика перетворюється на ворожіння.

З чого почати, якщо ви не дата-сайентист

Найкорисніший перший крок — сформулювати задачу мовою рішення, а не мовою алгоритмів. Не «хочемо нейромережу», а «хочемо за 24 години бачити 80% замовлень, які повернуться, і не чіпати більше 15% нормальних». Ця рамка одразу показує, які дані потрібні і яка помилка допустима.

Далі зробіть базову лінію без ML: середнє, просте правило, логістичну регресію в таблиці. Якщо евристика вже дає 0,72 за вашою метрикою, модель має чітко її побити. Інакше ви впроваджуєте складність заради презентації.

Технічний мінімум для табличних задач сьогодні такий: Python, pandas, scikit-learn, розуміння розбиття вибірки і однієї метрики. Бустинг (XGBoost / LightGBM) закриває більшість бізнес-кейсів. PyTorch чи TensorFlow варто відкривати, коли вхід — текст, зображення, звук або послідовності датчиків. Jupyter зручний для дослідження; у прод ідуть відтворюваний скрипт, фіксація версії даних і моніторинг.

Не починайте з глибокого навчання на двох тисячах рядків Excel. Не збирайте «всі дані компанії», не знаючи цілі: отримаєте кладовище CSV. Не оцінюйте модель лише на тій самій вибірці, на якій вчили. І не плутайте демо в ноутбуці з системою: різниця — у контролі якості даних, затримці інференсу, журналі рішень і плані відкату.

Коли варто звернутися до фахівця

Аналітика з досвідом Excel і SQL достатньо, щоб перевірити гіпотезу і побудувати простий скоринг. ML-інженер або команда з дата-сайентиста плюс інженера даних потрібні, коли з’являється хоча б одна з умов: персональні дані і регуляторика; модель впливає на гроші, здоров’я чи безпеку; потрібен інференс у реальному часі; дані розкидані по кількох системах; треба підтримувати модель місяцями, а не один звіт.

На співбесіді з підрядником питайте не «яку мережу поставите», а як вони визначають мітку, як ділять вибірку в часі (для відтоку випадковий split майже завжди бреше), як ловлять дрифт і хто відповідає за хибнопозитивні спрацьовування. Відсутність відповіді на ці пункти надійніша за будь-який слайд із логотипами фреймворків.

Короткий чек-лист перед стартом проєкту:

• Бізнес-метрика записана одним реченням і має знаменник (на 100 клієнтів, на 1000 платежів).
• Є власник даних і згода на використання, якщо це персональна інформація.
• Історія покриває сезонність і хоча б одну «кризову» зміну, інакше модель побачить лише тишу.
• План моніторингу готовий раніше, ніж сама модель: що вважаємо деградацією і за скільки годин реагуємо.
• Людина лишається в контурі там, де помилка дорога.

Машинне навчання не замінює мислення про задачу. Воно масштабує те рішення, яке ви вже вмієте виміряти. Якщо виміряти ще не вмієте — спочатку з’явиться облік, потім модель, а не навпаки.

Ключове, що варто забрати з цього тексту: машинне навчання це підбір параметрів моделі з даних під конкретну міру якості; сила методу — в узагальненні на нові випадки, слабкість — у залежності від вибірки. Кероване навчання закриває більшість прикладних таблиць, глибокі мережі — сирий сигнал і генерацію, правила — усе, що й так прозоре. Український ринок уже застосовує ці інструменти в фінансах, агро та безпеці, тож питання змістилося з «чи існує ML» на «чи ваша задача взагалі про закономірність у даних, а не про одне добре правило».