AI in the field: how Kernel solves major problems in the agricultural sector with machine learning

Kernel — один із найбільших агрохолдингів України та світовий лідер з експорту соняшникової олії — за останні п’ять років побудував системний підхід до AI: від лінійної регресії до Foundation model на інфраструктурі H100 на базі De Novo.

Навіщо це все: які проблеми агросектору вирішує AI

Агросектор — це дані, в яких багато шуму, мало повторюваності й занадто багато неконтрольованих факторів.  Найбільші виклики становлять погода як ключова змінна (бо напряму впливає на строки посіву, вегетацію, фази розвитку і якість урожаю), людський фактор (дані з полів часто збираються вручну, із затримками або похибками; визначення однієї й тієї ж фази різними агрономами може суттєво відрізнятись — спостереження суб’єктивні й залежать від досвіду; деякі фази BBCH узагалі складно або неможливо зафіксувати в полі, бо вони короткотривалі або зовні невиражені), а також розподіленість полів (один агроном може обслуговувати десятки тисяч гектарів, що унеможливлює щоденний огляд).

Щоб зробити точне планування — від підготовки полів до логістики — Kernel почали автоматизувати аналіз даних за допомогою ML-моделей.

Найпоказовіший приклад — модель прогнозування фаз розвитку культур за шкалою BBCH* (від посіву насіння до фази стиглості). Від того, чи вчасно внесено добрива, чи фунгіциди, залежить частина врожайності. Але визначати фазу вручну — повільно і неточно. Тому компанія побудувала AI-модель, що автоматично прогнозує фазу росту культури на основі дати посіву, погодних умов (температура, опади), типу гібрида та геолокації.

До цього у Kernel реалізували ще низку AI-моделей: зонування полів, контроль густоти сходів, прогноз урожайності та вологості, агрологістика та поставки сировини, підрахунок зерен, оцінка Field Potential.

До початку сезону важливо розуміти, де на полі кращі умови. Kernel розробила власний ШІ-інструмент зонування, який враховує карти врожайності минулих років, супутниковий індекс NDVI, рельєф (цифрова AI-модель, 10 класів) та яскравість знімків ґрунту (як проксі для текстури ґрунту). Це дає змогу оптимізувати норму добрив і засобів захисту рослин для кожної зони.

Наступним етапом є оцінка потенціалу поля та факторів впливу за допомогою ML-моделі та аналізу SHAP values. Це дає зрозуміти, що саме впливає на врожайність на конкретному полі — наприклад, дефіцит калію. Це дозволяє агроному змінити підхід до внесення добрив ще до появи проблем.

Через 1–2 місяці після посіву проводиться зйомка дронами. Модель комп’ютерного зору рахує рослини, оцінює густоту, а також виявляє пропуски і двійники. Це допомагає коригувати налаштування техніки або реагувати на погодні ризики.

BBCH-модель допомагає агрономам завчасно підготуватися до певних фаз розвитку, коли найоптимальніше вносити гербіциди чи добрива, а ближче до кінця сезону розуміти дату настання фази стиглості.

Є також окрема CV-модель, що працює у мобільному застосунку агрономів, яким ті користуються при оглядах полів та підрахунку кількість зерен у кошику соняшника (у середньому 1000 зерен) або кукурудзи (400-500 зерен)

Модель прогнозу врожайності оновлюється щотижня, щоб враховувати актуальні дані для логістичних розрахунків і надати трейдерам орієнтири для планування цін.

Модель вологості урожаю кукурудзи — як змінюється рівень перед збором.

Модель логістики оптимізує перевезення з понад 5000 полів до десятків елеваторів, а далі — на заводи або в порти.

Компанія використовує підхід Barlow Twins (Meta AI) — витягує фічі зі супутникових та погодних масивів без ручної розмітки. Це вирішує проблему нестачі розмічених даних за наявності великих масивів погодної та супутникової інформації. Зараз це дослідницький напрям, але згодом він має допомогти ефективніше генерувати фічі для майбутніх прогнозних моделей.

Як це працює: стек, інфраструктура і моделі

Побудували повноцінну data science-інфраструктуру: обчислення — на GPU NVIDIA H100 (через De Novo); сховище — Azure, використовуються .parquet-файли або MS SQL; код — у GitLab із CI/CD; пайплайни — через Azure Data Factory і Jenkins.

Kernel має три типи запуску:

1. Регулярні (щоденні/щотижневі): BBCH, урожайність, вологість.
2. Сезонні: густота сходів, зонування.
3. Ручні: агрологістика — з Excel-файлів спеціалістів відділу логістики (запуск підготовки графіка перевезень за вхідним згенерованим файлом).

Модель BBCH побудована на ансамблях CatBoost, ExtraTreesClassifier та LightGBM.

Додатково використовуються Optuna (для оптимізації гіперпараметрів) і Weights & Biases (трекінг експериментів).Модель навчається з урахуванням сезону — наприклад, у червні не враховує фазу, яка буває тільки в серпні.

Що довелось подолати: проблеми й оптимізація AI-моделей

Моделювання фаз BBCH зіткнулося з трьома головними проблемами:

• Нерівномірна вибірка. Агрономи частіше фіксували критичні фази, тож інші були недопредставлені.
• Хибні дані. Бувало, що фаза 31 йшла перед фазою 19 — доводилося вручну чистити дані.
• Відсутні фази. Не існує ідеального прикладу розвитку культури: на полі може бути лише один або десять оглядів за сезон, але немає даних з щоденними спостереженнями. Тому і немає можливості відстежити поступовий перехід між фазами — доступні лише поодинокі спостереження, наприклад, з фази 10 одразу до 38.

Після запуску виявили кілька типових проблем, як-от «повернення» назад (фаза могла «відкотитися» на одну назад), «стрибки» фаз (іноді фаза могла різко перейти з 16 до 21) та плато (модель «застрягала» на певному етапі).
Рішенням стало залучення агрономів для ручного уточнення, запровадження згладжування кривих росту, а також побудова алгоритму, що перевіряє логіку фаз — наприклад, жодна не може «перестрибнути» іншу.

AI-модель тримає accuracy ~0.75, що підтверджено польовими перевірками. 95% передбачень не помиляються більше ніж на одну фазу.

Завдяки SHAP-аналізу вдалось зрозуміти, що на початку сезону впливають день року, температура, опади; у середині — тип гібрида, світловий день, а в кінці — координати поля й температура.

Що далі? У Kernel працюють над переходом до довгострокового прогнозу фази BBCH — тобто кривої росту, яку можна передбачити наперед на тижні, й завчасно планувати обробки.

*BBCH (Biologische Bundesanstalt, Bundessortenamt und CHemische Industrie) — це міжнародна шкала фенологічного розвитку рослин, що описує фази росту культур від проростання до повного дозрівання. В агробізнесі ця шкала критично важлива, адже допомагає агрономам ухвалювати рішення щодо внесення добрив, обробки фунгіцидами та інших агротехнічних заходів у правильний час.