Справжній український ML: Kernel та MK-Consulting розповіли про великий проєкт для агросектору

10 жовтня 2024 року у Києві відбувся знаковий захід — семінар DOU AI Meetup, що зібрав під одним дахом українських експертів AI\ML-галузі, які розповіли про досвід застосування технологій штучного інтелекту та машинного навчання в Україні. Зустріч наочно продемонструвала, що світові технологічні тенденції не оминають нашу країну, та попри війну, корпоративні користувачі, за допомогою місцевих розробників та сервіс-провайдерів, зуміли інтегрувати інноваційні AI\ML-інструменти у важливі бізнес-процеси та виробничі ланцюжки. Наочним прикладом є досвід компанії Kernel, що є найбільшим в Україні виробником та експортером зернових, а також лідером світового ринку соняшникової олії.

Штучний інтелект для українського агросектора

Одним з важливих етапів у роботі агрокомпанії є прогноз врожайності. Ці дані використовуються департаментами логістики, маркетинговим відділом, фінансовим департаментом тощо. Проте у розпорядженні Kernel — тисячі полів у різних регіонах України — кожне зі своїми умовами та особливостями. Різноманітні чинники, такі як погодні умови, шкідники, хвороби тощо, можуть суттєво впливати на кінцевий результат. Компанія Kernel запропонувала розв'язання цієї проблеми шляхом розробки інтелектуальних систем прогнозування врожайності. Ці системи, що сьогодні працюють на базі ML-технологій, здатні аналізувати великі обсяги даних, зокрема супутникові знімки, метеорологічні дані, дані про ґрунт та інші, для прогнозування майбутнього врожаю з високою точністю. Про це, зокрема розповів Вадим Литвинов — Head of IT Infrastructure Kernel Digital.

Як прискорити тренування ML-моделі втричі

Деталі та етапи реалізації проєкту розкрив під час своєї доповіді Євген Краснокутський — ML Lead компанії MK-Consulting. У підготовці презентації також брав участь Данило Поляков — Data Science Team Lead компанії Kernel — який зі своєю командою безпосередньо займався реалізацією проєкту.

Основою аналізу є дані, що збираються із різних джерел — для прогнозу врожайності використовуються показники, температури, опадів тощо супутникові знімки Sentinel тощо. До цих даних додаються такі параметри як координати поля, характеристики сорту, внесені добрива, агрохімічний склад ґрунту та багато інших параметрів, що в у підсумку дає у датсеті десятки тисяч унікальних прикладів для кожного поля.

Для розв'язання задачі прогнозування розробники застосували широкий спектр алгоритмів машинного навчання включно з такими як логістична регресія, рандомні ліси, градієнтний бустинг тощо. Як зазначив Євген Краснокутський, специфіка задачі полягала ще й в тому, що  потрібно здійснювати кросвалідацію, щоб оцінити, як модель спрацює у погодних умовах нового року, яких ще не було в датасеті. Така ML-модель є доволі динамічною та потребує регулярного тюнінгу. Загалом, використання машинного навчання призвело до помітного підвищення точності прогнозів та, як наслідок — росту ефективності бізнесу агрокомпанії.

Зазначимо, що у цьому важливому для країни проєкті (адже агробізнес — одна з провідних галузей української економіки) є й внесок компанії De Novo. Річ у тім, що спочатку, для оптимізації параметрів ML-моделі використовувалися графічні карти користувацького класу. Як наслідок, залежно від кількості параметрів, оптимізація могла тривати навіть цілу добу. Для того, щоб пришвидшити процес, компанія Kernel скористалася ресурсами надпотужних тензорних акселераторів TPU (GPU) NVIDIA корпоративного рівня, що доступні з хмари De Novo. В результаті час, необхідний на тренування ML-моделей зменшився втричі. Потужності хмари De Novo повністю задовольнили потреби відділу data science в обчислювальних ресурсах. Крім того, за словами Євгена Краснокутського, хмарний сервіс надає дуже зручні інструменти для резервування потужностей TPU між спеціалістами, кожен із яких працює над окремою задачею. Надалі компанія Kernel планує впроваджувати нові функціональні можливості з використанням потужностей De Novo, зокрема зараз проводяться експерименти з Autoencoders та іншими NN-архітектурами.

Новітні ML-технології допомогли Kernel досягти поставленої мети, та підвищити точність прогнозування та ефективність бізнесу. Проте на цьому етапі компанія не зупиняється — наразі триває подальший розвиток ML-проєкту, розширення його функціональних можливостей та інтеграція інструментів штучного інтелекту з іншими системами управління сільськогосподарськими процесами.

Проєкт Kernel продемонстрував, що машинне навчання цілком може стати потужним чинником трансформації аграрного сектору України, адже застосування інтелектуальних систем прогнозування дозволяє підвищити ефективність виробництва, зменшити вплив на навколишнє середовище та забезпечити продовольчу безпеку. Подальший розвиток та залучення ML-технологій відкриває нові перспективи для аграрного сектору нашої країни.