Адаптивна обробка даних з використанням механізму машинного навчання

Анотація

Актуальність теми зумовлена стрімким зростанням кількості неоднорідних і нестабільних джерел даних у сучасних інформаційних системах. У таких умовах традиційні підходи до організації пошуку інформації вже не забезпечують достатньої ефективності, оскільки не враховують змін у доступності джерел, швидкості їх роботи та якості отриманих резуль-татів. Особливої актуальності проблема набуває у подійно-орієнтованих архітектурах, для яких наразі відсутні універсальні механізми адаптивного керування процесом пошуку та вибору джерел даних. Збільшення обсягів публікацій вимагає новітніх рішень, що безпосередньо впливають на якість отриманих результатів та загальну ефективність використання обчислювальних ресурсів. Метою статті є розробка та впровадження алгоритмів машинного навчання з підкріпленням в подійно-орієнтовані системи для вирішення задач адаптивної оцінки та вибору джерел даних. Для досягнення цієї мети розроблено механізм адаптивного вибору на основі алгоритму Soft Actor-Critic (SAC) [9], [13]. Запропоновано підхід до формування век-тора стану джерел та функції нагороди на основі поведінкових і змістовних метрик. Це дозволяє системі динамічно адаптувати стратегію пошуку залежно від характеристик запиту та ефективності джерел у режимі реального часу. На відміну від статичних стратегій метапошуку, розроблена система здатна самостійно адаптуватися до змін середовища у процесі роботи. Створено середовище моделювання, результати якого підтвердили беззаперечну перевагу адаптивного підходу: забезпечено баланс між якістю результатів (підвищення релевантності) та витратами (скорочення часу обробки та усунення дублікатів).

Ключові слова: адаптивний вибір джерел, подійно-орієнтовані системи, машинне навчання, навчання з підкріпленням, Soft Actor-Critic, асинхронна обробка даних, ранжування, дедуплікація, розподілені системи пошуку, функція нагороди, вектор стану, вектор дії, агрегація наукової інформації, семантичний пошук, релевантність, динамічне керування, оптимізація запитів, метапошукові системи.