Гібридні автомати та багатоагентний TD3 для прийняття рішень роєм БПЛА в умовах протидії

Анотація

Рої безпілотних літальних апаратів (БПЛА) повинні узгоджувати дії в умовах часткової спостережуваності, нестійкого зв’язку та цілеспрямованої радіоелектронної боротьби (РЕБ). Багатоагентні методи навчання з підкріпленням, зокрема MADDPG, здатні формувати ефективну кооперативну поведінку, проте монолітні політики виявляються нестабільними на межах фаз місії та під час рідкісних критичних подій, таких як раптове глушіння. У попередній роботі авторів запропоновано гібридну архітектуру, що поєднує наглядовий гібридний автомат із трьома дискретними режимами (Пошук, Супровід, Безпека) та керованими переходами з багатоагентним навчанням за схемою централізованого навчання і децентралізованого виконання (CTDE), і показано її суттєву перевагу над монолітним базовим рішенням. Дана стаття розвиває цей підхід: за незмінної логіки автомата контролер MADDPG замінюється на багатоагентний алгоритм TD3 (MATD3) з подвійними критиками, згладжуванням цільової політики та відкладеним оновленням актора, що зменшує зміщення переоцінки та підвищує стійкість навчання. Для кожного режиму застосовано окреме формування винагороди та окремі буфери відтворення досвіду, що послаблює взаємну інтерференцію між режимами. Експерименти проведено у середовищі Gym-PyBullet-Drones із моделлю РЕБ-глу-шіння, де порівнюються два підходи з ідентичною логікою автомата — HA+MATD3 та HA+MADDPG. Запропонований HA+MATD3 досягає такого ж підсумкового виграшу приб-лизно на 30% швидше та з більш плавною кривою навчання, забезпечує вищі показники успішності місії (96% без глушіння та 93% за наявності глушіння проти 94% і 90%), швидше виявляє ціль (22,3 с проти 24,0 с) та надійніше супроводжує маневрену ціль (частка часу спостереження 92,5% проти 89,7%). Крім того, запропонований підхід краще масштабується: для рою з десяти БПЛА HA+MATD3 зберігає 87% успішних місій за умов глушіння проти 82% для HA+MADDPG. Результати свідчать, що поєднання формального наглядового керування режимами із сучасним алгоритмом TD3 забезпечує більш відмовостійке та ефективне керування роєм за невизначеності, зберігаючи інтерпретованість і гарантії безпеки гібридного автомата.

Ключові слова: багатоагентне навчання з підкріпленням, рій БПЛА, гібридні автомати, TD3, MADDPG, радіоелектронна боротьба, CTDE.