Компанія Google займається розробленням проекту, пов'язаного зі штучним інтелектом, в рамках якого будуть створені нейромережі «наступного покоління», здатні запам'ятовувати «тисячі та мільйони різних завдань». Проект отримав назву Pathways.

На сьогоднішній день нейромережі тренують, як правило, на виконання якогось одного завдання. Наприклад, якщо нейромережа використовується для виправлення помилок у написанні слів, то якщо її перетренувати на пошук граматичних помилок, вона забуде, як виправляти орфографічні.

Приблизно так сьогодні тренується більшість моделей машинного навчання. Замість того, щоб розширювати існуючі моделі для навчання новим завданням,  тренуються нові моделі з нуля – для виконання одного завдання – написав у блозі компанії її віце-президент Джефф Дін (Jeff Dean). Як наслідок, виробляються тисячі моделей тисяч індивідуальних завдань. В результаті навчання новому завданню не тільки займає більше часу, а й потребує більше даних...».

У Google вказують, що архітектура Pathways покликана змінити це: нейромережі можна навчати на виконання безлічі різних завдань.

Ідея полягає в тому, щоб навчати майбутні системи штучного інтелекту відразу безлічі навичок, які вона могла б використовувати і комбінувати для того, щоб самостійно навчатися виконання нових завдань. Зокрема, те, що модель дізнається, навчаючись одному завданню, наприклад, як по авіаційним фотознімкам виявляти височини ландшафту, може допомогти виконанню іншого завдання – прогнозуванню того, як по даній місцевості протікатимуть потоки води. Тобто модель мала різні можливості, які можна було б використати в міру потреби, і які можна було б комбінувати для виконання нових, складніших завдань.

У Google також вказують, що Pathways дозволить реалізувати мультимодальні моделі, які будуть здатні обробляти та розуміти вхідні візуальні, акустичні та мовні дані – все одночасно. Так, щоб коли машина мала справу зі словом наприклад, «леопард» або чула, як хтось вимовляє це слово, або аналізувала відеозапис із зображенням леопарда, що біжить, реакція була б однаковою у всіх трьох випадках: машина розпізнавала б ідею «леопарда».

Ще однією проблемою, з якою Pathway повинен буде допомогти впоратися, полягає в тому, що сьогоднішні моделі машинного навчання передбачають залучення всіх нейровузлів мережі, незалежно від того, наскільки простим чи складним є завдання. У Google вважають, що можна домогтися «розрідженої» активації, тобто спрямовувати нові завдання лише на окремі масиви нейровузлів. Такий підхід ще й менш енерговитратний.

Концепція розрідженої нейромережі вже застосована в проектах Google Switch Transformer, моделі для розуміння природної мови та Gshard. Вони споживають лише одну десяту енергії, яку довелося б витрачати на більш традиційну нейромережу, де активуються всі нейровузли разом.

У майбутньому Google очікує, що Pathways приведе до створення нейромереж, здатних виконувати мільйони різних завдань, проводити узагальнення між ними, комбінувати їх у міру потреби, розуміти різні типи даних і працювати з ними більш ефективно, ніж будь-яка мережа. Метою проекту є перехід «від ери однозадачних моделей, які просто розпізнають патерни, до багатозадачних інтелектуальних систем, які відображають більш глибинне розуміння нашого світу та можуть адаптуватися до нових потреб».