Meta створила модель ШІ, яка розпізнає понад 4 тисячі мов
Meta створила мовну модель штучного інтелекту Massively Multilingual Speech (MMS), яка здатна розпізнавати понад 4 тисячі мов і перетворювати текст у мовлення понад 1100 мовами, повідомила компанія.
Команда випустила MMS для досліджень з відкритим вихідним кодом, щоб допомогти зберегти мовне розмаїття і заохотити дослідників розвивати його на цій основі.
«Ми уявляємо світ, де технології заохочують людей зберігати свої мови живими, оскільки вони можуть отримати доступ до інформації та використовувати технології тією мовою, якою володіють», — зауважують у Meta.
✔️ Докладніше про підхід
Компанія застосувала нетрадиційний підхід до збору аудіоданих — для навчання MMS розпізнавання мов звернулися до релігійних текстів. Біблія та інші основні книги світових релігії перекладені великою кількістю мов, і існує безліч загальнодоступних аудіозаписів, де ці тексти зачитуються. Навчання моделі ускладнилося через те, що аудіозаписи не мали точної текстової розмітки, але в підсумку кількість мов, що підтримуються, перевищила 4 тисячі.
Як пише Engadget, після навчання моделі вирівнювання, щоб зробити дані придатнішими для використання, Meta використала wav2vec 2.0, модель «самоконтрольованого навчання мовленнєвого представлення», яка може навчатися на немаркованих даних. Meta порівняла MMS з Whisper від OpenAI, і результати перевершили очікування: «Ми виявили, що моделі, навчені на даних Massively Multilingual Speech, мають вдвічі менший відсоток помилок у словах, але Massively Multilingual Speech охоплює в 11 разів більше мов».
Однак Meta попереджає, що її нові моделі не є ідеальними й існує певний ризик того, що модель перетворення мови в текст може неправильно перекласти окремі слова або фрази.
Раніше в Google анонсували вихід мовної моделі PaLM 2 AI. Її вже використовують для роботи 25 функцій і продуктів, включаючи Bard — експериментального чат-бота компанії.