Человечный чат-бот Meena от Google

  • 22.02.2020
  • 71
Человечный чат-бот Meena от Google

Инженеры Google AI создали чат-бота Meena, который умеет учитывать контекст разговора и способен общаться на любые темы. Он имеет 2,6 млрд параметров и обучался на колоссальном массиве данных — 341 ГБ общедоступной «болтовни» в социальных сетях. Это в 8,5 раз больше данных, чем было использовано при обучении ставшего известным ранее алгоритма GPT-2 от компании Илона Маска OpenAI.

Чем Мина крута? Она может понимать контекст. Обычные боты отвечают только на последний вопрос из разговора. А Мина все запоминает и учитывает при ответе. Для того, чтобы проверить свою разработку, сотрудники Google пообщались в свободной форме с несколькими чат-ботами и оценили их, используя систему оценки человечности SSA. Оценка складывалась из трех параметров: осмысленность, конкретность и недоумение. Последняя также измеряется в любой нейросети для фиксации неопределенности языковой модели, и как оказалось, сильно коррелирует с новой метрикой Google.

img

После тестовых испытаний Мина оказалась «человечной» на 79%. Для сравнения, чат-бот Mitsuko набрал всего 56%, хотя он пять раз преодолевал тест Тьюринга. Стоит отметить, что люди-собеседники в ходе тестовых испытаний чат-бота «на человечность» набрали 86%. Есть о чем подумать.

Можно ли уже пообщать с Миной? Пока нет. Но мы ожидаем, что в ближайшем будущем Google выпустит публичную демоверсию.