Google 10 мая 2023 года представил новое поколение языковой модели Pathways — PaLM 2, продемонстрировав заметные улучшения по сравнению с оригинальной PaLM. Новая LLM претендует на то, чтобы конкурировать с GPT-4 от OpenAI, предлагая иные подходы к масштабированию и применению. Важно понять, какие именно улучшения получил PaLM 2 и где он превосходит или уступает своему основному сопернику. Этот Обзор PaLM 2 сосредоточен на реальных различиях, производительности и практическом применении моделей. Текст не вводит новых фактов, а пересказывает и структурирует данные из исходного материала.
PaLM 2 против GPT-4: обзор производительности
PaLM 2 предложил несколько новых возможностей и улучшил показатели над предшественником, при этом сохраняя конкурентоспособность с GPT-4 в ряде задач. Одно из ключевых преимуществ PaLM 2 — наличие компактных версий, пригодных для приложений с ограниченными вычислительными ресурсами. Семейство включает несколько меньших моделей: Gecko, Otter, Bison и Unicorn, где Gecko — самая лёгкая, а Unicorn — самая крупная внутри этого набора. Google также приводит данные о превосходстве в отдельных тестах рассуждений и математике, но прямое сопоставление с результатами OpenAI затруднено из-за разницы в методологии публикации. В ряде бенчмарков GPT-4 сохраняет преимущество, однако PaLM 2 демонстрирует существенный прогресс и в целом сокращает разрыв.
- Gecko — самая маленькая модель, подходит для мобильных устройств.
- Otter и Bison — варианты среднего размера для гибкой интеграции.
- Unicorn — самая крупная модель семейства PaLM 2.
В опубликованных результатах видно, что GPT-4 выигрывает в MMLU, HellaSwag и ARC-E с более высокими баллами, тогда как PaLM 2 добился улучшений по сравнению с PaLM и в некоторых наборах даже превзошёл конкурентов. Google указывает, что самая большая модель PaLM 2 — PaLM 2-L — существенно меньше самой крупной PaLM, но при этом получила больше вычислительных затрат на обучение. При оценке числа параметров компания не даёт точных цифр, что оставляет место для домыслов о том, где именно располагается PaLM 2 по сравнению с моделями OpenAI. Тем не менее способность компактных версий близко конкурировать с более тяжёлыми моделями производит сильное впечатление.
Различия в обучающих данных GPT-4 и PaLM 2
Google не раскрывает точный объём обучающего корпуса PaLM 2, но отмечает, что он значительно расширен по сравнению с PaLM. В отличие от простой декларации объёма, фокус обучения PaLM 2 был смещён в сторону математики, логики и научных задач, что отразилось на соответствующих результатах. Корпус включает веб-документы, книги, код, математические и разговорные данные, а также материалы на более чем 100 языках, что повышает возможности перевода и понимания контекста. OpenAI в описании GPT-4 также указывала на обучение на больших публичных и лицензированных наборах данных, подчёркивая разнообразие примеров и решений. В итоге подходы двух компаний различаются по акцентам обучения, и это может по-разному влиять на поведение моделей в реальных сценариях.
Чат-боты и сервисы PaLM 2 и GPT-4
Доступ к моделям в основном реализован через чат-интерфейсы: Bard для PaLM 2 и ChatGPT для GPT-4. Bard остаётся бесплатным и доступен в большом числе стран, тогда как GPT-4 предлагается через платную подписку ChatGPT Plus, а бесплатные пользователи чаще получают доступ к GPT-3.5. При этом Microsoft интегрировала GPT-4 в Bing Chat, делая эту версию доступной без отдельной платы для большого числа пользователей. Google объявил о включении PaLM 2 в множество своих продуктов: Workspace, Docs, Sheets, Slides, Gmail и других сервисов, а также о присутствии модели в более чем 25 продуктах, включая Android и YouTube. Такие интеграции формируют разные пути распространения технологий и влияют на то, какие решения выбирают разработчики и компании для своих задач.
- Bard — бесплатный доступ и широкая интеграция в сервисы Google.
- ChatGPT с GPT-4 — платный доступ через ChatGPT Plus; Bing Chat даёт частичный бесплатный доступ к GPT-4.
Несмотря на мощную интеграцию GPT-4 и более ранний выход, многие разработчики могут испытывать интерес к PaLM 2 из‑за его компактных версий и широкой интеграции в экосистему Google. Открытый характер распространения PaLM 2 в тексте исходного материала упоминается как фактор, который потенциально облегчит его распространение по сравнению с закрытыми платными API. Однако переход экосистем требует времени, и OpenAI пока остаётся значимым поставщиком для сторонних разработчиков.
Может ли PaLM 2 побороть GPT-4?
Однозначного ответа пока нет: PaLM 2 слишком новый, и его влияние ещё предстоит оценить в долгосрочной перспективе. Google делает ставку на агрессивное распространение и на наличие компактных моделей, что может стать серьёзным преимуществом в мобильных и встраиваемых приложениях. В то же время GPT-4 уже зарекомендовал себя и выигрывает в ряде сравнений, сохранив лидерство в некоторых ключевых бенчмарках. Наличие лёгких вариантов PaLM 2, таких как Gecko, которые могут работать на устройствах с ограниченными ресурсами, даёт Google шанс охватить новые классы продуктов. Таким образом PaLM 2 имеет все шансы составить реальную конкуренцию, но результат гонки ещё не предрешён.
Гонка искусственного интеллекта разгорается
Запуск PaLM 2 обострил конкуренцию в сфере больших языковых моделей и показал, что у OpenAI появился достойный оппонент. Упоминание о мультимодальной модели Gemini в исходном материале свидетельствует о том, что Google не собирается снижать темпы развития. В результате пользователи и разработчики получают больше вариантов и возможностей для выбора инструментов под свои задачи. Конкуренция стимулирует улучшения и ускоряет внедрение ИИ в продукты, что в конечном счёте даёт выгоду рынку и конечным пользователям. Этот период станет определяющим для того, кто и каким образом будет доминировать в ближайшие годы.
