Благодаря моделям ИИ, объединяющим местные языки, культурную значимость и практическое применение, разработки 2024 года не только расширили возможности индийского бизнеса, но и задали ориентиры для мировой экосистемы ИИ.
2024 год станет переломным для ИИ в Индии. Благодаря поддержке правительства инициатив местных стартапов в сфере ИИ в стране происходят значительные изменения в технологическом и бизнес-секторах. Благодаря интеграции местных языков, культурной значимости и практическому применению модели ИИ в этом году расширили возможности индийского бизнеса и задали ориентиры для мировой экосистемы ИИ.
В этой статье описываются лучшие индийские модели ИИ, выпущенные в 2024 году, и рассказывается о том, как они помогают Индии развивать ИИ по всему миру.
1. БхаратГен
Правительство Индии недавно представило BharatGen, первую финансируемую государством инициативу по разработке мультимодальных больших языковых моделей. BharatGen означает «GenAI для Бхараты, от Бхараты».
Недавно компания представила e-vikrAI — передовое решение на основе языковых моделей Vision, разработанное для изображений товаров в индийской электронной коммерции. e-vikrAI упрощает каталогизацию для продавцов, избавляя их от необходимости вводить данные вручную. Просто загрузив изображение товара, продавцы получают автоматически сгенерированные заголовки, описания, характеристики и предложения по ценам, основанные на глубоком понимании индийской культуры.
2. NVIDIA Nemotron-4-Mini-Hindi-4B
Во время своего визита в Индию генеральный директор NVIDIA Дженсен Хуанг представил модель Nemotron-4-Mini-Hindi-4B, небольшую, но мощную языковую модель на хинди, разработанную для того, чтобы помочь компаниям создавать решения на основе ИИ для удовлетворения региональных потребностей.
Эта модель, являющаяся частью микросервиса NVIDIA NIM, может быть развернута в системах с графическим процессором NVIDIA для оптимизации производительности различных приложений.
Компания Tech Mahindra первой внедрила эту модель, создав Indus 2.0, ориентированную на хинди и его диалекты. Модель Nemotron для хинди имеет 4 миллиарда параметров и была создана на основе многоязычной модели Nemotron-4 с 15 миллиардами параметров. Она была обучена на реальных данных на хинди и синтетических данных, включая английский.
После тонкой настройки с помощью NVIDIA NeMo он лидирует по нескольким показателям точности для моделей ИИ с 8 миллиардами параметров. Поставляется в виде микросервиса и поддерживает различные отраслевые приложения, в том числе в сфере образования и здравоохранения.
3. Крутрим
Ранее в этом году компания Bhavish Aggarwal Ola Krutrim запустила свою первую модель искусственного интеллекта Krutrim. Модель может понимать 22 индийских языка и генерировать текст на 10 из них, включая хинди, маратхи, бенгальский, тамильский, каннада, телугу, ория, гуджарати и малаялам.
Модель Krutrim была обучена на более чем 2 триллионах токенов с упором на индийские данные, что делает её уникальной для отражения особенностей индийского наследия и культуры.
4. Сарвам-1
Индийский стартап в сфере искусственного интеллекта Sarvam AI запустил Sarvam-1, первую модель LLM, оптимизированную специально для индийских языков.
Разработанный с использованием 2 миллиардов параметров, Sarvam-1 поддерживает 10 основных индийских языков: бенгальский, гуджарати, хинди, каннада, малаялам, маратхи, ория, пенджаби, тамильский и телугу.
Одной из ключевых особенностей Sarvam-1 является его вычислительная эффективность. Модель обеспечивает в четыре-шесть раз более высокую скорость логического вывода по сравнению с более крупными моделями, такими как Gemma-2-9B и Llama-3.1-8B, сохраняя при этом конкурентоспособный уровень производительности. Это делает Sarvam-1 особенно подходящим для использования в производственных средах, в том числе на периферийных устройствах, где вычислительные ресурсы могут быть ограничены.
5. Surya OCR
Surya OCR — это комплексный инструмент оптического распознавания символов (OCR), разработанный для работы с широким спектром типов документов и языков. Созданный Виком Паручури, он недавно выпустил версию 2, которая обеспечивает более высокую точность для всех типов документов и превосходит Tesseract и Google Cloud OCR.
Surya может распознавать различные элементы макета, такие как таблицы, изображения, заголовки и т. д., и определять их расположение в документе
Surya OCR можно легко установить с помощью pip. Для этого требуется Python 3.9+ и PyTorch. Веса модели автоматически загружаются при первом запуске, что упрощает процесс настройки. Для тех, кто предпочитает облачные решения, также доступен надежный API. Этот API поддерживает различные форматы документов и обеспечивает стабильную работу для разных задач распознавания текста.
Surya также предлагает удобный интерфейс командной строки, позволяющий пользователям выполнять такие задачи, как распознавание текста, обнаружение текста, анализ макета и определение порядка чтения, прямо из терминала. Кроме того, Surya можно интегрировать в скрипты Python, что позволяет создавать собственные конвейеры распознавания текста и рабочие процессы предварительной обработки для более сложных сценариев использования.
6. Эверест 1.0
Hanooman из SML представил Everest 1.0 — многоязычную систему искусственного интеллекта, поддерживающую индийские языки, в том числе хинди, бенгальский, тамильский и телугу. В настоящее время она поддерживает 35 языков, а в ближайшие месяцы планируется расширить поддержку до 90 языков. Everest 1.0, основанный на архитектуре исполняемой экспертной модели (EEM), выполняет такие задачи, как доступ к данным в реальном времени, прогнозирование и анализ изображений.
Он направлен на улучшение доступа и инклюзивности в таких сферах, как обслуживание клиентов, образование, здравоохранение и финансы.
7. Читралекха
Chitralekha — это платформа для транскриирования видео с открытым исходным кодом, поддерживаемая фондом EkStep и созданная с использованием моделей искусственного интеллекта, разработанных компанией AI4Bhārat. Платформа открыта для дальнейшего совершенствования и интеграции новых функций.
Изначально разработанный для аннотирования видео, он позволяет пользователям автоматически генерировать и редактировать расшифровки аудио на индийских языках. Его ключевые функции включают создание и загрузку субтитров, дублирование аудио- и видео и перевод видео на несколько индийских языков.
8. Айравата
Airavata — это LLM с открытым исходным кодом для хинди, разработанный AI4Bharat, исследовательской лабораторией Индийского технологического института в Мадрасе. Airavata, выпущенный в 2024 году, был создан путём тонкой настройки модели OpenHathi (разработанной Sarvam AI) с использованием различных наборов данных для тонкой настройки на хинди.
Модель, названная в честь санскритского слова, означающего «слон», повышает эффективность выполнения широкого спектра вспомогательных задач на хинди. Airavata была обучена с использованием наборов данных, созданных людьми и соответствующих требованиям лицензии, в том числе переведённых версий наборов данных для настройки на английском языке, чтобы обеспечить устойчивость и избежать ограничений по лицензированию.
9. Сутра
Компания Two AI, основанная Пранавом Мистри, представила семейство моделей под названием SUTRA. Его архитектура с двумя трансформерами обеспечивает многоязычные, экономичные решения на основе ИИ для более чем 50 языков, включая несколько южноазиатских языков, таких как гуджарати, маратхи, тамильский и телугу. Модель включает в себя два трансформера на основе смеси экспертов: концептуальную модель и кодировщик-декодер для перевода, которые работают вместе для эффективной и точной обработки языка.
10. Девика
Devika — это инженер-программист с открытым исходным кодом, разработанный 21-летним разработчиком из Кералы по имени Муфид В.Х. Созданная как альтернатива Devin AI от Cognition Labs, Devika понимает высокоуровневые инструкции человека, разбивает их на этапы, ищет нужную информацию и пишет код для достижения поставленных целей.
Devika использует передовые модели ИИ, такие как Claude 3, GPT-4, GPT-3.5 и локальные LLM через Ollama. Он может выполнять сгенерированный код, самостоятельно исправлять ошибки и даже развёртывать статические веб-сайты на Netlify.