Gemini обеспечивает работу tldraw's «Natural Language Computing»

API Gemini позволяет разработчикам легко интегрировать расширенные возможности ИИ в свои приложения, открывая новые возможности для пользовательского опыта и функциональности. В этой статье рассказывается о том, как tldraw использует Gemini для создания революционного опыта «вычислений на естественном языке» в своем новом проекте computer . Это демонстрирует скорость и простоту, с которой стартапы могут интегрировать мощный ИИ с помощью API Gemini и SDK Canvas от tldraw. Команда tldraw скоро выпустит computer с Gemini 1.5 Flash ( присоединяйтесь к списку ожидания ) и в настоящее время занимается прототипированием с Gemini 2.0 Flash для будущих итераций.

tldraw использует API Gemini, чтобы привнести мощь разговорного ИИ в визуальное программирование, позволяя пользователям генерировать контент и обрабатывать информацию с использованием естественного языка. Это открывает захватывающие возможности для более интуитивного и эффективного пользовательского опыта вокруг ИИ, расширяя границы визуальной коммуникации.

tldraw, стремясь сделать диаграммы доступными и интуитивно понятными, представил более естественный способ взаимодействия пользователей с их холстом. Основатель Стив Руис стремился использовать мощь бесконечного холста SDK tldraw для создания динамической среды для работы с генеративным ИИ. Это видение привело к разработке компьютера , экспериментального приложения, в котором пользователи создают рабочие процессы из блоков текста, изображений и инструкций. При запуске информация перетекает от одного компонента к другому, а выходные данные каждого поколения служат входными данными для следующего, создавая мощные процессы, которые разветвляются, зацикливаются и итерируются для получения выходных данных.

Компьютер tldraw построен на сети взаимосвязанных «компонентов», представляющих элементы на холсте (текстовые поля, изображения, аудиоклипы и т. д.). Эти компоненты связаны стрелками, визуализирующими поток данных и преобразований. Каждый компонент имеет связанные «процедуры» — наборы инструкций, выполняемых на основе входных данных от подключенных компонентов. Компонент может принимать данные от любого количества других компонентов и передавать свои выходные данные многим другим компонентам, включая себя самого! Эта основанная на компонентах архитектура в сочетании с мощностью и скоростью Gemini 2.0 Flash позволяет создать быструю и гибкую систему, способную обрабатывать разнообразные задачи.

Вот как прототипирование Gemini 2.0 Flash помогло нам в этом:

• Молниеносное выполнение процедур: Gemini 2.0 Flash выполняет процедуры быстро. Например, компонент «Инструкция» может содержать «Написать короткую рекламу». В течение нескольких мгновений после запуска компонент сгенерирует повторно используемый сценарий шагов, который может превратить любую комбинацию входов в коммерческий сценарий. Затем компонент будет использовать этот сценарий вместе со своими текущими входами (например, компонент «Текст» с «Новыми смарт-перчатками на базе ИИ для кошек»), чтобы сделать второй запрос модели для ее окончательного вывода. Этот вывод может быть передан другому связанному компоненту «Текст» для отображения, а также другим подключенным компонентам, таким как «Речь» для преобразования текста в речь, «Изображение» для визуальной генерации или другим компонентам «Инструкция» для дальнейшего преобразования.

• Множество контекста, множество режимов: Максималистский уклон в компьютере tldraw требовал скорости, мощности и возможностей. С несколькими компонентами, предоставляющими данные для каждого поколения, большое контекстное окно Gemini 2.0 Flash имело решающее значение для создания выходных данных, которые учитывали все входные данные, как и его поддержка изображений и файлов наряду с письменными подсказками.

• Структурированные данные: Поток данных между компонентами не был бы возможен без соблюдения единой схемы. Структурированный вывод JSON из Gemini 2.0 Flash гарантирует, что каждый компонент в рабочем процессе может распознавать данные любого типа и выдавать свои выходные данные в той же структуре, предотвращая зависания, сглаживая выполнение и гарантируя надежное завершение даже больших рабочих процессов.

• Динамическая генерация процедур: помимо выполнения предопределенных процедур, Gemini 2.0 Flash может динамически генерировать процедуры. Пользователь может ввести «создать маркетинговую кампанию на основе этого описания продукта», и Gemini 2.0 Flash сгенерирует необходимые шаги (процедуры) и требуемые компоненты, выстраивая рабочий процесс на холсте на основе высокоуровневого запроса пользователя. Эта динамическая генерация открывает огромный потенциал для инновационного пользовательского опыта и оптимизированных рабочих процессов.

Быстрое внедрение tldraw на компьютере подчеркивает ценностное предложение Gemini для стартапов: быстрое прототипирование, улучшенный пользовательский опыт с помощью интуитивно понятных интерфейсов на естественном языке и эффективная обработка структурированных данных благодаря таким моделям, как Gemini 2.0 Flash. Это сочетание позволяет небольшим командам быстро и экономически эффективно создавать инновационные функции на базе ИИ.