Voxel51 совместно с сообществом FiftyOne рады объявить о выпуске FiftyOne 0.17!

Подождите, что такое FiftyOne?

FiftyOne — это набор инструментов машинного обучения с открытым исходным кодом, который позволяет группам специалистов по обработке и анализу данных повышать производительность своих моделей компьютерного зрения, помогая им выбирать высококачественные наборы данных, оценивать модели, находить ошибки, визуализировать встраивания и быстрее приступать к работе.

Хорошо, давайте погрузимся в выпуск!

Что нового в версии 0.17?

Этот выпуск включает улучшения и исправления для приложения FiftyOne, основной библиотеки, интеграции аннотаций, трех новых наборов данных/моделей в FiftyOne Zoo и обновленной документации. Всего в игре 16 новых функций и 6 исправлений ошибок. Вы можете ознакомиться со всеми подробностями в официальных примечаниях к выпуску.

Вот краткое описание некоторых новых функций в этом выпуске.

Сгруппированные наборы данных: работа с данными Multiview, включая 3D!

Теперь FiftyOne поддерживает создание сгруппированных наборов данных, которые содержат несколько срезов образцов, возможно, различных модальностей (изображение, видео или облако точек), организованных в группы. Сгруппированные наборы данных можно использовать для представления многоракурсных сцен, где данные для нескольких перспектив одной и той же сцены можно хранить, визуализировать и запрашивать способами, которые учитывают отношения между фрагментами данных.

Сгруппированные наборы данных могут содержать образцы 3D, включая данные облака точек, хранящиеся в формате .pcd, и связанные аннотации 3D (обнаружения и полилинии).

Как и ожидалось, вы можете работать со сгруппированными наборами данных в приложении FiftyOne!

В приложении FiftyOne вы можете выполнять различные операции со сгруппированными наборами данных:

  • Просмотреть все образцы в текущей группе в модальном
  • Образцы могут включать изображения, видео и фрагменты облака точек.
  • Просматривайте изображения и видео в прокручиваемой карусели и разворачивайте их в визуализаторе.
  • Для фрагментов облака точек вы можете использовать новый интерактивный 3D-визуализатор.
  • Просмотр статистики по всем срезам

Ознакомьтесь с документацией, чтобы узнать, как начать работу с сгруппированными наборами данных и взаимодействовать с ними в приложении FiftyOne.

Визуализация данных геолокации и взаимодействие с ними

В приложении FiftyOne появилась новая вкладка «Карта», которая появляется всякий раз, когда в вашем наборе данных есть GeoLocation поле с point заполненными данными.

Вы можете использовать вкладку «Карта», чтобы увидеть диаграмму рассеяния данных о местоположении вашего набора данных:

import fiftyone as fo
import fiftyone.zoo as foz
dataset = foz.load_zoo_dataset("quickstart-geo")
session = fo.launch_app(dataset)

Что вы можете делать с вкладкой Карта? Ты можешь:

  • Лассо указывает на карте, чтобы показать соответствующие образцы в сетке
  • Выберите между доступными типами карт (темная, светлая, спутниковая, дорога и т. д.)
  • Настройте собственные пользовательские настройки по умолчанию для вкладки «Карта».

Ознакомьтесь с документами вкладки Карта, чтобы узнать, как начать работу с визуализацией и взаимодействием с данными геолокации.

Пользовательские плагины для приложений

FiftyOne теперь поддерживает систему плагинов, которую вы можете использовать для настройки и расширения поведения приложения! Например, если вам нужен уникальный способ визуализации отдельных образцов, построения целых наборов данных или извлечения данных FiftyOne, вам может подойти специальный плагин!

Ознакомьтесь с этим руководством на GitHub, в котором рассказывается, как разработать и опубликовать собственный плагин.

Обучение моделей Detectron2 в FiftyOne

Detectron2 — это библиотека нового поколения от Facebook AI Research, которая предоставляет самые современные алгоритмы обнаружения и сегментации. Он поддерживает ряд исследовательских проектов компьютерного зрения и производственных приложений в Facebook. Новым в этом выпуске является руководство, которое показывает, как с помощью двух простых функций вы можете интегрировать FiftyOne в конвейеры обучения и логического вывода модели Detectron2.

Вклад сообщества

Мы хотели бы воспользоваться моментом, чтобы поблагодарить членов сообщества FiftyOne, которые внесли свой вклад в этот выпуск.

Модель CLIP от OpenAI теперь в зоопарке моделей FiftyOne

Рустем Галиуллин предоставил PR #1691 и #2072, которые добавили модель CLIP ViT-Base-32 в FiftyOne Model Zoo для нулевой классификации и генерации вложений. Модель CLIP была объявлена исследователями OpenAI в 2021 году и является прорывом в эффективном изучении визуальных понятий на основе наблюдения за естественным языком. Модель может быть использована в FiftyOne, например, для классификации изображений в соответствии с произвольным набором классов с нулевым выстрелом:

Дополнительные материалы сообщества

Спасибо следующим членам сообщества, которые внесли следующие PR в проект FiftyOne за последние несколько недель!

Обновления сообщества FiftyOne

Сообщество FiftyOne продолжает расти!

Посмотрите FiftyOne 0.17 в действии!

Присоединяйтесь ко мне (сооснователю и техническому директору Voxel51) на живом веб-семинаре, где я проведу интерактивную демонстрацию FiftyOne 0.17 и представлю наше новое предложение FiftyOne Teams. "Подпишите здесь"!

Что дальше?

  • Если вам нравится то, что вы видите на GitHub, дайте проекту звезду!
  • "Начать!" Мы упростили запуск и запуск за несколько минут.
  • Присоединяйтесь к сообществу Slack FiftyOne, мы всегда рады помочь!