Voxel51 совместно с сообществом FiftyOne рады объявить о выпуске FiftyOne 0.17!
Подождите, что такое FiftyOne?
FiftyOne — это набор инструментов машинного обучения с открытым исходным кодом, который позволяет группам специалистов по обработке и анализу данных повышать производительность своих моделей компьютерного зрения, помогая им выбирать высококачественные наборы данных, оценивать модели, находить ошибки, визуализировать встраивания и быстрее приступать к работе.
- Если вам нравится то, что вы видите на GitHub, поставьте звезду проекту.
- "Начать!" Мы упростили запуск и запуск за несколько минут
- Присоединяйтесь к сообществу Slack FiftyOne, мы всегда рады помочь.
Хорошо, давайте погрузимся в выпуск!
Что нового в версии 0.17?
Этот выпуск включает улучшения и исправления для приложения FiftyOne, основной библиотеки, интеграции аннотаций, трех новых наборов данных/моделей в FiftyOne Zoo и обновленной документации. Всего в игре 16 новых функций и 6 исправлений ошибок. Вы можете ознакомиться со всеми подробностями в официальных примечаниях к выпуску.
Вот краткое описание некоторых новых функций в этом выпуске.
Сгруппированные наборы данных: работа с данными Multiview, включая 3D!
Теперь FiftyOne поддерживает создание сгруппированных наборов данных, которые содержат несколько срезов образцов, возможно, различных модальностей (изображение, видео или облако точек), организованных в группы. Сгруппированные наборы данных можно использовать для представления многоракурсных сцен, где данные для нескольких перспектив одной и той же сцены можно хранить, визуализировать и запрашивать способами, которые учитывают отношения между фрагментами данных.
Сгруппированные наборы данных могут содержать образцы 3D, включая данные облака точек, хранящиеся в формате .pcd, и связанные аннотации 3D (обнаружения и полилинии).
Как и ожидалось, вы можете работать со сгруппированными наборами данных в приложении FiftyOne!
В приложении FiftyOne вы можете выполнять различные операции со сгруппированными наборами данных:
- Просмотреть все образцы в текущей группе в модальном
- Образцы могут включать изображения, видео и фрагменты облака точек.
- Просматривайте изображения и видео в прокручиваемой карусели и разворачивайте их в визуализаторе.
- Для фрагментов облака точек вы можете использовать новый интерактивный 3D-визуализатор.
- Просмотр статистики по всем срезам
Ознакомьтесь с документацией, чтобы узнать, как начать работу с сгруппированными наборами данных и взаимодействовать с ними в приложении FiftyOne.
Визуализация данных геолокации и взаимодействие с ними
В приложении FiftyOne появилась новая вкладка «Карта», которая появляется всякий раз, когда в вашем наборе данных есть GeoLocation
поле с point
заполненными данными.
Вы можете использовать вкладку «Карта», чтобы увидеть диаграмму рассеяния данных о местоположении вашего набора данных:
import fiftyone as fo import fiftyone.zoo as foz dataset = foz.load_zoo_dataset("quickstart-geo") session = fo.launch_app(dataset)
Что вы можете делать с вкладкой Карта? Ты можешь:
- Лассо указывает на карте, чтобы показать соответствующие образцы в сетке
- Выберите между доступными типами карт (темная, светлая, спутниковая, дорога и т. д.)
- Настройте собственные пользовательские настройки по умолчанию для вкладки «Карта».
Ознакомьтесь с документами вкладки Карта, чтобы узнать, как начать работу с визуализацией и взаимодействием с данными геолокации.
Пользовательские плагины для приложений
FiftyOne теперь поддерживает систему плагинов, которую вы можете использовать для настройки и расширения поведения приложения! Например, если вам нужен уникальный способ визуализации отдельных образцов, построения целых наборов данных или извлечения данных FiftyOne, вам может подойти специальный плагин!
Ознакомьтесь с этим руководством на GitHub, в котором рассказывается, как разработать и опубликовать собственный плагин.
Обучение моделей Detectron2 в FiftyOne
Detectron2 — это библиотека нового поколения от Facebook AI Research, которая предоставляет самые современные алгоритмы обнаружения и сегментации. Он поддерживает ряд исследовательских проектов компьютерного зрения и производственных приложений в Facebook. Новым в этом выпуске является руководство, которое показывает, как с помощью двух простых функций вы можете интегрировать FiftyOne в конвейеры обучения и логического вывода модели Detectron2.
Вклад сообщества
Мы хотели бы воспользоваться моментом, чтобы поблагодарить членов сообщества FiftyOne, которые внесли свой вклад в этот выпуск.
Модель CLIP от OpenAI теперь в зоопарке моделей FiftyOne
Рустем Галиуллин предоставил PR #1691 и #2072, которые добавили модель CLIP ViT-Base-32 в FiftyOne Model Zoo для нулевой классификации и генерации вложений. Модель CLIP была объявлена исследователями OpenAI в 2021 году и является прорывом в эффективном изучении визуальных понятий на основе наблюдения за естественным языком. Модель может быть использована в FiftyOne, например, для классификации изображений в соответствии с произвольным набором классов с нулевым выстрелом:
Дополнительные материалы сообщества
Спасибо следующим членам сообщества, которые внесли следующие PR в проект FiftyOne за последние несколько недель!
- George Pearse предоставил #2068 — Update install.rst
- Odd Eirik Igland предоставил # 2066 — Исправление: ожидаемая строка task_map получила int
- Victor1cea предоставил # 2016 — исправить переменную пути Issue # 1903 и # 1884 — удалить файлы, отличные от XML или TXT, из CVAT, KITTI, CVAT Video
- Джеффри Китинг предоставил # 1973 — обновление документации атрибутов аннотации CVAT
- Idow09 предоставил #1909 — Исправить реализацию custom_parser в рецепте
Обновления сообщества FiftyOne
Сообщество FiftyOne продолжает расти!
- 1000+ участников FiftyOne Slack
- 1900+ звезд на GitHub
- 1000+ Участников встречи
- Использовано 166 репозиториев
- 36 участников
Посмотрите FiftyOne 0.17 в действии!
Присоединяйтесь ко мне (сооснователю и техническому директору Voxel51) на живом веб-семинаре, где я проведу интерактивную демонстрацию FiftyOne 0.17 и представлю наше новое предложение FiftyOne Teams. "Подпишите здесь"!
Что дальше?
- Если вам нравится то, что вы видите на GitHub, дайте проекту звезду!
- "Начать!" Мы упростили запуск и запуск за несколько минут.
- Присоединяйтесь к сообществу Slack FiftyOne, мы всегда рады помочь!