Пользовательские звуковые пакеты — как создать и импортировать свои собственные

Vigilant Ear может изучать новые звуки. Пользовательский звуковой пакет учит приложение распознавать звуки, которые не знает встроенный детектор Apple — местные птицы, конкретная работающая машина, странный зуммер в коридоре вашего здания. Вы обучаете небольшую модель на Mac (программировать не нужно), упаковываете её в zip с двумя небольшими текстовыми файлами и импортируете на iPhone.

Пользовательские пакеты накладываются поверх встроенного детектора. Включение пакета никогда не выключает ничего другого — сирены, сигнализации и все остальные звуки безопасности продолжают работать точно так же, как и раньше.

Вам понадобится: Mac с приложением Xcode Create ML (бесплатно), аудиозаписи ваших звуков и Power Pack+ на вашем iPhone (бесплатная пробная версия засчитывается).

Жесткие требования — сделайте их правильно

Пакет, который игнорирует любой из них, будет импортирован, но будет вести себя плохо (постоянные ложные оповещения или ничего не обнаружено). Это не предложения:

1. Включите класс Background — обязательно, а не по желанию. Ваша модель должна иметь класс, рассчитанный на реальные условия окружающей среды (тихая комната, улица, работающий вентилятор). Заполните его 15+ реальными записями и отметьте "category": "ignored" и "threshold": 1.1 в profiles.json. Без класса Background ваш рюкзак будет постоянно срабатывать в тишине — классификатор звука вынужден выбирать один из своих классов для каждого момента звука, поэтому без сегмента «Ничего из этого» он помечает вашу тихую комнату как то, на что она больше всего похожа.
2. Удалите тишину из обучающих видеороликов. Клип с надписью «Сова», представляющий собой 20 секунд тишины с одним уханьем, учит модель тому, что молчание — это сова. Обрезайте клипы точно по целевому звуку, иначе модель запомнит пробелы.
3. Назовите файл модели точно model.mlmodel или model.mlpackage. Любое другое имя → импорт невозможен.
4. Используйте модель Create ML Sound Classification. Модели изображений, текста и таблиц отклоняются.
5. Ключи profiles.json должны точно соответствовать меткам классов модели, т. е. именам папок обучения, включая регистр и символы подчеркивания.
6. Добавьте gateClasses (см. ниже). Без этого музыка и телевидение вызовут стаю. Это самый крупный контроль ложной тревоги.
7. Заархивируйте файлы на верхнем уровне (или внутри одной папки — не глубже). pack.json должен быть доступен для поиска.
8. Сбалансируйте занятия. Не давайте одному классу 100 клипов, а другому 10 — модель будет склоняться к большему. Ограничьте классы с большой выборкой, чтобы значения находились в пределах ~3× друг от друга.

В оставшейся части руководства каждый из них рассматривается по порядку.

Шаг 1. Соберите обучающее аудио

Создайте папку для каждого звука, который вы хотите распознать, назовите его в честь этого звука и заполните ее примерами записей:

TrainingData/
  Mourning_Dove/        ← 20+ clips of mourning doves
  House_Finch/          ← 20+ clips of house finches
  Background/           ← 20+ clips of your ambient environment WITHOUT the sounds

Советы, которые действительно изменят ситуацию:

• Всегда включайте класс Background. Модель должна помечать каждый момент звука как что-то — без фонового класса тишина и уличный шум будут проникать в ваши реальные классы, и вы увидите ложные оповещения. Запишите места, где вы на самом деле будете использовать рюкзак: ваш двор, цех, кухня.
• Имена папок становятся метками, отображаемыми в приложении (подчеркивания превращаются в пробелы: Mourning_Dove → «Траурный голубь»). Вы можете переопределить отображаемые имена позже в profiles.json.
• Чем больше разнообразия, тем больше длина: разные расстояния, время суток и фоновые условия. Ролики по несколько секунд каждый — это нормально.
• Работают общие форматы (.m4a, .wav, .mp3, .aiff).

Шаг 2 — Обучение модели в Create ML

1. Откройте Create ML (на Mac с Xcode: меню Xcode → Открыть инструмент разработчика → Create ML) и создайте новый проект Sound Classification.
2. Перетащите папку TrainingData в Обучающие данные.
3. Нажмите Обучить. Несколько сотен клипов обучаются за считанные минуты.
4. Проверьте вкладку «Точность» — если один класс получает плохие оценки, ему нужны более или более разнообразные клипы.
5. На вкладке Вывод нажмите Получить и сохраните модель как model.mlmodel (или model.mlpackage — оба работают). Имя файла должно быть именно model.mlmodel или model.mlpackage.

Шаг 3 — Напишите pack.json

Крошечный манифест, описывающий пакет:

{
  "id": "com.example.pack.socalbirds",
  "name": "SoCal Birder's Companion",
  "version": "1.0",
  "author": "Your Name",
  "classes": ["Mourning_Dove", "House_Finch", "Background"],
  "gateClasses": ["bird", "bird_vocalization", "bird_chirp_tweet", "pigeon_dove_coo", "crow_caw"]
}

• Требуется name — он указан в списке пакетов приложения.
• id идентифицирует пакет для обновлений: повторный импорт пакета с тем же id заменяет старую версию. Подойдет любая уникальная строка в стиле обратного DNS.
• classes — это только документация. Приложение считывает истинный список классов из самой модели, поэтому несовпадение ничего не сломает (оно просто отмечено в журнале).
• gateClasses (необязательно, настоятельно рекомендуется) — единственный наиболее эффективный инструмент для предотвращения ложных срабатываний. См. ниже.

gateClasses — пусть модель Apple станет вашим вышибалой

Ваша модель - специалист: она хорошо определяет какой из ваших звуков она слышит, но понятия не имеет, что такое «ни один из моих звуков» (в этом и помогает класс Background). Встроенный классификатор Apple — это универсальный классификатор, обученный примерно на 300 повседневных звуках. Он очень хорошо справляется с грубым вопросом «есть ли вообще птица?»

gateClasses объединяет их: обнаружения вашего рюкзака сообщаются только тогда, когда модель Apple одновременно слышит одну из перечисленных встроенных категорий. Стая с птицами соответствует этикеткам Apple с птицами, поэтому, если Apple не думает, что там есть птица, ваш рюкзак хранит молчание — независимо от того, насколько он уверен в себе. Эта единственная строка исключает подавляющее большинство ложных сигналов тревоги при музыке, телевидении и тихой комнате, поскольку модель Apple оценивает те, которые находятся намного ниже порога. Оставьте его, и пакет заработает без ограничений (подходит для тестирования, в реальном мире болтлив).

Гейтинг доступен только в том случае, если у Apple уже есть категория рядом с вашим звуком. Если ваш пакет предназначен для чего-то, чего модель Apple класса ~300 не знает — конкретного заводского устройства, звукового сигнала медицинского устройства, пользовательского дверного звонка — встроенной метки для входа нет, поэтому вы оставляете gateClasses выключенным, и пакет работает без блокировки. Это ожидаемо, это не ошибка. Для этих пакетов ваш класс Background перестает быть одной защитой среди нескольких и становится единственным, что стоит между вами и постоянными ложными оповещениями — поэтому вложите в него значительные средства (много реальных эмбиентных записей) и поднимите пороговые значения для каждого класса.

Приобретите упаковку птиц на общих этикетках с птицами Apple, а также на любых конкретных птицах, которые может назвать ваша модель: bird, fowl, bird_vocalization, bird_chirp_tweet, bird_squawk, bird_flapping — и, если в вашей упаковке есть соответствующие виды, crow_caw и pigeon_dove_coo. Другие типы пакетов выбирают свои собственные ворота из [полного списка встроенных звуковых идентификаторов] (#appendix-built-in-sound-identifiers-ios-265) в приложении ниже — например. пакет пород собак выходит на dog_bark/dog_howl, пакет транспортных средств на engine/truck.

muteClasses — положитесь на Apple в отношении звуков, которые ваша модель не может назвать

gateClasses открывает вашу упаковку, когда Apple думает, что там птица. Но Apple может конкретно назвать некоторых птиц, которых ваша модель не может охватить — утку, гуся, сову, индейку, курицу или петуха. Если Apple слышит утку, а в вашей стае нет класса утки, ваша модель принудительно отсортирует этого кряканья по ближайшему виду и уверенно назовет его не той птицей. Это ошибочная идентификация, а не ложная тревога из-за тишины — и один только gateClasses ее не остановит, потому что утка также подрывает обычные ворота bird.

muteClasses исправляет это: когда Apple уверена в одном из этих ярлыков, ваша упаковка на этот момент хранит молчание и подчиняется конкретному требованию Apple. Перечислите встроенные ярлыки для звуков, которые вы не каверуете:

"muteClasses": ["owl_hoot", "duck_quack", "goose_honk", "turkey_gobble", "chicken", "chicken_cluck", "rooster_crow"]

Эмпирическое правило: конкретная этикетка птицы Apple указывается в gateClasses, если ваша модель имеет соответствующий (или лучший) класс для нее, и в muteClasses, если это не так. Все, что Apple может назвать, но вы не можете → отключить звук, и пусть Apple будет права.

Шаг 4 — Напишите profiles.json (необязательно, рекомендуется)

Это контролирует, как каждый звук выглядит и ощущается в приложении — одна запись для каждого класса, привязанная к точному имени папки/метки:

{
  "Mourning_Dove": {
    "displayName": "Mourning Dove",
    "hapticCount": 1,
    "emergencyTier": "none",
    "category": "animal",
    "icon": "bird",
    "color": "teal",
    "threshold": 0.5,
    "maxRange": 150
  },
  "House_Finch": {
    "displayName": "House Finch",
    "hapticCount": 1,
    "category": "animal",
    "icon": "bird"
  },
  "Background": {
    "category": "ignored",
    "threshold": 1.1
  }
}

Каждый ключ является необязательным — опустите что-либо, и будет применено разумное значение по умолчанию:

Для вашего класса Background требуется специальная запись, показанная выше: "threshold": 1.1 делает невозможным отчет (достоверность никогда не превышает 1,0), поэтому он бесшумно поглощает окружающий звук, а не появляется в качестве обнаружения. Не опускайте его просто так — класс, не указанный в списке, по-прежнему получает пороговое значение по умолчанию 0,5 и будет отображаться в приложении как общий звук.

Шаг 5 — Заархивируйте его

Выберите три файла — pack.json, profiles.json, model.mlmodel — щелкните правой кнопкой мыши и выберите Сжать. Вместо этого также работает сжатие прилагаемой папки; приложение смотрит на одну папку глубже.

MyPack.zip
├── pack.json
├── profiles.json
└── model.mlmodel

Загрузите zip-архив на свой iPhone любым удобным для вас способом: AirDrop, iCloud Drive, «Почта», «Сообщения».

Шаг 6 — Импортируйте на свой iPhone

1. Откройте Vigilant Ear → меню шестеренки → Power Pack+.
2. Прокрутите до пункта Пользовательские звуковые пакеты (BYOM) и нажмите Импортировать пользовательский пакет (.zip).
3. Выберите свой почтовый индекс в браузере Files.

Пакет появится в списке со своим количеством звуков, уже имеющим статус LIVE. Отсюда вы можете:

• LIVE / OFF — переключить пак, не удаляя его. Выкл. Расходы на нулевую батарею.
• Удалить — запускает 5-секундный обратный отсчет (нажмите еще раз, чтобы отменить), затем полностью удаляет пакет.
• Импортируйте столько пакетов, сколько захотите; все они работают рядом со встроенным детектором. Каждый дополнительный активный аккумулятор требует определенного заряда батареи, поэтому отключайте аккумуляторы, которые вы не используете.

Обнаруженные звуки отображаются так же, как и любые другие: точка на карте с вашим значком и цветом, отображаемое имя в оповещениях и настроенные вами тактильные ощущения.

Несколько встроенных функций, о которых следует знать: обнаружения пользовательских пакетов не передаются узлам сетки Constellation (на других телефонах ваш пакет не будет установлен), а звуки пакетов требуют двух последовательных обнаружений перед оповещением, что фильтрует однокадровые ложные срабатывания.

Поиск неисправностей

Обновление пакета

Переобучить или отредактировать, перезаархивировать и снова импортировать с того же id в pack.json — старая версия заменяется на место.

Приложение: встроенные идентификаторы звуков (iOS 26.5)

(iOS 26.5)

Это встроенные категории звуков, которые распознает встроенный в устройство Apple классификатор Sound Analysis — метки, доступные для gateClasses и muteClasses выше. Apple больше не публикует этот список на своем сайте разработчиков, поэтому таблица ниже была прочитана непосредственно из классификатора на устройстве (SNClassifierIdentifier.version1).

Известные классификации по состоянию на июль 2026 г. (iOS 26.5) — 303 метки. Apple может добавлять, удалять или переименовывать их в любом обновлении ОС, поэтому воспринимайте это как снимок на определенный момент времени: блокировка метки, которую удаляет будущая ОС, просто означает, что ворота никогда не срабатывают (ваш пакет остается безмолвным), и вновь добавленная метка не будет существовать, пока вы ее не активируете. Используйте точное написание (строчные буквы, подчеркивание).

© 2026 Wingdings, Inc.
All rights reserved.
Patent Pending