Мултимодална музикална стойка: 9 стъпки (със снимки)

2024 Автор: John Day | [email protected]. Последно модифициран: 2024-01-30 07:55

Мултимодалната музикална стойка (MMMS) е нов начин за контрол на аудио синтеза и ефекти, докато свири на традиционен инструмент (саксофон, флейта, цигулка, както го наричате), и предлага доста допълнителни възможности за разширени техники, които могат да се използват по време на свирене ! Вече има уеб страница за нашия групов проект в Калифорнийския университет в Санта Барбара, в която разработихме MMMS, така че вместо да повтарям това тук, ще публикувам връзката - проверете я! Мултимодален уебсайт за музикална стойка Кратък клип на MMMS в действие е тук, но има по-добри видеоклипове на сайта по-горе … Мултимодал се отнася до способността за откриване на вход в повече от една модалност (аудио вход, видео вход и вход, базиран на сензор). Аудио и видео входът е доста ясен, включващ нормален микрофон и уеб камера, свързани към компютъра ви, но входът на сензора е малко по -сложен, оттук и тази инструкция … Използваме CREATE USB Interface, проста схема, която разработих за клас Преподавам в UCSB, заедно с комплекта ThereminVision II за E-field (известен също като капацитивно измерване), както е показано тук: CREATE USB InterfaceThereminVisionII kit Ако не знаете какво е Theremin, направете си услуга и потърсете в Youtube, спечелихте не се разочаровай! MMMS е основно еквивалентен на 2 Theremins, тъй като има 4 антени за разпознаване на Е-поле, в допълнение към аудио/видео входа, разбира се. Ако се интересувате от разширяване на вашите техники за изпълнение с вашия инструмент чрез взаимодействие с компютър, но не искате да използвате прости крачки, направете си Мултимодална музикална стойка и започнете да практикувате с нея!

Стъпка 1: За CREATE USB Interface

CREATE USB Interface (CUI) е проста PIC-базирана програмируема схема, която може или да бъде изградена изцяло „Направи си сам“, или можете да получите предварително изградена такава от мен директно за $ 50 (+ 5 за доставка) и няма да имате нужда за да си купите PIC програмист, откакто поставих буутлоудъра за него … вижте уебсайта за подробности или просто ми изпратете имейл, за да поискам такъв: CREATE USB Interface website CUI може да функционира като много различни неща и досега е бил използван в стотици интересни проекти по целия свят … няколко примера от студенти от UC Santa Barbara са в този документ на конференцията (PDF). CUI може да бъде препрограмиран чрез USB кабела с помощта на буутлоудъра, поради което е толкова лесно адаптивен - просто сменете фърмуера и това е нещо друго. Например, лесно е да направите CUI в безжичен сензорен интерфейс, използвайки един от Bluetooth модулите от Spark Fun - ако някой се интересува от това, пуснете бележка в коментарите с искане за друга инструкция. CUI има 13 канала с 10-битови аналогови входове и 16 входа/изхода с общо предназначение. Фърмуерът по подразбиране, доставен с платките CUI v1.0, ги изпраща всички като входни данни към хост компютъра и работи добре с интерактивни среди за създаване на изкуство като Max/MSP/Jitter, Pd/Gem, SuperCollider, Chuck и др. една от платките CUI v1.0 за изграждане на Мултимодална музикална стойка в тази инструкция. Ние използваме Max/MSP/Jitter като среда, но по всякакъв начин не се колебайте да го адаптирате към Pd или по ваш избор на софтуер. Аз съм голям фен на отворен код (самият CUI е с отворен код) и много помага, ако всички застанем на раменете си и подобрим нещата, които правим!

Стъпка 2: За комплекта ThereminVision II

ThereminVision II се предлага както като комплект ($ 50), така и предварително изграден ($ 80) от сайта на доставчика, RobotLand, а също така е с отворен код - ръководството ThereminVision II (PDF) включва схеми. За MMMS, аз купих комплекта и след това реших да отида с предварително изградения такъв (този път е вторият MMMS, който съм построил). Като страна, в случай, че се чудите защо не предлагам комплекта на CREATE USB Interface, това е така, защото буутлоудърът CUI трябва да бъде програмиран с конвенционален PIC програмист, преди новият фърмуер да може да бъде изпратен през USB - в противен случай определено бих предложил комплект, въпреки че би включвал спояване на повърхностен монтаж … Така че обратно към ThereminVision II - ако сте го закупили в комплекта, следвайте (страхотно!) инструкциите в pdf: Ръководство за ThereminVision II Има много хубави схеми на окабеляването, които ще трябва да направите - единственото нещо, което не показва е връзките към CREATE USB Interface, така че ще публикувам снимките, които направих на следващите няколко стъпки … о, и получих антените за ThereminVision (не са включени) от All Electronics.

Стъпка 3: Подготовка на музикалната стойка

Направете своя мултимодален музикален щанд от хубава музикална стойка, като например „стойката за диригенти“, показана тук, или използвайте всичко, което имате под ръка - още по -добре, направете си сами!

Без значение каква стойка използвате, тя ще се нуждае от изолирани стойки за четирите антени в ъглите на стойката. Започнете с пробиване на дупки в ъглите - монтажният хардуер, който бях сложил наоколо, работеше със свредло 1/4 , вашият вероятно ще бъде различен. Опитайте се да държите предната част на повърхността възможно най -изравнена, за да избегнете смущения в нотите.

Стъпка 4: Свързване на сензорните модули ThereminVision

Свързването на "сензорни" модули на ThereminVision (555 таймерни вериги) към модула на "процесор" на ThereminVision също е обсъдено по -подробно в ръководството на ThereminVision II, но ето няколко снимки на процеса …

Стъпка 5: Свързване на ThereminVision към CREATE USB интерфейса

Както видяхме в последната стъпка, има 4 проводника, свързващи всеки от сензорните модули към процесорния модул ThereminVision. Има и 6 проводника, свързващи процесорния модул ThereminVision към CREATE USB интерфейса - те са Power, Ground, Sensor Output, Sensor Select A, Sensor Select B и Sensor Stop.

Тъй като ThereminVision II ще получи захранването си от CREATE USB интерфейса (който от своя страна получава захранването си от USB), реших да свържа захранването за всеки от сензорните модули ThereminVision директно към CREATE USB интерфейса - това го прави малко по -малко на птиче гнездо на окабеляването, тъй като вече има много проводници, преминаващи към процесорната платка TherminVision. Свържете "+" на ThereminVision към "5V" на CUI Connect "-" на ThereminVision към "GND" на CUI Connect "4" (разделянето на 4 изхода) на ThereminVision към "D7" на CUI Connect „SEL B“на ThereminVision към „D5“на CUI свържете „SEL A“на ThereminVision към „D4“на CUI Свържете „S“на ThereminVision към „D6“на CUI

Стъпка 6: Монтиране на всичко към стойката

Така че електрониката е свършена, сега просто я монтирайте на стойката - има много методи за това и може да искате да поставите електрониката си в защитна кутия и т.н.

Ето няколко снимки на някои от най -простите методи за монтаж.

Стъпка 7: Стартиране на фърмуера за ThereminVision в CUI

ThereminVision изпраща синхронизиращи сигнали за своите сензори вместо аналогови изходи (или някой от стандартните цифрови протоколи като I2C или SPI). Така че беше необходим някакъв персонализиран фърмуер за измерване на времето на тези сигнали … Първата версия на фърмуера на Multimodal Music Stand е в zip файла по -долу, както изходният код, така и компилираният шестнадесетичен файл са включени (заедно с тестова корекция за Max/ MSP/Jitter): Фърмуер на CUI -ThereminVision Екранната снимка по -долу показва програмата OS X Boot Down от Craig Schimmel - помощна програма за зареждане на Macintosh за CUI. Ако сте на Windows, най -лесното нещо е да използвате собствения инструмент на Microchip, PDFSUSB.exe, който може да се изтегли от техния уебсайт или включен в този примерен код за CREATE USB Interface. За да поставите CUI в "режим на зареждане", задръжте програмния бутон и натиснете бутона за нулиране (или просто включете USB кабела, като държите бутона на програмата натиснат). Светодиодът за състоянието на CUI ще мига непрекъснато, което показва, че той е в режим на зареждащо устройство. Сега можете да използвате Boot Down, за да изпратите файла CUIEfieldBootDown.hex към CREATE USB Interface. Ако някога искате да промените фърмуера за CREATE USB Interface обратно към оригинала, той е тук и има други примери за фърмуер за CUI и тук.

Стъпка 8: Тестване на мултимодалната музикална стойка в Max/MSP/Jitter

Отворете примерния пластир в Max/MSP/Jitter (30-дневна демонстрация може да се изтегли от www.cycling74.com и е налична и версия за изпълнение по време на работа, която не позволява запазване на корекции), или следвайте конвенциите в Max patch и направете свой собствен кръпка в PureData (Pd) … Jitter се използва за показване на 3D позицията на жестови входове, където оста z (към и далеч от стойката) е съпоставена с общата интензивност на четирите антени - не е много научно, но работи! Данните от отделните сензори също се изпращат като OSC до 127.0.0.1 (localhost) за използване от други приложения, ако е необходимо. Полезен обект в Max/MSP/Jitter за филтриране на скокове извън данните от сензора (причинени от електрически смущения) е "по -гладкият" на Тристан Джехан, който може да се изтегли тук: по -гладък макс обект Сайтът на Тристан също има куп външни MSP за Max, които използваме за частта за аудио анализ на входа на Мултимодалната музикална стойка - те включват височина ~, сила на звука ~, яркост ~, шум ~ и обект на анализатора „всичко в едно“. След като получите данни, постъпващи в Max, ще трябва да регулирате чувствителността на сензорите ThereminVision поотделно с малък шпиндел. Направете това, като удължите антените докрай, след това завъртете синия тримпот обратно на часовниковата стрелка, докато премине в режим на „обратно засичане“- след това го завъртете обратно по посока на часовниковата стрелка, докато се върнете в нормалния обхват на засичане. Малки корекции (настройване на чувствителността, точно като настройка на китара) могат да бъдат направени чрез промяна на дължината на антените, така че няма да е необходимо да носите малката отвертка на концерти с вас.

Стъпка 9: Използване на мултимодалната музикална стойка в изпълнение! (и го разширява)

Не забравяйте, че новите техники за изпълнение, които Мултимодалната музикална стойка позволява, се нуждаят от практика и разработване на нови карти и идеи за това, което искате да контролирате с нея! Също така, ако искате да разширите вашата MMMS, за да включите други видове сензори, ще бъде възможно да се използват 13 -те аналогови входа на CUI в допълнение към сензорите ThereminVision в бъдещите версии на фърмуера на MMMS, така че с някои прости сензори (плъзгачи/копчета/крачета) или други типове сензори (IR/ултразвук/и т.н.), те могат да се използват заедно с аудио вход и видео към компютъра. Понастоящем фърмуерът използва протокол "сериен-през-USB", но в крайна сметка планът е да преминете към "HID" (Human Input Device) протокол, който обикновено се използва от CREATE USB Interface. Моля, не се колебайте да допринесете за усилията … Има подобен проект с отворен код за откриване на електронно поле (известен също като капацитивно измерване), който използва същата топология на веригата (въз основа на дизайна ThereminVision), наречен CapToolKit - използва „малкия брат "на PIC18F4550, PIC18F2550, който няма толкова аналогови входове (10 вместо 13). Фърмуерът за CapToolKit ще бъде малко по -различен, тъй като те не използват процесорната платка ThereminVision. Ние използваме обикновена firewire камера (стил на уеб камера), монтирана в горната част на музикалната стойка за оптично разпознаване на физически жестове и откриване на поглед - Ако се интересувате от аспектите на компютърното зрение или аудио анализ и синтез на изследванията на нашата група, моля, вижте документите на уебсайта на Мултимодалната музикална стойка. И моля, публикувайте своя опит, ако изградите Мултимодален музикален щанд … Сега имаме два от тях в UCSB, както е показано на снимката по -долу - би било чудесно да има повече композиции, изпълнения и музиканти, които да ги използват! Д-р JoAnn Kuchera-Morin написа първата композиция, включваща MMMS, която беше изпълнена от флейтиста Джил Фелбър в Eastman School of Music през март 2007 г.