PA 6032 : CW2 - Coursework Portfolio

  

 
 
MUSIC TECHNOLOGY AND PRODUCTION 

Advanced Practice and Innovation 

PA 6032 

CW2 : Coursework Portfolio 

  

ΕΙΣΑΓΩΓΗ 

Σε αυτήν την εργασία θα παρουσιαστούν και επεξηγηθούν οι διαδικασίες που ακολουθήθηκαν για την δημιουργία των τριών project του coursework 1 του μαθήματος. 
Τα τρία project που θα παρουσιαστούν είναι  

1 : Soundscape via Live Audio Signal Processing (Ableton Live) 

2 : Max For Live synthesizer device & distance sensor MIDI Controller (Arduino, Max) 
 
3 : Live Audio-Visual manipulation (Ableton Live, Resolume Arena) 

 

PROJECT 1 - Soundscape via Live Audio Signal Processing 

Σε αυτό το project παρουσιάζεται η δημιουργία εξελισσόμενου ηχοτοπίου μέσω live επεξεργασίας εφέ, τα οποία τροφοδοτούνται από ένα σύντομο ήχο (trigger). 
Το πρώτο στάδιο της εργασίας αφορούσε το setup των triggers και των δρομολογήσεων στα επιλεγμένα εφέ, καθώς και πειραματισμός με τις παραμέτρους των εφέ ώστε να βρεθούν παράμετροι που δημιουργούν ενδιαφέρον στην εξέλιξη του ήχου καθώς μεταβάλλονται, με σκοπό να γίνει mapping σε knobs ενός MIDI controller που επρόκειτο να χρησιμοποιηθεί στο live performance. 
 
 
 
 

Όπως φαίνεται στο παραπάνω screenshot, έχουν δημιουργηθεί διαφορετικά audio κανάλια τα οποία περιέχουν τις ίδιες 4 παραλλαγές του trigger, αλλά στέλνοντας σε διαφορετικούς συνδυασμούς από τα εφέ. Επιλέχθηκαν 2 reverb με διαφορετικό decay time καθώς και 3 delay στα οποία ορισμένοι παράμετροι μεταβάλλονταν με χρήση LFO. Τα σήματα των καναλιών των εφέ επιστρέφουν στο κανάλι FXB μέσω του οποίου γίνεται το monitoring. 
 
 
MIDI mapping 
 

Στην συνέχεια έγινε το MIDI mapping. Αρχικά αντιστοιχήθηκαν note-on εντολές στα διάφορα clips που περιείχαν τις παραλλαγές των triggers. Για τα control change μυνήματα, υπήρχαν διαθέσιμα 8 knobs και 2 touch sliders. Τα knobs μοιράστηκαν μεταξύ των εφέ DELAY 1 και DELAY 2 (Ableton Live Echo plugin), μέσω των οποίων δημιουργούνται οι μεγαλύτερες αλλαγές στο ηχοτοπίο. Η αντιστοίχηση ήταν η παρακάτω 
 
-Slider 1 στο volume του Grain Delay και slider 2 στο volume του DELAY 2 
-Knob 1 στο feedback του DELAY 1 
 
-Knobs 2 και 3 στα Rate των LFO, που επηρεάζουν αντίστοιχα την ταχύτητα μεταβολής των Left Delay Time και Right Delay time του DELAY 1 
-Knob 4 στο Threshold του compressor, στο κανάλι του DELAY 1 
-Κnob 5 σε rate του LFO που επηρεάζει reverb του DELAY 2 
-Knob 6 στη συχνότητας αποκοπής high-pass φίλτρου του DELAY 2 
-Knob 7 και 8 στα Left Delay Time και Right Delay time του DELAY 2 
 
Έπειτα από δοκιμές παρατηρήθηκε πως χρειαζόταν μεταβολή στο εύρος των τιμών που επηρεάζονταν από τα knobs. Η επιλογή των ελάχιστων και μέγιστων τιμών της κάθε παραμέτρου έγινε με κριτήριο να υπάρχουν άμεσα μεταβολές στο ηχοτοπίο ακόμα και με την πραγματοποιήση μικρών κινήσεων και ταυτόχρονα οι μεγάλες κινήσεις να επιφέρουν δραστικότερες μεταβολές. 

Περισσότερες λεπτομέρειες για το setup του project περιλαμβάνονται στο παρακάτω βίντεο επεξήγησης :

H καταγραφή του performance έγινε με το πρόγραμμα OBS Studio. 

PROJECT 2 - Max For Live synthesizer device & distance sensor MIDI Controller 
 

Για το δεύτερο project αρχικά δημιουργήθηκε ένα synthesizer το οποίο παράγει τυχαίες ακολουθίες ήχων οι οποίες τροφοδοτούν δύο delay. 
 

Max patcher 

 
Η αναπαραγωγή ξεκινάει στέλνοντας bang στα object ‘metro’ και ‘random’ , μέσω των οποίων παράγωνται τυχαίες ακολουθίες αριθμών ανά τυχαία χρονικά διαστήματα. Συγκεγκριμένα το ‘random’ παράγει αριθμούς από το 0 ως το 4000 στον οποίο έπειτα προστίθεται ο αριθμός 200, άρα εν τέλει υπάρχει μια τυχαία επιλογή αριθμού στο εύρος 200-4200. Ο αριθμός αυτός ορίζει την θεμελιώδη συχνότητα της επόμενης νότας που παράγεται από το object ‘cycle~’. Έπειτα ο αριθμός πολλαπλασιάζεται επί 2 και επί 3 και ορίζει τον αριθμό της συχνότητας που παράγουν τα object ‘saw~’ και ‘triangle~’ ώστε να εμπλουτιστεί το αρμονικό περιεχόμενο. Τα 3 σήματα προστίθενται μεταξύ τους μέσω του object ‘~*’. Το τελικό σήμα πηγαίνει στο Ableton Live μέσω του object ‘plugout~’ και ταυτόχρονα τροφοδοτεί δυο delay που έχουν δημιουργηθεί με τα object ‘tapin’ και ‘tapout’. Μέσω των object ‘slider’ και ‘scale’ ελέγχονται τα delay time και με το object ‘gain~’ η ένταση των delay σημάτων και το feedback του 2ου delay. Οι έξοδοι των delay τροφοδοτούν το reverb ‘Little Plate’ μέσω του object ‘vst~’, η έξοδος του οποίου φτάνει στο Ableton μέσω του ‘plugout~’. Τέλος υπάρχει ένα bang το οποίο στέλνει την τιμή 0 σε όλα τα sliders με σκοπό να σταματάει η αναπαραγωγή του ήχου. 
 

Στο presentation mode έχουν τοποθετηθεί το bang που ξεκινάει τα ‘metro’ και ‘random’ και το bang που μηδενίζει όλες τις τιμές. Έχουν επίσης τοποθετηθεί όλα τα slider, με στόχο ο χρήστης να μπορεί να επηρεάζει τις εντάσεις, τα delay time και το feedback. Τα slider του delay λειτουργούν σε inverted μορφή δηλαδή η μέγιστη τιμή του slider αντιστοιχεί στην ελάχιστη τιμή του delay time. Η επιλογή αυτή έγινε ώστε οποιοδήποτε slider και να ανεβαίνει, να αυξάνει τον βαθμό της παραγόμενης πληροφορίας και το αντίστροφο. 

 

  

Device Presentation Mode 

Όσον αφορά το Arduino χρησιμοποιήθηκε ο αισθητήρας απόστασης HC-SR04. Οι τιμές του αισθητήρα διαβάζονται με τον παρακάτω κώδικα. 
 
 

 

Στο Max χρησιμοποιήθηκε το παρακάτω patch. 
 
 
 

 

Στο πρώτο κομμάτι μεταφράζονται οι ASCII χαρακτήρες που διαβάζονται από το serial port σε νούμερα. Έπειτα με το object ‘split’ χρησιμοποιούνται μόνο οι τιμές από 0 ως 30, καθώς σε μεγαλύτερες τιμές από αυτές ο αισθητήρας έχανε την ακρίβεια του, οι οποίες γίνονται scale σε 0 ως 127 . Μέσω του object ‘ctlout’ οι τιμές οδηγούνται στο Control Change 79 Ch.1 , της επιλεγμένης MIDI εξόδου. Έτσι μπoρεί να γίνει mapping σε οποιοδήποτε πρόγραμμα δέχεται MIDI input. 

 

Η παρουσίαση του project αν και δεν είναι ιδιαίτερα δημιουργική αποτελεί proof of concept της δυνατότητας να ελέγχονται παράμετροι με την κίνηση μελών τους σώματος. Στο συγκεκριμένο project για παράδειγμα εφόσον υπήρχαν διαθέσιμοι περισσότεροι αισθητήρες και συσκευές arduino, δυνητικά όλα τα silders του synth ή παράμετροι άλλων audio effect, θα μπορούσαν να ελέγχονται μόνο με την κίνηση. 

Για την δημιουργία του βίντεο χρησιμοποιήθηκε το πρόγραμμα OBS Studio. 

 

 

3. Live Audio/Visual Manipulation 

Για το τρίτο project χρησιμοποιήθηκε διαφορετική εκτέλεση του soundscape σε συνδυασμό με visual , μέσω Resolume Arena. Επιλέχθηκαν δυο απλά βίντεο με σχετικά μικρή κίνηση τα οποία θα επηρεάζονταν από 8 εφέ. Στόχος ήταν να υπάρχει αντιστοιχία στις μεταβολές δυναμικών του ηχοτοπίου και του οπτικού περιεχομένου. Έγινε mapping από το ίδιο controller σε παραμέτρους και του Ableton Live και του Resolume Arena έτσι ούτε ως ώστε να επηρεάζονται ταυτόχρονα και ο ήχος και η εικόνα. Αρχικά κρατήθηκε το mapping στο Ableton ως είχε και έγιναν mapping σε αντίστοιχα εφέ που κρίθηκε πως παρουσίαζαν ενδιαφέρον. Ωστόσο δεν υπήρχε πάντα αντιστοιχία της “έντασης” του βιντεο με τις δυναμικές μεταβολές του ηχοτοπίου. Αποφασίστηκε να απλοποιηθούν κάποιοι παράμετροι έτσι ούτε ως ώστε οι κινήσεις με το MIDI controller να έχουν περισσότερο αναμενόμενα αποτελέσματα, καθώς λόγω της πληθώρας των εφέ και των feedback υπήρχε έντονο το στοιχείο της τυχαιότητας. 

Επίσης ακουλουθήθηκε διαφορετική προσέγγιση όσον αφορά το MIDI mapping. Έγινε πρώτα το mapping στο Resolume, και επιλέχθηκαν τα εφέ που δημιουργούσαν το επιθυμητό οπτικό αποτέλεσμα και έπειτα μετά από διάφορες δοκιμές αντιστοιχήθηκαν σε διάφορες παραμέτρους των audio εφέ στο Ableton Live. 
 
 

Resolume Mapping 

 

Το 1ο Knob έγινε map στο εφέ RGB του Arena και στο feedback του DELAY 1, όσο αυξανόταν το feedback γίνονταν εντονότερα τα χρώματα του video 

Το 3ο Κnob έγινε map στο εφέ Distortion του Arena και στο threshold του compressor του DELAY 1. Ως αποτέλεσμα όσο αυξανόταν το threshold, τόσο λιγότερο ελεγχόμενο γινόταν το feedback του delay, αυξάνοντας ταυτόχρονα την ένταση του ήχου και του distortion στο video. 

Τα knobs 2 και 4 έγιναν map στα εφέ Hue και Flip του Arena και στα left και right delay times του DELAY 1. Η μεταβολή τους προκαλούσε μικρότερες μεταβολές στον ήχο σε σχέση με τα υπόλοιπα εφέ για αυτό και αντιστοιχήθηκαν στα λιγότερα “εντυπωσιακά’ visual εφέ. 

Το knob 5 αντιστοιχήθηκε στο εφέ dither του Arena και στο ρυθμό μεταβολής του feedback του DELAY 2, προκαλώντας επιπλέον distortion στο video. 
 
Τα knobs 6 και 7 αντιστοιχήθηκαν στα εφέ Shake και Τwitch του Arena και στα Left και Right delay time του DELAY 2. Οι μεταβολές των παραμέτρων αυτών προκαλούσαν τις δραστικότερες μεταβολές στον ήχο και την εντονότερη κίνηση στην εικόνα. 

Το 8ο knob αντιστοιχήθηκε στην συχνότητα αποκοπής του High-Pass φίλτρου του DELAY 2 και σε Blur εφέ του Arena. Όσο αυξανόταν η συχνότητα αποκοπής του φίλτρου τόσο περισσότερο θάμπωνε και η εικόνα. 
 
Κρίνοντας το τελικό αποτέλεσμα θα ήταν σκόπιμο να υπήρχαν παράμετροι που να επηρεάζουν αποκλειστικά το βίντεο ανεξάρτητα από τον ήχο, καθώς ακόμα και με τις τροποποιήσεις που έγιναν, η εξέλιξη του ηχοτοπίου δεν γίνεται πάντα να είναι εντελώς ελεγχόμενη. Θα ήταν χρήσιμο να υπήρχαν δυο εφέ, ένα που να αυξάνει την ποσότητα πληροφορίας του βίντεο, και ένα που να την μειώνει ώστε να μπορούν να ακολοθούνται τυχόν απρόβλεπτες ηχητικές μεταβολές. 
 
Για την δημιουργία του βίντεο ηχογραφήθηκε ξεχωριστά το κανάλι FX Return του Ableton, έγινε καταγραφή του βίντεο από τον υπολογιστή μέσω της επιλογής ‘Record’ του Arena, και καταγραφή του performance στο MIDI controller από κάμερα κινητού. Ο συγχρονισμός των βίντεο και του ήχου έγινε στο πρόγραμμα DaVinci Resolve χρησιμοποιώντας ως σημείο συγχρονισμού το transient από το πρώτο trigger.