Hey Hive!
VER EN ESPAÑOL
Hace unos días compartí un adelanto del Face Scanner Effect en el que estaba trabajando. ¡Hoy estoy súper emocionado de mostrarles la versión final, completamente funcional en dos apps conectadas entre sí!
Es una experiencia interactiva pensada para eventos y activaciones, donde un dispositivo permite seleccionar a una persona participante y el otro activa un escaneo facial en tiempo real usando visión por computadora y shaders animados.
A few days ago I shared a preview of the Face Scanner Effect I was working on. Today I’m super excited to show you the final version, fully working across two connected apps!
It’s an interactive experience designed for events and activations, where one device lets you select a participant, and the other activates a real-time face scanning effect using computer vision and animated shaders.
How it works (2 devices – 1 seamless experience)
VER EN ESPAÑOL
¿Cómo funciona? (2 dispositivos – 1 experiencia fluida)
Interfaz en Tablet (App de Selección)
Diseñé una interfaz de lista de nombres en Unity para Android. El usuario puede recorrerla y seleccionar su nombre.
Una vez seleccionado, ese nombre se envía vía OSC (Open Sound Control) a otra app que corre en otro dispositivo.
Comunicación por OSC
Este fue mi primer proyecto usando OSC, ¡y me encantó aprenderlo!
OSC permite la comunicación en tiempo real entre apps o dispositivos usando mensajes a través de una red local. En mi caso:
- Tablet o teléfono = envía el nombre seleccionado.
- PC = recibe el nombre y activa el Face Scanner.
Es genial porque abre muchas posibilidades para crear experiencias sincronizadas entre múltiples dispositivos, desde juegos hasta instalaciones artísticas.
App de Escaneo Facial
Cuando la PC recibe el mensaje OSC, verifica el nombre y activa el escaneo. Esto es lo que ocurre:
- MediaPipe FaceMesh detecta 468 puntos clave en el rostro en tiempo real.
- Unity genera una malla personalizada usando esos puntos.
- Se activan dos efectos visuales:
- Un contorno blanco basado en landmarks clave.
- Un shader azul de escaneo que se mueve verticalmente sobre la malla completa.
Todo genera una animación tipo sci-fi que sigue dinámicamente el rostro real del usuario.
Tablet Interface (Selector App)
I built a name list UI in Unity for Android. The user scrolls through and selects their name from the list.
Once selected, that name is sent via OSC (Open Sound Control) to another app running on a different device.
OSC Communication
This was actually my first project using OSC, and I absolutely loved learning it.
OSC allows real-time communication between apps or devices using messages over a local network. In my case:
- Tablet or Phone = sends the selected name.
- PC = receives the name and triggers the Face Scanner.
Its really cool because its opens up so many possibilities for creating synchronized, multi-device experiences, from games to installations.
Face Scanner App
When the PC receives the OSC message, it checks the name and activates the scanner. Here's what happens next:
- MediaPipe’s FaceMesh detects 468 facial landmarks in real-time.
- Unity then generates a custom mesh using those points.
- Two visual effects start:
- A white outline based on key landmarks.
- A blue scan shader that moves vertically over the full mesh.
It creates a sci-fi style scanning animation that follows the user’s real face dynamically.
(sorry for my face i recorded this just waking up lol)
🛠️ Tech Stack
VER EN ESPAÑOL
- Unity (C#)
- MediaPipe Modelo de Cara
- Shaders personalizados para líneas de escaneo y contornos
- OSC (Open Sound Control) para comunicación entre dispositivos
- Interfaz optimizada para pantallas táctiles
- Unity (C#)
- MediaPipe FaceMesh
- Custom shaders for scan lines + outlines
- OSC (Open Sound Control) communication
- Optimized UI for touch devices
💡 Use Cases
VER EN ESPAÑOL
- Stands en eventos o activaciones de marca
- Exhibiciones educativas en museos
- Juegos con mecánicas faciales o apps interactivas
- Instalaciones de marketing que reaccionen al usuario
- Event booths or brand activations
- Educational exhibits at museums
- Face-based games or interactive apps
- Marketing installations that react to users
Final thoughts
VER EN ESPAÑOL
Este fue uno de los proyectos más divertidos y satisfactorios en los que he trabajado hasta ahora. Me encantó el desafío de probar y aprender cosas nuevas. Definitivamente voy a seguir usando OSC y MediaPipe en otros proyectos.
¡Si querés ver el ciclo completo de la app, acá te lo dejo!
This was one of the most fun and satisfying projects I’ve worked on so far. Love the challenge of trying and learning new things. I will defenetly keep using OSC and Mediapipe for other projects.
If you want to see the whole app loop here it is!
What do you think?
VER EN ESPAÑOL
¿Usarías algo así en un evento o experiencia interactiva?
Me encantaría leer tus ideas o comentarios en los comentarios. ¡Gracias de nuevo por el apoyo en el primer post y también en este!
Would you use something like this at an event or experience?
I’d love your ideas or feedback in the comments
Thanks again for the support on the first post and this one!