Open-Source-Projekt Kinesis knackt Metas Neural Band für Muskelsteuerung am Mac

Meta entwickelte das „Neural Band“ ursprünglich als Eingabegerät für seine Augmented-Reality-Brille Ray-Ban Display. Anstatt die Hände mithilfe von Kameras im Raum zu verfolgen, nutzt das Armband Oberflächen-Elektromyografie (sEMG), um die winzigen elektrischen Signale zu erfassen, die das Nervensystem des Nutzers durch den Arm sendet. Sobald beispielsweise ein Finger zuckt oder Daumen und Zeigefinger zusammengedrückt werden, erkennen Sensoren auf der Haut die motorischen Impulse noch bevor der Finger die eigentliche Bewegung vollständig ausgeführt hat. Dadurch entsteht eine unsichtbare und wenig ermüdende Steuerungsmöglichkeit, die auch dann funktioniert, wenn sich die Hände in einer natürlichen Position befinden. Bis vor Kurzem war diese Technologie allerdings auf Metas eigene Hardware beschränkt.

Kinesis, ein vom Entwickler callbacked auf GitHub veröffentlichtes Open-Source-Projekt, hat den unverschlüsselten Bluetooth-Low-Energy-Datenstrom (BLE) des Armbands per Reverse Engineering entschlüsselt. Das Kinesis-Dienstprogramm für die Menüleiste verbindet sich über Bluetooth direkt mit der Hardware und umgeht damit Metas proprietäre Hintergrunddienste und Cloud-Server vollständig. Indem die rohen neuromuskulären Sensorsignale in macOS-Systembefehle übersetzt werden, lässt sich beispielsweise durch das Zusammendrücken von Daumen und Zeigefinger ein Mausklick ausführen. Rollende Fingerbewegungen regeln die Systemlautstärke und mit einer kleinen Bewegung des Handgelenks kann in Mission Control zwischen virtuellen Schreibtischen gewechselt werden.

Derzeit ist Kinesis auf macOS beschränkt. Eine breite plattformübergreifende Unterstützung erscheint allerdings nahezu sicher. Da der Entwickler das rohe BLE-Protokoll des Armbands entschlüsselt hat, anstatt sich auf proprietäre Apple-Frameworks zu stützen, dürfte sich der Decoder relativ einfach auf Linux oder Windows portieren lassen. Damit könnte sich die Tür für eine Open-Source-basierte neurale Desktop-Navigation auf praktisch jedem Betriebssystem öffnen. Weitere Informationen zu Kinesis finden sich unter dem unten angegebenen Link.