Absolvent entwickelt in seiner Masterarbeit die Ballett-App Plié AI

(EB). Fabian Pingel ist Absolvent im Masterstudium Angewandte Künstliche Intelligenz an der Fachhochschule Südwestfalen in Iserlohn. In Zusammenarbeit mit Ballett-Trainerin und Tanzpädagogin Sinica Wingen hat er in seiner Masterarbeit die Ballett-App Plié AI entwickelt. Diese soll Kindern dabei helfen, Ballettposen korrekt einzunehmen und Übungen richtig auszuführen.

Körperposition und Haltung wird erkannt

Plié ist im Ballett eine Kniebeuge mit nach außen gekehrten Knien. Als Bezeichnung der App steht es für „Post Learning and Improvement“. Die in der App eingesetzte Künstliche Intelligenz (KI) erkennt Körperpositionen und Haltungen und analysiert, ob eine Übung richtig ausgeführt wurde. Dazu vergleicht die KI die Positionen und Ausrichtungen von Körperteilen mit zuvor antrainierten Referenz-Posen. Dies passiert alles in Echtzeit, so dass den Kindern Korrekturhinweise direkt im Live-Stream eingeblendet werden.

Idee entstand im Corona-Lockdown

„Die Idee entstand während des Corona-Lockdowns“, erzählt Fabian Pingel.  Damals war vieles, wenn überhaupt, nur online möglich. So wurde auch der Ballettunterricht seiner Töchter per Zoom-Meeting angeboten. „Man saß als Elternteil dabei und es war schwer für die Lehrerin, auf diesen kleinen Bildern zu beurteilen, ob die Schülerin die Pose korrekt eingenommen hat. Da habe ich mich erstmals gefragt, ob es dafür nicht eine App gibt.“ Zum Abschluss seines Studiums fand Pingel es charmant, diese Aufgabe aufzugreifen und mit den erworbenen Kompetenzen selber zu versuchen, Ballett und KI in einer App zusammenzubringen.

Dehnfähigkeit wird verbessert

Pingel bat die Trainerin seiner Kinder Sinica Wingen aus Neuenrade, seine Arbeit fachlich von der Seite des Balletts zu begleiten und zu beurteilen. „Die App bringt den Vorteil, dass die Kinder das hier Gelernte zu Hause vertiefen können und auch beim Üben zu Hause direkt eine Korrektur bekommen und ein Feedback, ob die Übung jetzt richtig ausgeführt wurde oder nicht“, erklärt Wingen. Ein guter Punkt für die Nutzung der App wäre für sie zum Beispiel, die Dehnfähigkeit zu verbessern. „Bei mir lernen sie, wie man die Übungen, zum Beispiel den Spagat, richtig ausführt. Aber die Dehnfähigkeit, die kommt nicht von dem einmaligen oder zweimaligen Training pro Woche, sondern die erlangt man zu Hause.“

Vereinzelte Forschungsansätze

Aus Perspektive der angewandten KI ist das hier behandelte Thema Human Pose Estimation nicht neu. Es gibt bereits eine ganze Reihe existierender Modelle, sogar vereinzelt Forschungsansätze zum Ballett. „Dabei werden die Tanzenden aber meist mit zusätzlichen Sensoren ausgestattet oder tragen spezielle Kleidung mit Markern und werden dann von mehreren Kameras gleichzeitig aufgenommen“, erklärt Pingel. Viele vortrainierte Open-Source Modelle interpretieren den menschlichen Körper als Art Strichmännchen. Dabei hört die Vorhersage dann am Hand- und Sprunggelenk auf. „Deshalb war es gar nicht so einfach, etwas zu realisieren, was ohne zusätzliche Technik oder mehrere Kameras auskommt und auf dem heimischen PC oder mobilen Endgeräten läuft.“

App ist minimalistisch gehalten

Pingel entwickelte schließlich eine funktionierende App, die bewusst minimalistisch gehalten ist. Nutzer wählen den Übungstyp aus, beispielsweise eine statische Pose wie Passé. Dann bekommt man ein Vorschaubild, wie die Übung aussehen sollte, und mit einem Klick auf Start beginnt der Videostream.Die Analyse startet, und die KI erkennt die Körpergelenke und Position in Echtzeit. In grün dargestellte Gelenke bedeuten, dass sie mit der Referenzpose übereinstimmen, rot zeigt Abweichungen.

Kinder werden gefördert und motiviert

Sinica Wingen hält die App für einen spannenden Ansatz, um Kinder zu fördern und zu motivieren, auch zu Hause etwas zu tun und nicht nur beim Training. „Ich war offen dafür, auch mal Neues auszuprobieren. Jetzt starten wir erst mal im Rahmen mit einigen wenigen Schülern, um das Ganze zu testen.“ Im ersten Schritt sind es statische Übungen, die mit Hilfe der App zu Hause trainiert werden. Dann soll es aber auch in die bewegten Übungen gehen, um im Bewegungsfluss weiter zu arbeiten.