Interfejs bezdotykowy stworzony przez DataArt Talent Lab

6 sierpnia
Interfejs bezdotykowy stworzony przez DataArt Talent Lab
Zespół wewnętrznego inkubatora koncepcyjnego DataArt Talent Lab opracował prototyp aplikacji, której można używać do sterowania terminalami publicznymi bez naciskania jakichkolwiek przycisków na ekranie. Pozwoli to zachować poprawną interakcję z urządzeniem, eliminując ryzyko rozprzestrzeniania się infekcji przez powierzchnię terminala.

Naturalne interfejsy użytkownika (NUI), które umożliwiają bezpośrednią interakcję użytkownika z urządzeniem za pomocą dotyku, gestów lub głosu, są tematem rozmów w świecie technologii od kilkudziesięciu lat. Jednak podczas gdy popularność technologii bezdotykowych stopniowo rosła, projektanci pozostawali niechętni do inwestowania czasu i wysiłku w promowanie nowych rodzajów interakcji - po co męczyć się pracując nad nowymi rozwiązaniami, skoro wysokiej jakości interakcje dotykowe są już tak szeroko stosowane?

CO ZROBILIŚMY?

Zespół DataArt stworzył PoC wykorzystania technologii rozpoznawania gestów do przekształcania terminali publicznych w urządzenia zbliżeniowe z kamerą Intel® RealSense™. To model percepcyjnego interfejsu użytkownika opartego na technologii widzenia komputerowego, która pozwala maszynom rozpoznawać ruchy ludzi i interpretować je jako polecenia.

Rozwiązanie DataArt Touchless Five może zdalnie interpretować ruchy dłoni w celu manipulowania elementami menu i ich kolejnością, przesuwania kursora po ekranie i emulacji kliknięć myszą. W ten sposób możesz dokonać zakupu lub uzyskać potrzebne informacje bez dotykania terminala.

Inna wersja PoC, nazywana DataArt Orchestra, wykorzystuje oparte na sztucznej inteligencji narzędzie SDK do śledzenia całego ciała, Cubemos, oparty na technologiach Intel® RealSense ™. Oprogramowanie opracowane na .NET, C#, Windows Presentation Foundation, rozpoznaje i śledzi ruchy rąk osoby stojącej z przodu. Składa zamówienie, wykonując jeden z czterech najłatwiejszych dynamicznych gestów - w górę, w dół, w prawo i w lewo. Obecnie oprogramowanie Cubemos rozpoznaje tylko określone stawy wraz z długością niektórych segmentów stawów i relacją między nimi.

JAK TO ZROBILIŚMY?

Pierwsza wersja bezdotykowego interfejsu stworzona przez Talent Lab przy użyciu biblioteki oprogramowania Cubemos - DataArt Orchestra - reagowała na ruchy stawów ramion, ignorując dłonie i przedramiona. Ale nasi koledzy zdecydowali się stworzyć nową wersję z kontrolą dłoni, która może może być dla użytkowników znacznie łatwiejsza.

DataArt Touchless Five z kolei, została opracowana na podstawie biblioteki Project Prague firmy Microsoft, najnowocześniejszego narzędzia SDK do śledzenia gestów dłoni oraz kamery Intel® RealSense ™ SR300. Oprogramowanie pozwala osobie stojącej przed kamerą sterować wirtualną dłonią na ekranie i poruszać się z nią po interfejsie, nie dotykając samego ekranu Po podłączeniu Project Prague zaadaptowaliśmy klasyczny interfejs do składania zamówień w kawiarni do prostych gestów dłoni.

PERSPEKTYWY APLIKACJI

W następstwie pandemii Covid-19, technologie kontroli zbliżeniowej mogą być szczególnie poszukiwane. W ciągu ostatnich kilku miesięcy ludzie mogli po raz pierwszy zauważyć, z iloma urządzeniami dotykowymi mają na co dzień kontakt. Terminale w bankach i kawiarniach, hotelach i na lotniskach, centrach handlowych i muzeach są codziennie dotykane przez tysiące rąk, co czyni je potencjalnym źródłem rozprzestrzeniania się chorób.

W DataArt zastanawialiśmy się, czy można zachować znaną zasadę interakcji człowiek-urządzenie, czyniąc ją bezpieczną bez utraty kontroli.

Prototyp DataArt Touchless Five demonstruje możliwość bezdotykowego składania zamówień w zwykłej kawiarni szybkiej obsługi. Po ulepszeniu projekt może być stosowany w każdym innym terminalu w miejscach publicznych, w tym w urządzeniach do płatności i sprzedaży biletów na stacjach kolejowych i w kinach, automatycznych stanowiskach odprawy na lotniskach iw hotelach, terminalach informacyjnych i nawigacyjnych w muzeach i centrach handlowych.

Koszt takiego rozwiązania technologicznego jest niski, wydaje się nawet tańszy niż zakup i instalacja ekranu dotykowego. Dalszy rozwój projektu zwiększy dokładność rozpoznawania gestów i pozwoli na używanie obu rąk jednocześnie, np. Do regulacji skali mapy wyświetlanej na monitorze.