Abstract
<jats:p>Бұл зерттеу ым тілін танудың жаңа жүйесін ұсынады. Ол визуалды ақпаратты кодтауға арналған уақытша конволюциялық желіні мәтіндік көріністер жасау үшін Transformer-ге негізделген декодермен біріктіреді. Жүйе қимыл-қозғалыс бейнелерін мәтінге түрлендіреді, уақыт өте келе қозғалыс ағынын да, белгілердің кеңістіктік орналасуын да тиімді түсіреді. Бұған қол жеткізу үшін MediaPipe әр бейне кадрдан 3D бағдарлы деректерді шығарып, оны модельдің оңтайлы өнімділігіне дайындайды. Бұл архитектураның тиімділігі оның ым тілін нақты тану тапсырмаларына жарамдылығын растайтын қазақ орыс ым тілі деректер жинағы арқылы тексеріледі. Бұл мақалада ым тілін танудағы негізгі мәселелер, соның ішінде пайдаланушылар арасындағы вариациялар, шектеулі оқыту деректері және ресурстары аз тілдер үшін алдын ала дайындалған үлгілердің болмауы қарастырылады. Нәтижесінде, бұл зерттеу есту және сөйлеу қабілеті бұзылған адамдардың өзара әрекеттесуін жеңілдететін, әртүрлі инклюзивті қолданбаларды қолдайтын және инклюзивтілікке ықпал ететін коммуникациялық технологияларды дамытуға ықпал етеді.</jats:p>