Escuela de Ingeniería Informática

Facultad de Ingeniería

Carrera certificadda por 5 años hasta Enero de 2026

Using Multimodal Data to Find Patterns in Student Presentations

  • Vieira, F.
  • Cechinel, C.
  • Merino, E.
  • Villarroel, R.
  • Lemos, R.
  • Muñoz, Roberto
Abstract:
Resumo-Multimodal Learning Analytics is a subfield of Learning Analytics that uses data coming from complex learning environments and collected through alternative devices that are different from those normally observed in the Learning Analytics literature. The present work uses data captured by Microsoft Kinect and organized with Lelikëlen system to find patterns in students oral presentations during a given discipline. For that, a total of 16 different features related to the records of 43 students presentations (85 observations) were used to generate clusters of students with similar behavior. Initial results indicate three main different profiles of students according to their patterns in oral presentations: active, passive, and semi-active. Such findings can be further implemented in Lelikëlen system in order to allow instant feedback to students. Future work will also evaluate how students oral presentations patterns evolve during the semester, and compare patterns of students presentations across areas to evaluate whether there are similarities or not. Index Terms-Multimodal learning analytics, clustering, data mining, students postures I. INTRODUÇINTRODUǘ INTRODUǘAO A linguagem corporaí e uma peça importante nos processos de aprendizagem e comunicaçcomunicaç˜comunicação. As posturas corporais e os gestos são utilizados em apresentaçapresentaç˜apresentações orais para transmitir ideias e mensagens. A comunicaçcomunicaç˜comunicação entre pessoas por uma causa específica, como em uma apresentaçapresentaç˜apresentação, requer cuidado para transmitir o que se quer para a parte que está ouvindo ou olhando [1]. A captura, análise e utilizaçutilizaç˜utilização desse tipo de informaçinformaç˜informação pertence a ´ area de Multimodal Learning Analytics (MLA) [1]. Em sua essência o MLA visa alavancar dados de modalida-des não tradicionais, de forma a estudar e analisar o aprendi-zado de estudantes em ambientes de aprendizado complexos [2]. Essas técnicas permitem que professores deem retorno aos estudantes nas relaçrelaç˜relações de aprendizado. De outro lado, técnicas de inteligência artificial estão cada vez mais presentes, principalmente quando se tratam de grandes quantidades de dados. A identificaçidentificaç˜identificação e caracterizaçcaracterizaç˜caracterização de estudanteséestudantes´estudantesé um ponto fundamental para melhorar os processos de ensino e aprendi-zagem. A avaliaçavaliaç˜avaliação dos estudantes pode variar em diferentes abordagens, mas os dados quase sempre são convertidos em dados computáveis. Uma vez que são convertidos, os dados podem ser processados por uma coleçcoleç˜coleção de algoritmos de Aprendizado de Máquina. O MLAéMLA´MLAé umá area que cresce com a análise de dados de variadas fontes [3]. Os dados são capturados durante interaçinteraç˜interações de aprendizado. As tecnologias atuais de multimídia e as técnicas de Aprendizado de Máquina progrediram a um ponto onde algoritmos de tempo real podem ser usados para processar vídeos, ´ audio, e outros materiais digitais. Isso produz características como posturas, gestos e skeleton models que são usados para dar apoio para o MLA. Bons comuni-cadores demonstram suas habilidades de apresentaçapresentaç˜apresentação com características verbais, e também através de características não verbais, como linguagem corporal, contato visual com a audiência, ou também pelo espaço que ele ocupa no palco [4]. O modelo generalizado pelo algoritmo de aprendizado de máquina usa dados passados para induzir uma hipótese. Assim, são necessários dados de estudantes em apresentaçapresentaç˜apresentações orais de forma a ser possível analisar essas apresentaçapresentaç˜apresentações. A captura desses dados pode ser por imagem, voz ou por outro meio. O termo Multimodal denota que diferentes formas de dados em conjunto são usados. Nesse sentido, as posturas de aprendizes em apresentaçapresentaç˜apresentações são de grande importância na análise de apresentaçapresentaç˜apresentações. As posturas de um aprendiz podem fornecer informaçinformaç˜informações importantes sobre seu estado interior [5]. Existem certos tipos de problemas que têm resoluçresoluç˜resolução com-plexa por meio de programas, por exemplo, reconhecimento facial e de fala [6]. As técnicas de aprendizado de máquina, que criam modelos a partir de dados passados, são importantes emáreasem´emáreas onde existe a análise de grandes quantidades de dados. Aliar, o MLA com essas técnicas se mostra importante no sentido de auxiliar no desenvolvimento da educaçeducaç˜educação e principalmente na análise do comportamento dos estudantes durante apresentaçapresentaç˜apresentações orais. Deste modo, um estudo para avaliar apresentaçapresentaç˜apresentações dos estudantes utilizando dados Multi-modais foi realizado. As técnicas K-means e de Silhouettes foram utilizadas para agrupar e avaliar os resultados obtidos, respectivamente. Alguns padrões de comportamentos foram encontrados, estes estão relacionados com a atividade do estudante durante a apresentaçapresentaç˜apresentação oral. Diante do exposto, o objetivo principal do trabalhó e encontrar padrões em apresentaçapresentaç˜apresentações orais de estudantes.
Year:
2018
Type of Publication:
In Proceedings
Organization:
LACLO 2018 - XIII Conferência Latino-americana de Tecnologias de Aprendizagem
DOI:
10.1109/LACLO.2018.00054
Hits: 367
Back
  • Escuela de Ingeniería Informática

  • Universidad de Valparaíso

  • General Cruz 222, Valparaíso

  • +56 32 250 3630

  • Esta dirección de correo electrónico está siendo protegida contra los robots de spam. Necesita tener JavaScript habilitado para poder verlo.