{"id":105408,"date":"2010-03-12T00:00:00","date_gmt":"2010-03-12T00:00:00","guid":{"rendered":"https:\/\/www.deberes.net\/tesis\/sin-categoria\/affective-computing-emotional-facial-sensing-and-multimodal-fusion\/"},"modified":"2010-03-12T00:00:00","modified_gmt":"2010-03-12T00:00:00","slug":"affective-computing-emotional-facial-sensing-and-multimodal-fusion","status":"publish","type":"post","link":"https:\/\/www.deberes.net\/tesis\/inteligencia-artificial\/affective-computing-emotional-facial-sensing-and-multimodal-fusion\/","title":{"rendered":"Affective computing: emotional facial sensing and multimodal fusion"},"content":{"rendered":"<h2>Tesis doctoral de <strong> Isabelle Claude Antonia Hupont Torres <\/strong><\/h2>\n<p>La computaci\u00f3n afectiva es un campo emergente cuyo objetivo es el desarrollo de sistemas inteligentes capaces de dotar a un ordenador con la habilidad de reconocer, interpretar y procesar las emociones humanas. La interacci\u00f3n persona-ordenador proporciona medios naturales para que los seres humanos puedan interaccionar con las computadoras de una manera sencilla e intuitiva. Para que un ordenador sea capaz de interactuar con las personas de forma natural, debe poseer capacidades comunicativas humanas. Una de esas capacidades es el aspecto emocional de la comunicaci\u00f3n. Por ese motivo, la detecci\u00f3n autom\u00e1tica de afecto en el usuario se est\u00e1 convirtiendo en una parte indispensable de las interfaces persona-ordenador avanzadas. Esta tesis doctoral se centra en los dos principales focos de investigaci\u00f3n relativos a la computaci\u00f3n afectiva: el reconocimiento de emociones a partir del an\u00e1lisis de las expresiones faciales del usuario y la fusi\u00f3n multimodal de informaci\u00f3n afectiva extra\u00edda de diferentes canales de comunicaci\u00f3n humanos. Con esta finalidad, se ha desarrollado un sistema eficiente y novedoso para la detecci\u00f3n de emociones faciales, posteriormente ampliado para afrontar el problema del reconocimiento afectivo multimodal.  esta memoria de tesis presenta en primer lugar un reconocedor de afecto facial capaz de detectar las emociones del usuario a partir de una imagen est\u00e1tica de su rostro. Sus entradas son un conjunto de par\u00e1metros faciales, \u00e1ngulos y distancias entre ciertos puntos caracter\u00edsticos de la cara, elegidas de manera que el rostro queda modelado de una manera sencilla sin por ello perder informaci\u00f3n relevante de la expresi\u00f3n facial. El sistema implementa un mecanismo de clasificaci\u00f3n emocional que combina de una manera robusta y novedosa los cinco clasificadores m\u00e1s utilizados en el campo del reconocimiento afectivo, asignando a su salida un peso a cada una de las seis categor\u00edas emocionales universales de ekman m\u00e1s la \u00abneutra\u00bb. Ha sido entrenado con una extensa base de datos universal que muestra im\u00e1genes de m\u00e1s de 60 personas, de diferentes razas, edades y g\u00e9neros. De esta manera, el sistema es capaz de analizar a cualquier sujeto, hombre o mujer, de cualquier edad, etnia y fisonom\u00eda. Ha sido validado de forma exhaustiva gracias a estrategias de evaluaci\u00f3n estad\u00edstica, como la validaci\u00f3n cruzada, tasas de acierto y matrices de confusi\u00f3n. Se ha tenido en cuenta la opini\u00f3n humana en la evaluaci\u00f3n del sistema, demostrando que el mecanismo de clasificaci\u00f3n dise\u00f1ado trabaja de una forma similar a la del cerebro humano, tendiendo a llegar a las mismas confusiones.  en segundo lugar, se define una novedosa metodolog\u00eda para hacer frente a la fusi\u00f3n multimodal de informaci\u00f3n afectiva procedente de diferentes canales. Dicha metodolog\u00eda permite, inicialmente, pasar del reconocimiento emocional facial est\u00e1tico al din\u00e1mico, posibilitando posteriormente la inclusi\u00f3n a lo largo del tiempo de cualquier otra entrada afectiva proveniente de otras modalidades. Esta expansi\u00f3n a la computaci\u00f3n afectiva din\u00e1mica y multimodal se logra gracias al uso de un nivel de descripci\u00f3n del afecto bidimensional, que proporciona al sistema un \u00e1lgebra matem\u00e1tica para lidiar con la multimodalidad y la temporalidad de las emociones. La metodolog\u00eda propuesta es capaz de fusionar cualquier n\u00famero de m\u00f3dulos categ\u00f3ricos, que manejen escalas de tiempo y etiquetas de salida muy diferentes, sin tener que redefinir todo el sistema cada vez que se incluye nueva informaci\u00f3n emocional. El paso clave de una perspectiva categ\u00f3rica de las emociones a un espacio afectivo continuo se consigue gracias al uso del diccionario de afecto en el lenguaje de whissell, que permite mapear cualquier etiqueta emocional a un punto en el espacio afectivo 2d. La metodolog\u00eda propuesta proporciona como salida una trayectoria en el plano 2d que representa el progreso emocional del usuario. Una t\u00e9cnica basada en el filtrado de kalman controla esta trayectoria en tiempo real para garantizar la robustez y coherencia temporal del sistema. Adem\u00e1s, la metodolog\u00eda es capaz de adaptarse a los posibles cambios en la calidad y fiabilidad de las diferentes entradas a fusionar.  por \u00faltimo, las t\u00e9cnicas y metodolog\u00edas propuestas son aplicadas a diferentes contextos de interacci\u00f3n persona-ordenador reales. La informaci\u00f3n afectiva extra\u00edda se utiliza para mejorar la interacci\u00f3n con agentes virtuales 3d, para aumentar las tasas de acierto de un analizador autom\u00e1tico de opiniones y para el desarrollo de una herramienta de tutor\u00eda en la que el profesor a distancia puede estar al tanto del progreso emocional del alumno a lo largo del curso. El potencial de la metodolog\u00eda de fusi\u00f3n multimodal propuesta se demuestra tambi\u00e9n fusionando la informaci\u00f3n afectiva proveniente de los diferentes canales de una herramienta de mensajer\u00eda instant\u00e1nea: v\u00eddeo, texto y \u00abemoticones\u00bb.  la presente tesis doctoral contribuye al estado del arte actual en el campo de la computaci\u00f3n afectiva facial y multimodal en varios aspectos relevantes. Por un lado, el reconocedor de afecto facial desarrollado plantea nuevas cuestiones acerca de las estrategias de validaci\u00f3n a utilizar para definir y evaluar adecuadamente un reconocedor de afecto humano. En comparaci\u00f3n con otros trabajos existentes, ha sido entrenado y validado con una base de datos m\u00e1s amplia y universal. Por otra parte, ha tenido en consideraci\u00f3n el criterio humano para la validaci\u00f3n de sistema. Este tipo de estudio es novedoso, no habiendo sido adoptado en otros trabajos, y aporta un importante valor a\u00f1adido a un sistema que trata la interacci\u00f3n persona-ordenador. Adem\u00e1s, a pesar de que la estrategia de evaluaci\u00f3n definida es en general m\u00e1s estricta, los resultados de la clasificaci\u00f3n emocional -tanto en t\u00e9rminos de tasas de acierto como de matrices de confusi\u00f3n- superan a los obtenidos por los trabajos m\u00e1s representativos de la literatura.  por otra parte, esta memoria presenta el primer sistema capaz de aprovechar de manera eficiente el potencial del nivel de descripci\u00f3n bidimensional del afecto. La salida final no se limita a ofrecer una clasificaci\u00f3n en t\u00e9rminos de un conjunto de etiquetas emocionales discretas como en la mayor\u00eda de los trabajos existentes, sino que va m\u00e1s all\u00e1 ampliando la informaci\u00f3n afectiva a un rango infinito de estados emocionales intermedios. El \u00e1lgebra proporcionada por el espacio afectivo 2d es explotada para llevar a cabo un reconocimiento emocional din\u00e1mico y proporcionar a la salida una trayectoria 2d que representa de una forma novedosa y efectiva el progreso afectivo del usuario a trav\u00e9s del tiempo. Gracias a ello, la metodolog\u00eda propuesta es capaz de hacer frente a la multimodalidad de una manera general, permitiendo que diferentes reconocedores de afecto unimodales se a\u00f1adan al sistema de una manera escalable. Otros m\u00e9todos se limitan a proponer soluciones de fusi\u00f3n multimodal ad-hoc y altamente dependientes de contexto.<\/p>\n<p>&nbsp;<\/p>\n<h3>Datos acad\u00e9micos de la tesis doctoral \u00ab<strong>Affective computing: emotional facial sensing and multimodal fusion<\/strong>\u00ab<\/h3>\n<ul>\n<li><strong>T\u00edtulo de la tesis:<\/strong>\u00a0 Affective computing: emotional facial sensing and multimodal fusion <\/li>\n<li><strong>Autor:<\/strong>\u00a0 Isabelle Claude Antonia Hupont Torres <\/li>\n<li><strong>Universidad:<\/strong>\u00a0 Zaragoza<\/li>\n<li><strong>Fecha de lectura de la tesis:<\/strong>\u00a0 03\/12\/2010<\/li>\n<\/ul>\n<p>&nbsp;<\/p>\n<h3>Direcci\u00f3n y tribunal<\/h3>\n<ul>\n<li><strong>Director de la tesis<\/strong>\n<ul>\n<li>Silvia Baldassarri Sandra<\/li>\n<\/ul>\n<\/li>\n<li><strong>Tribunal<\/strong>\n<ul>\n<li>Presidente del tribunal: Francisco Ser\u00f3n arbeloa <\/li>\n<li>angelica De Antonio  jimenez (vocal)<\/li>\n<li>antoni Gomila benejam (vocal)<\/li>\n<li>Jos\u00e9 Luis Pelegay quintana (vocal)<\/li>\n<\/ul>\n<\/li>\n<\/ul>\n<p>&nbsp;<\/p>\n","protected":false},"excerpt":{"rendered":"<p>Tesis doctoral de Isabelle Claude Antonia Hupont Torres La computaci\u00f3n afectiva es un campo emergente cuyo objetivo es el desarrollo [&hellip;]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"site-sidebar-layout":"default","site-content-layout":"","ast-site-content-layout":"","site-content-style":"default","site-sidebar-style":"default","ast-global-header-display":"","ast-banner-title-visibility":"","ast-main-header-display":"","ast-hfb-above-header-display":"","ast-hfb-below-header-display":"","ast-hfb-mobile-header-display":"","site-post-title":"","ast-breadcrumbs-content":"","ast-featured-img":"","footer-sml-layout":"","theme-transparent-header-meta":"","adv-header-id-meta":"","stick-header-meta":"","header-above-stick-meta":"","header-main-stick-meta":"","header-below-stick-meta":"","astra-migrate-meta-layouts":"default","ast-page-background-enabled":"default","ast-page-background-meta":{"desktop":{"background-color":"var(--ast-global-color-4)","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-gradient":""},"tablet":{"background-color":"","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-gradient":""},"mobile":{"background-color":"","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-gradient":""}},"ast-content-background-meta":{"desktop":{"background-color":"var(--ast-global-color-5)","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-gradient":""},"tablet":{"background-color":"var(--ast-global-color-5)","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-gradient":""},"mobile":{"background-color":"var(--ast-global-color-5)","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-gradient":""}},"footnotes":""},"categories":[16880,2528,13610],"tags":[16085,76550,31069,212605,123360,156336],"class_list":["post-105408","post","type-post","status-publish","format-standard","hentry","category-construccion-de-algoritmos","category-inteligencia-artificial","category-zaragoza","tag-angelica-de-antonio-jimenez","tag-antoni-gomila-benejam","tag-francisco-seron-arbeloa","tag-isabelle-claude-antonia-hupont-torres","tag-jose-luis-pelegay-quintana","tag-silvia-baldassarri-sandra"],"_links":{"self":[{"href":"https:\/\/www.deberes.net\/tesis\/wp-json\/wp\/v2\/posts\/105408","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.deberes.net\/tesis\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.deberes.net\/tesis\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.deberes.net\/tesis\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/www.deberes.net\/tesis\/wp-json\/wp\/v2\/comments?post=105408"}],"version-history":[{"count":0,"href":"https:\/\/www.deberes.net\/tesis\/wp-json\/wp\/v2\/posts\/105408\/revisions"}],"wp:attachment":[{"href":"https:\/\/www.deberes.net\/tesis\/wp-json\/wp\/v2\/media?parent=105408"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.deberes.net\/tesis\/wp-json\/wp\/v2\/categories?post=105408"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.deberes.net\/tesis\/wp-json\/wp\/v2\/tags?post=105408"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}