Evaluación del rendimiento de los sistemas de búsqueda de respuestas de dominio general
Metadata
Show full item recordEditorial
Consejo Superior de Investigaciones Científicas (CSIC)
Materia
Recuperación de información Sistemas de búsqueda de respuestas Evaluación Medidas de evaluación World Wide Web Question-Answering Systems Performance analysis Definitional questions Factoid question List questions Evaluation
Date
2013-04Referencia bibliográfica
Olvera Lobo, M.D.; Gutiérrez-Artacho, J. Evaluación del rendimiento de los sistemas de búsqueda de respuestas de dominio general. Revista Española de Documentación Científica, 36(2): e009 (2013). [http://hdl.handle.net/10481/48376]
Abstract
Los sistemas de búsqueda de respuestas (SBR) son una alternativa a los tradicionales sistemas de recuperación
de información tratando de ofrecer respuestas precisas y comprensibles a preguntas factuales, en lugar de presentar
al usuario una lista de documentos relacionados con su búsqueda. Se ha evaluado la eficacia de cuatro SBR disponibles
en la Web —QuALiM, SEMOTE, START, y TrueKnowledge—, mediante una amplia muestra de preguntas de definición,
factuales y de lista, pertenecientes a distintos dominios temáticos. Se utilizó una colección de 500 preguntas cuyas respuestas
fueron valoradas por los usuarios y, posteriormente, se aplicaron varias medidas para su evaluación (MRR, TRR,
FHS, MAP y precisión). Se observa que START y TrueKnowledge presentan un nivel aceptable de respuestas correctas,
precisas y en una secuencia bien ordenada. Los resultados obtenidos revelan el potencial de esta clase de herramientas
en el ámbito del acceso y la recuperación de información de dominio general. Information overload is felt more strongly on the Web than elsewhere. Question-answering systems (QA
systems) are considered as an alternative to traditional information retrieval systems, because they give correct and
understandable answers rather than just offering a list of documents. Four answer search systems available online have
been analyzed: START, QuALiM, SEMOTE, and TrueKnowledge. They were analyzed through a wide range of questions
that prompted responses of definitions, facts, and closed lists pertaining to different thematic areas. The answers were
analyzed using several specific measurements (MRR, TRR, FHS, MAP and precision). The results are encouraging and they
show that these systems, although each one different, are potentially valid for precise information retrieval of diverse
types and thematic areas.