La posedición en la gestión del contenido multilingüe de sitios web corporativos del ámbito sanitario: Una metodología para su evaluación desde la traducción automática

Abstract

Los continuos avances en la esfera tecnológica, económica y social proporcionan importantes ventajas competitivas a las empresas, especialmente a las pequeñas y medianas (pymes), tales como la apertura a mercados internacionales mediante el acercamiento de sus productos y servicios a audiencias de diversas partes del mundo. Esto es de especial relevancia para las pymes ubicadas en regiones como Andalucía, que cuentan con notables flujos turísticos y migratorios, lo que empuja a las empresas a comunicarse a través de internet con audiencias cuyo primer idioma no es el español. No obstante, las pymes deben afrontar grandes retos a la hora de llevar a cabo sus procesos de internacionalización, entre los que destacan las barreras lingüísticas y culturales. Ante esta situación, la Traducción Automática (TA), se ha perfilado como una gran aliada a la hora de solventar estas dificultades, por lo que cada vez hay más oferta y demanda de servicios de traducción relacionados con la misma. Sin embargo, la TA, frecuentemente, no alcanza el nivel de calidad deseado sobre todo en sectores como el de la sanidad, que demandan una gran precisión, por lo que el proceso de posedición, basado en la edición y corrección de textos traducidos automáticamente, se hace esencial en estos casos. En este sentido, resulta evidente la necesidad de contar con formación, directrices y recursos adecuados que guíen y optimicen este proceso. Esta tesis doctoral plantea como objetivo general diseñar y proponer líneas de acción metodológicas (LAM) que faciliten a los y las profesionales de la traducción el proceso de evaluación de la posedición de sitios web corporativos del ámbito sanitario. La aproximación al problema se realiza desde el contexto andaluz y aplicando una metodología mixta de investigación. Para ello, se han llevado a cabo cuatro estudios que se vertebran en torno a tres ejes principales: la difusión de información web corporativa de pymes andaluzas del ámbito sanitario (Estudio 1, E1); la evaluación de la calidad de textos corporativos de dicho ámbito traducidos automáticamente del español al inglés (Estudios 2 y 3, E2 y E3); y el análisis exhaustivo del proceso de posedición de los citados textos (Estudio 4, E4). Para la consecución de los estudios que conforman la tesis doctoral, y el posterior diseño y elaboración de las líneas de acción metodológicas propuestas, se han empleado diferentes metodologías, adaptadas a los objetivos específicos planteados, lo que ha implicado tanto técnicas de investigación cuantitativa como cualitativa. La diversidad de análisis y estudios realizados ha posibilitado ofrecer una amplia perspectiva de la evaluación de la posedición de textos de sitios web corporativos traducidos automáticamente, tomando como ámbito geográfico Andalucía y como dominio temático el ámbito corporativo sanitario. De este modo, los resultados obtenidos permiten establecer cuatro LAM, correspondientes a los estudios desarrollados. Asimismo, cabe destacar que estas líneas de acción, dado su carácter general y su potencial aplicación práctica, pueden extenderse más allá de los textos corporativos del ámbito sanitario e implementarse en otros sectores de actividad o géneros textuales. La primera LAM, Análisis de la presencia online y la gestión multilingüe de las pymes, se deriva del E1, el cual parte de la necesidad de analizar la presencia online y la gestión multilingüe de las pymes como estrategia imprescindible para contribuir a su internacionalización. Los resultados ponen de manifiesto que menos de la mitad (47,7 %) de las 1425 empresas analizadas disponían de sitio web y que, de estas, solamente alrededor del 10 % ofrecían sus contenidos traducidos. La segunda LAM, Compilación de corpus, proviene del E2, cuyo resultado principal fue el establecimiento de una metodología para la compilación de corpus además de la compilación de dos corpus monolingües −en español y en inglés− de significativo volumen construidos a partir de textos de sitios web corporativos. De esta manera, se procedió a crear un corpus paralelo compuesto por 656 segmentos, posteriormente empleado para la evaluación de la TA en la combinación lingüística españolinglés. Por su parte, la tercera LAM, Evaluación de la calidad de la TA y tipificación de errores, surge a partir del E3, en el que se comprobó, mediante la aplicación de la métrica BLEU y la evaluación humana con expertos que, si bien la calidad de la TA fue considerablemente elevada, los resultados de ambos métodos de evaluación no correlacionan, lo que evidencia la necesidad de combinar la evaluación automática con la evaluación humana. Además, los resultados mostraron que, a mayor longitud de los segmentos evaluados, menor era la puntuación obtenida en cuanto a la calidad de la traducción. En relación con la identificación de errores, realizada a partir de la clasificación DQF-MQM, se pudo comprobar nuevamente que los juicios humanos no se correspondían con los de BLEU, así como que un gran número de los errores identificados pertenecían a la categoría relativa al estilo. Los resultados del E3 permitieron el posterior desarrollo de directrices de posedición, iniciando así la cuarta LAM, Elaboración de directrices y evaluación del esfuerzo de posedición, que se origina a partir del E4, que contó con una vertiente cuantitativa y otra cualitativa. En la vertiente cuantitativa se contó con la participación de 35 estudiantes de máster que llevaron a cabo dos encargos de posedición, lo que permitió analizar cuantitativamente diversos parámetros tales como la duración del proceso, la puntuación relativa a la calidad de la traducción y la valoración de los errores detectados durante el proceso de posedición. La evaluación puso de manifiesto tanto la disparidad de los resultados entre ambos encargos como entre los y las participantes, evidenciando que el proceso de posedición es individual y subjetivo. Por su parte, la vertiente cualitativa se centró en el análisis interpretativo de dos grupos focales en los que los y las participantes compartieron sus percepciones y experiencias en relación con la TA y la posedición y concluyó que la disponibilidad de directrices, la formación y las condiciones dignas de trabajo son esenciales para que los futuros traductores profesionales abandonen sus prejuicios en relación con la posedición y se abran a contemplarla como una opción en su futuro laboral.

The continuous advances in the technological, economic, and social spheres provide important competitive advantages to companies, especially small and medium-sized enterprises (SMEs), such as the opening of international markets by making their products and services available to international audiences. This is particularly relevant for SMEs located in regions with significant tourist and migration flows, like Andalusia, which pushes companies to communicate through the Internet with audiences whose first language is not Spanish. However, SMEs face major challenges when carrying out their internationalization processes, including language and cultural barriers. In the light of this scenario, Machine Translation (MT) has emerged as a great ally when it comes to overcoming these obstacles. Therefore, there is an increasing supply and demand for translation services related to MT. Nevertheless, MT, on many occasions, does not reach the desired level of quality and, in addition, there are certain sectors, such as healthcare, that demand high precision, making the MT post-editing process, based on editing, and revising machine-translated texts, essential in these cases. In this sense, the need for training, guidelines, and resources to improve this process becomes evident. The general objective of this PhD thesis is to design and propose methodological action lines (MAL) to help translation professionals in the process of evaluating the post-editing of corporate websites in the healthcare sector. To meet this aim, a mixed-methods research was carried out in the Andalusian context including four different studies. These studies are based on three main axes: the web dissemination of corporate information of Andalusian SMEs in the healthcare sector (Study 1, S1); the evaluation of the quality of automatically translated corporate texts in this field (Studies 2 and 3, S2 and S3); and the exhaustive analysis of the post-editing process of the aforementioned texts (Study 4, E4). In order to carry out the studies that conform the PhD thesis, and the subsequent design and elaboration of the methodological action lines, different methodologies have been used, adapted to the specific objectives set and involving both quantitative and qualitative research techniques. The diversity of analyses and studies carried out allows to offer a broad perspective of the evaluation of the post-editing of texts from automatically translated corporate websites, taking Andalusia as the geographical scope and the corporate healthcare sector as the thematic domain. Thus, the results enabled to establish four methodological action lines, corresponding to the studies carried out. It should also be noted that these action lines, given their general nature and their potential practical application, can be extended beyond corporate texts in the healthcare sector and implemented in other sectors of activity or textual genres. The first MAL, Analysis of the online presence and multilingual management of SMEs, derives from S1, whose starting point is the need to analyze the online presence and multilingual management of SMEs as an essential strategy for contributing to their internationalization. The results show that less than half (47.7%) of the 1,425 analyzed companies had a website and that, of these, only around 10% offered a translated version of their content. The second MAL, Corpus Compilation, comes from S2, whose main result was the establishment of a methodology for corpus compilation in addition to the compilation of two monolingual corpora - in Spanish and English - of significant volume built from texts of corporate websites. Subsequently, a parallel corpus composed of 656 segments was created and later used for MT evaluation, from Spanish to English. The third LAM, Evaluation of MT quality and error classification, arose from E3, in which it was found, through the application of the BLEU metric and human evaluation with experts, that although the quality of the MT was considerably high, the results of both evaluation methods do not correlate, which makes evident the need to combine automatic evaluation with human evaluation. In addition, the results showed that the longer the length of the segments evaluated, the lower the score obtained for translation quality. With regard to error identification, based on the DQF-MQM typology, it was again found that human judgments did not correspond to those of BLEU, and that a large number of the errors identified were style-related. The results of E3 allowed for the subsequent development of post-editing guidelines, thus initiating the fourth LAM, Guidelines development and evaluation of post-editing effort, which originated from E4, which had both a quantitative and a qualitative approach. The quantitative approach involved the participation of 35 master's degree students who carried out two post-editing tasks, which made it possible to quantitatively analyze several parameters such as the duration of the process, the score relative to the quality of the translation and the assessment of the errors detected during the post-editing process. The evaluation revealed the disparity of results between the two tasks, as well as between the participants, showing that the post-editing process is individual and subjective. The qualitative approach focused on the interpretative analysis of two focus groups in which the participants shared their perceptions and experiences in relation to MT and post-editing and concluded that the availability of guidelines, training and decent working conditions are essential for future professional translators in order to overcome their prejudices regarding post-editing and to be open to considering it as an option in their future career.