´ nchez Isabel Navarrete Sanchez a ´ rdenas Viedma Mar´ ıa Antonia Cardenas a ´nchez Alvarez Daniel Sanchez a Juan Antonio Bot´ıa Blaya Roque Mar´ ın Morales ´ Rodrigo Mart´ınez Bejar ejar
´n Departamento de Ingenier´ıa de la Informacion o y las Comunicaciones Universidad de Murcia
´ TEOR´ IA DE AUTOMATAS Y
LENGUAJES FORMALES
Introducci´ on on Aunque no debemos hacer una distinci´on on tajante entre los aspectos pr´ acticos acticos y te´ oricos oricos de la Inform´ atica, es cierto que existen materias que tienen un alto contenido formal, con desarrollos atica, de tipo matem´ atico, al contrario que otros temas m´ atico, as cercanos a la resoluci´ as on on de problemas de tipo pr´ actico. La asignatura de Teor´ actico. de Teor´ıa ıa de Au Aut´ t´ omatas y Lenguajes Formales sin sin duda trata con las materias del primer tipo y los contenidos que se imparten constituyen el eje fundamental de diversas ´areas areas de conocimiento encuadradas dentro de lo que po dr´ dr´ıamos denominar Info In form rm´ ´ atic at ica a aridas” y distanciadas de aridas” Te´ orica orica. A veces estas disciplinas resultan para el alumno materias “´ lo que ellos entienden que deber´ deber´ıan estudiar en una carrera de Ingenier´ Ingenier´ıa Inform´ atica. Pero la Inform´ atica, atica, como cualquier cualquier otra ciencia ciencia o ingenier ingenier´´ıa, tiene unos fundamen fundamentos tos te´ oricos sobre los que apoyarse y que cualquier ingeniero en Inform´atica atica debe conocer. As´ As´ı lo entienden diversos organismos internacionales como AC como AC M e IEEE que que recomiendan al menos un curso de Aut´ omatas y Lenguajes Formales en los curricula de las carreras relacionadas con la Inform´ omatas atiatica. Una motivaci´ on para el estudio de estas materias formales la expuso Millner en un discurso on que dio en 1993 al recoger el prestigioso premio prestigioso premio Turing que se otorga a distinguidos cient´ cient´ıficos que trabajan en el ´area area de las Ciencias de la Computaci´ on: on: “Estas [las aplicaciones] son altamente necesarias, pero no queremos que esto ocurra en detrimento del trabajo te´ orico...Las orico...Las Ciencias de la Computaci´ Computaci´ on son tan amplias que si s i no tienen una teor´ıa ıa b´ asica, estaremos perdidos. Tantas cosas est´ asica, an an avanzando...¿C´ omo podr´ omo podr´ıa ocurrir esto sin una teor´ teor´ıa? Esta tiene que ir cogida de la mano de la pr´ actica.” actica.”
1.
Evol Evoluc uci´ i´ on on hist´ orica oric a de la Teor´ eor´ıa de la Computac Comp utaci´ i´ on on
La Teor´ con modelos de c´ alculo abstractos que que describen con distintos Teor´ıa de la Comput Com putaci´ aci´on on trata con modelos grados de precisi´on on las diferentes partes y tipos de computadores. Pero estos modelos no se usan para describir detalles pr´acticos acticos del hardware hardware de un determinado determinado ordenador, ordenador, sino que m´ as as bien se ocupan de cuestiones abstractas sobre la capacidad de los ordenadores, en general. As´ As´ı, en los curricula los curricula de de Ciencias de la Computaci´ on existen cursos separados para tratar materias on como Arquitectura de Computadores, Teor´ eor´ıa de Circuitos, Algoritmos y Estructuras de Datos, Sistemas Operativos, etc. Todas estas areas a´reas tienen una componente te´ orica, orica, pero difieren del estudio de la Teor´ Teor´ıa de la Computaci´ Comput aci´ on fundamentalmente en dos aspectos: on Las primeras tratan con computadores que existen realmente, mientras que los modelos abstractos de c´ alculo abarcan todo tipo de computadores que existen, que puedan llegar alculo a existir o simplemente que uno pueda imaginar. En Teor´ eor´ıa de la Computaci´ on, a diferencia de las otras materias, lo importante no es on, buscar la mejor manera de hacer las cosas (optimalidad (optimalidad ) sino estudiar estudiar qu´ e puede o no puede hacerse con un ordenador (computabilidad (computabilidad ). ). 2
Introducci´ on on Aunque no debemos hacer una distinci´on on tajante entre los aspectos pr´ acticos acticos y te´ oricos oricos de la Inform´ atica, es cierto que existen materias que tienen un alto contenido formal, con desarrollos atica, de tipo matem´ atico, al contrario que otros temas m´ atico, as cercanos a la resoluci´ as on on de problemas de tipo pr´ actico. La asignatura de Teor´ actico. de Teor´ıa ıa de Au Aut´ t´ omatas y Lenguajes Formales sin sin duda trata con las materias del primer tipo y los contenidos que se imparten constituyen el eje fundamental de diversas ´areas areas de conocimiento encuadradas dentro de lo que po dr´ dr´ıamos denominar Info In form rm´ ´ atic at ica a aridas” y distanciadas de aridas” Te´ orica orica. A veces estas disciplinas resultan para el alumno materias “´ lo que ellos entienden que deber´ deber´ıan estudiar en una carrera de Ingenier´ Ingenier´ıa Inform´ atica. Pero la Inform´ atica, atica, como cualquier cualquier otra ciencia ciencia o ingenier ingenier´´ıa, tiene unos fundamen fundamentos tos te´ oricos sobre los que apoyarse y que cualquier ingeniero en Inform´atica atica debe conocer. As´ As´ı lo entienden diversos organismos internacionales como AC como AC M e IEEE que que recomiendan al menos un curso de Aut´ omatas y Lenguajes Formales en los curricula de las carreras relacionadas con la Inform´ omatas atiatica. Una motivaci´ on para el estudio de estas materias formales la expuso Millner en un discurso on que dio en 1993 al recoger el prestigioso premio prestigioso premio Turing que se otorga a distinguidos cient´ cient´ıficos que trabajan en el ´area area de las Ciencias de la Computaci´ on: on: “Estas [las aplicaciones] son altamente necesarias, pero no queremos que esto ocurra en detrimento del trabajo te´ orico...Las orico...Las Ciencias de la Computaci´ Computaci´ on son tan amplias que si s i no tienen una teor´ıa ıa b´ asica, estaremos perdidos. Tantas cosas est´ asica, an an avanzando...¿C´ omo podr´ omo podr´ıa ocurrir esto sin una teor´ teor´ıa? Esta tiene que ir cogida de la mano de la pr´ actica.” actica.”
1.
Evol Evoluc uci´ i´ on on hist´ orica oric a de la Teor´ eor´ıa de la Computac Comp utaci´ i´ on on
La Teor´ con modelos de c´ alculo abstractos que que describen con distintos Teor´ıa de la Comput Com putaci´ aci´on on trata con modelos grados de precisi´on on las diferentes partes y tipos de computadores. Pero estos modelos no se usan para describir detalles pr´acticos acticos del hardware hardware de un determinado determinado ordenador, ordenador, sino que m´ as as bien se ocupan de cuestiones abstractas sobre la capacidad de los ordenadores, en general. As´ As´ı, en los curricula los curricula de de Ciencias de la Computaci´ on existen cursos separados para tratar materias on como Arquitectura de Computadores, Teor´ eor´ıa de Circuitos, Algoritmos y Estructuras de Datos, Sistemas Operativos, etc. Todas estas areas a´reas tienen una componente te´ orica, orica, pero difieren del estudio de la Teor´ Teor´ıa de la Computaci´ Comput aci´ on fundamentalmente en dos aspectos: on Las primeras tratan con computadores que existen realmente, mientras que los modelos abstractos de c´ alculo abarcan todo tipo de computadores que existen, que puedan llegar alculo a existir o simplemente que uno pueda imaginar. En Teor´ eor´ıa de la Computaci´ on, a diferencia de las otras materias, lo importante no es on, buscar la mejor manera de hacer las cosas (optimalidad (optimalidad ) sino estudiar estudiar qu´ e puede o no puede hacerse con un ordenador (computabilidad (computabilidad ). ). 2
La historia de la Teor´ eor´ıa de la Computaci´ on es bastante interesante. Se ha desarrollado gracias a confluencia, por afortunadas coincidencias, de distintos campos de conocimiento y descubrimientos (fundamentalmente matem´ aticos) realizados a principios del siglo XX. Bajo el nombre aticos) recogen una serie de materias materias que constituyen constituyen hoy en d´ıa los funTeor´ eor´ıa de la Computaci´ Comput aci´on on se recogen damentos te´ oricos oricos de la Inform´ atica: Teor atica: Teor´ ´ıa de Aut Aut´ omatas ´ , Teor Teor´ ´ıa de los Lenguajes Formales ormale s , Computabilidad y y Compleji Comp lejidad dad Algor´ıtmica ıtmi ca . Computabilidad El primer primer tema que cae clarament claramentee dentro dentro del campo de la Teor´ eor´ıa de la Computaci´ Computaci´ on es el odel, Church Church,, Post, Post, Turing uring y Kleene Kleene, tiene sus ra´ de Computabilidad. Iniciada por G¨odel, ra´ıces en la L´ ogica Matem´ atica . Al iniciar el siglo XX, los matem´ aticos estaban a punto de efectuar grandes aticos descubrimientos. Los logros de los siguientes 40 a˜ nos estaban destinados a sacudir las bases de nos las matem´ aticas y tuvieron consecuencias que se extendieron al campo de las Ciencias de la aticas Computaci´ on , a´ un un por nacer. A principios de siglo XX se empez´ o a fraguar un dilema. Georg Cantor (1845-1 (184 5-1918 918), ), hab´ıa ıa inventado por entonces la Te la Teor´ or´ıa ıa de Conjun Con juntos tos , pero al mismo tiempo descubri´ o algunas paradojas inquietantes. Algunos de sus planteamientos pod´ıan ıan ser comprensibles (como que hay “infinitos” de distinto tama˜ no), pero otros no (por ejemplo, que alg´ no), un conjunto sea mayor que el conjunto un universal). Esto dej´ o una nube de duda a los matem´ aticos que ellos necesitaban disipar. El punaticos to de partida de fueron las cuestiones fundamentales que David Hilbert (1845-1918) formul´ o en 1928, durante el transcurso de un congreso internacional: 1.
¿Son completas las las Matem´ aticas, en el sentido de que pueda probarse o no cada aseveraci´ aticas, on on matem´ atica? atica?
2. ¿Son ¿Son las las Mat Matem em´ aticas consistentes a´ticas consistentes , en el sentido de que no pueda probarse simult´aneaaneamente una aseveraci´on on y su negaci´on? on? 3. ¿Son ¿Son las las Mat Matem em´ aticas a´ticas decidibles , en el sentido sentido de que exista un m´ etodo etodo definido que se pueda aplicar a cualquier aseveraci´on on matem´ atica y que determine si dicha aseveraci´on atica on es cierta o falsa? La meta de Hilbert era crear un sistema axiom´ atico atico l´ ogico-matem´ ogico-matem´ atico completo atico completo y consistente , del cual podr´ıan ıan deducirse todas to das las Matem´ aticas, esto es, cualquier teorema matem´ aticas, atico atico podr´ dr´ıa derivarse de los l os axiomas aplicando una serie finita de reglas, es decir, mediante un proceso un proceso algo al gor´ r´ıtmi ıt mico co o computacional . Su idea era encontrar un algoritmo que determinara la verdad o falsedad de cualquier teorema en el sistema formal. A este problema le llam´ o el ‘Entscheidungs‘Entscheidungsproblem ’. ’. Por desgracia para Hilbert, en la d´ecada ecada de 1930 se produjeron una serie de investigaciones investigaciones que mostraron que esto no era posible. Las primeras noticias en contra surgen en 1931 con Kurt G¨ odel odel (1906-1978) y su Teorema su Teorema de Incompletitud : “Todo sistema de primer orden consistente que contenga los teoremas teoremas de la aritm´ aritm´etica etica y cuyo cuyo conjunto conjunto de axiomas sea recursiv recursivoo no es completo”. completo”. Como consecuenc consecuencia ia no ser´ a posible encontrar el sistema formal deseado por Hilbert en el marco de la l´ogica ogica de primer orden. Una versi´on on posterior y m´ as general del teorema de as G¨ odel elimina la posibilidad de considerar sistemas deductivos m´ odel as potentes que los sistemas de as primer orden, demostrando que no pueden ser consistentes y completos a la vez. Los resultados de G¨odel odel prueban que no s´olo olo no existe un algoritmo que pueda demostrar todos los teoremas en matem´ aticas, aticas, sino que adem´ as, no todos los resultados son demostrables. Entonces cabe as, plantearse las siguientes preguntas: ¿Qu´ e pueden hacer los ordenadores (sin restricciones de ning´ un un tipo)? ¿Cuales son las limitaciones inherentes a los m´etodos etodos autom´ aticos de c´ alculo? alculo? 3
A estas cuestiones pretende responder la Teor´ıa de la Computabilidad. El primer paso en la b´ usqueda de las respuestas a estas preguntas est´ a en el estudio de los modelos de computaci´ on. Los Modelos Abstractos de C´alculo tienen su origen en los a˜ nos 30, antes de que existieran los ordenadores (el primer computador electr´ onico de prop´ osito general fue el ENIAC que se desarroll´ o a partir del a˜ no 1943), en el trabajo de los l´ ogicos Church, G¨ odel, Kleene, Post, y Turing. Estos primeros trabajos han tenido una profunda influencia no s´ olo en el desarrollo te´ orico de las Ciencias de la Computaci´ on, sino que muchos aspectos de la pr´acticos de la Inform´ atica fueron presagiados por ellos: incluyendo la existencia de ordenadores de prop´ osito general, la posibilidad de interpretar programas, la dualidad entre software y hardware y la representaci´ on de lenguajes por estructuras formales basados en reglas de producci´on. on de funci´ on λ-definible como funci´ on efectivamente calculable. Alonzo Church propuso la noci´ La demostraci´ on de teoremas se convierte en una transformaci´on de una cadena de s´ımbolos en otra, seg´ un un conjunto de reglas formales, que se conocen como lambda c´ alculo. En 1936, Church hace un esquema de la demostraci´ on de la equivalencia entre las funciones λ-definibles y las funciones recursivas de Herbrand-G¨odel (esta equivalencia tambi´en hab´ıa sido probada por Kleene ) y conjetura que ´estas iban a ser las u´nicas funciones calculables por medio de un algoritmo a trav´es de la tesis que lleva su nombre (Tesis de Church) y utilizando la noci´ on de funci´on λ-definible, dio ejemplos de problemas de decisi´ on irresolubles y demostr´ o que el Entscheidungsproblem era uno de esos problemas. Por otra parte Kleene, pocos meses despu´es, demuestra de forma independiente la equivalencia entre funciones λ-definibles y funciones recursivas de Herbrand-G¨odel, a trav´es del concepto de funci´ on recursiva y da ejemplos de problemas irresolubles. La tercera noci´on de funci´on calculable proviene del matem´ atico ingl´es Alan Turing (1912-1954). Turing se˜ nal´o que hab´ıa tenido ´exito en caracterizar de un modo matem´ aticamente preciso, por medio de sus m´aquinas, la clase de las funciones calculables mediante un algoritmo ( funciones Turing-computables ), lo que se conoce hoy como Tesis de Turing (1936). Aunque no se puede dar ninguna prueba formal de que una m´ aquina de Turing pueda tener esa propiedad, Turing dio un elevado n´ umero de argumentos a su favor, en base a lo cual present´o la tesis como un teorema demostrado. Adem´ as, utiliz´ o su concepto de m´aquina para demostrar que existen problemas que no son calculables por un m´etodo definido y en particular, que el Entscheidungsproblem era uno de esos problemas. Cuando Turing conoci´ o los trabajos de Church y Kleene, demostr´o que los conceptos de funci´on λ-definible y funci´ on calculable por medio de una m´ aquina de Turing coinciden. Naturalmente a la luz de esto la Tesis de Turing resulta ser equivalente a la de Church. Posteriormente, se demostr´ o la equivalencia entre lo que se pod´ıa calcular mediante una m´ aquina de Turing y lo que se pod´ıa calcular mediante un sistema formal en general. A la vista de estos resultados, la Tesis de Church-Turing es aceptada como un axioma en la Teor´ıa de la Computaci´ on y ha servido como punto de partida en la investigaci´ on de los problemas que se pueden resolver mediante un algoritmo. Una de las cuestiones m´ as estudiadas en la Teor´ıa de la Computabilidad ha sido la posibilidad de construir programas que decidan si un determinado algoritmo posee o no una determinada propiedad. Ser´ıa interesante responder de forma autom´ atica a cuestiones como: ¿Calculan los algoritmos A y B la misma funci´ on? (Problema de la equivalencia ) ¿Parar´a el algoritmo A para una de sus entradas? (Problema de la parada ) ¿Parar´a el algoritmo A para todas sus entradas? (Problema de la totalidad ) ¿Calcula el algoritmo A la funci´ on f ? (Problema de la verificaci´ on ) Conforme se fueron obteniendo demostraciones individuales de la no computabilidad de cada una de estas cuestiones, fue creciendo la sensaci´ on de que casi cualquier pregunta interesante acerca 4
de algoritmos era no computable. El Teorema de Rice, confirma esta sensaci´ on: “Consid´erese cualquier propiedad que no sea trivial acerca de la funci´ on calculada por un algoritmo, entonces la cuesti´ on de si la funci´on calculada por un algoritmo arbitrario verifica dicha propiedad es no computable”. Complejidad Algor´ıtmica Despu´ es de que la Teor´ıa de la Computabilidad fuera desarrollada, era natural preguntarse acerca de la dificultad computacional de las funciones computables. Este es el objetivo de la parte de las Ciencias de la Computaci´ on que se conoce como Complejidad Algor´ıtmica. Rabin fue uno de los primeros en plantear esta cuesti´ on general expl´ıcitamente: ¿Qu´e quiere decir que una funci´ on f sea m´as dif´ıcil de computar que otra funci´ on g ? Rabin sugiri´ o una axiom´ atica que fue la base para el desarrollo del estudio de medidas de complejidad abstracta de Blum y otros (1967). Una segunda aportaci´ on que tuvo una influencia relevante en el desarrollo posterior de esta materia fue el art´ıculo de J. Hartmanis y R. Stearns en 1965, cuyo t´ıtulo On the Complexity of Algorithms dio nombre a este cuerpo de conocimiento. En ´el se introduce la noci´ on fundamental de medida de complejidad definida como el tiempo de computaci´ on sobre una m´ aquina de Turing multicinta y se demuestran los teoremas de jerarqu´ıa. Un tercer hito en los comienzos del tema fue el trabajo de Cobham titulado, The Intrinsic Computational Difficulty of Functions (1964). Cobham enfatiz´ o el t´ermino “intr´ınseco”, es decir, ´el estaba interesado en una teor´ıa independiente de las m´ aquinas. Esto nos conduce al un concepto importante desarrollado en 1965: la identificaci´ on de la clase de problemas que se pueden resolver en tiempo acotado por un polinomio sobre la longitud de la entrada. La distinci´ on entre algoritmos de tiempo polinomial y algoritmos de tiempo exponencial fue hecha por primera vez en 1953 por Von Neumann. La notaci´ on de P para la clase de los problemas resolubles en tiempo polinomial fue introducida posteriormente por Karp (1972). La teor´ıa de la NP-completitud es seguramente el desarrollo m´ as importante de la Complejidad Algor´ıtmica. La clase N P consta de todos los problemas decidibles en tiempo polinomial por una m´ aquina de Turing no determinista. Cook en 1971 introduce la noci´ on de problema NPcompleto y demuestra que el problema de la satisfacibilidad booleana es NP-completo. La clase NP incluye una gran cantidad de problemas pr´ acticos que aparecen en la actividad empresarial e industrial. Demostrar que un problema es NP-completo equivale a demostrar que no tiene una soluci´ on determinista en tiempo polinomial, salvo que todos los problemas de N P est´en en P , cuesti´ on que a´ un no est´a demostrada. Otro a´rea que actualmente est´ a teniendo cada vez m´as importancia es la Criptograf´ıa, relacionada con la seguridad de los sistemas inform´ aticos y donde se ha aplicado especialmente la teor´ıa de la complejidad algor´ıtmica. Mediante la criptograf´ıa podemos conseguir el manejo de informaci´ on confidencial en el ordenador de forma m´ as o menos segura. M´ aquinas Secuenciales y Aut´ omatas Finitos La Teor´ıa de Aut´omatas, que engloba tambi´ en al estudio de las M´ aquinas secuenciales , tiene su origen en el campo de la Ingenier´ıa El´ectrica . El matem´ atico norteameriacano Shanon (que luego se har´ıa famoso por su Teor´ıa de la Informaci´ on ) vino a establecer las bases para la aplicaci´ o n de la L´ogica Matem´ atica a los circuitos combinatorios y posteriormente Huffman en 1954 los ampli´ o a circuitos secuenciales y utiliza conceptos como estado de un aut´omata y tabla de transici´ on . A lo largo de las d´ ecadas siguientes, las ideas de Shanon se desarrollaron considerablemente, dando lugar a la formalizaci´ on de una Teor´ıa de las M´ aquinas Secuenciales y de los Aut´omatas Finitos (1956). Otros trabajos importantes sobre m´ aquinas secuenciales son debidos a Mealy (1955) y Moore. 5
Desde un frente totalmente distinto, el concepto de aut´ omata finito aparece en 1943 con el art´ıculo de de McCulloch y Pitts titulado A Logical Calculus of the Ideas Immanet in Nervous Activity , donde describen los c´ alculos l´ ogicos inmersos en un dispositivo (neurona artificial ) que hab´ıan ideado para simular la actividad de una neurona biol´ ogica. A partir de entonces, se han desarrollado asociaciones de neuronas para constituir redes. Podemos considerar una RNA (Red Neural Artificial ) como una colecci´ on de procesadores elementales (neuronas), conectadas a otras neuronas o entradas externas, y con una salida que permite propagar las se˜ nales por m´ ultiples caminos. Cada procesador pondera las entradas que recibe y estos pesos pueden ser modificados en aras de conseguir el objetivo previsto. Es lo que llamaremos funci´ on de aprendizaje . Es decir, una RNA puede “aprender” de sus propios errores, por un proceso inductivo a partir de un conjunto de ejemplos de lo que queremos aprender, frente al proceso deductivo, propio de los Sistemas Expertos . Las caracter´ısticas que hacen interesantes a las RNAs son su capacidad para aprender (reproducir un sistema o funci´ on a partir de ejemplos), memorizar (almacenar un conjunto de patrones o ejemplos), generalizar y abstraer (que permita recuperaciones a partir de entradas defectuosas o incompletas). Las redes neuronales, dentro del perfil de Teor´ıa de la Computaci´ on, aportan paradigmas interesantes como son el c´ alculo paralelo, el aprendizaje inductivo y su capacidad para realizar c´ alculos aproximados por medio de interpolaci´ on. En el verano de 1951 Kleene fue invitado por la RAND Corporation para realizar un informe sobre los trabajos de McCulloch-Pitts. En este informe Kleene demuestra la equivalencia entre lo que ´el llama “dos formas de definir una misma cosa”: los conjuntos regulares , los cuales pueden ser descritos a partir de sucesos bases y los operadores uni´on, concatenaci´ on y clausura, es decir, mediante expresiones regulares y los lenguajes reconocidos por un aut´ omata finito. Los aut´ omatas finitos son capaces de reconocer solamente un determinado tipo de lenguajes, llamados lenguajes regulares , que tambi´en se caracterizan mediante un tipo de gram´ aticas llamadas as´ı mismo regulares. Una forma adicional de caracterizar este tipo de lenguajes es mediante las citadas expresiones regulares, construidas mediante operadores sobre el alfabeto del lenguaje y otras expresiones regulares, incluyendo el lenguaje vac´ıo. Es f´ acilmente comprobable que, para un alfabeto concreto, no todos los lenguajes que se pueden construir son regulares. Ni siquiera todos los interesantes desde el punto de vista de la construcci´ on de algoritmos para resolver problemas. Hay entonces muchos problemas que no son calculables con estos lenguajes. Esto pone de manifiesto las limitaciones de los aut´ omatas finitos y las gram´ aticas regulares, y propicia el desarrollo de m´ aquinas reconocedoras de otros tipos de lenguajes y de las gram´aticas correspondientes asociadas a los mismos, como veremos en el siguiente apartado. Desde su nacimiento, la Teor´ıa de Aut´ omatas ha encontrado aplicaci´ on en campos muy diversos. ¿Qu´e tienen en com´ un? A primera vista no parece sencillo deducirlo. Sin embargo, podemos vislumbrar la soluci´ on si nos damos cuenta de que en todos ellos se manejan conceptos como el ‘control’, la ‘acci´ on’, la ‘memoria’ y adem´ as, los objetos controlados o recordados son s´ımbolos, palabras o frases de alg´ un tipo. Algunos de los campos donde ha encontrado aplicaci´ on la Teor´ıa de Aut´omatas son: Teor´ıa de la Comunicaci´ on. Teor´ıa de Control. L´ ogica de Circuitos Secuenciales. Reconocimiento de Patrones. Fisiolog´ıa del Sistema Nervioso. Estructura y An´alisis de los Lenguajes de Programaci´ on. Traducci´ on Autom´ atica de Lenguajes. 6
Teor´ıa Algebraica de Lengua jes. Cuando un aut´ omata se usa para modelar la construcci´ on de hardware (ej. circuitos secuenciales) o software (ej. analizadores l´exicos) es muy importante examinar el problema de encontrar el aut´ omata m´ınimo equivalente a uno dado. Tanto Huffman como Moore se ocuparon de este problema y encontraron algoritmos pr´ acticos para minimizar un aut´ omata de estados finitos. 2 Para un aut´ omata de n estados estos algoritmos requer´ıan n pasos. Bastante m´ as tarde, en 1971 Hopcroft encontr´ o un m´etodo que lo hac´ıa en O(n × log(n)) pasos. Existe un punto de vista algebraico sobre la minimizaci´ on y caracterizaci´ on de aut´ omatas finitos, debida a John Myhill y Anil Nerode. Kleene, en su intento de entender los trabajos de McCullock y Pitts, abstrajo el concepto de aut´ omata finito a partir de las redes de neuronas y el concepto de expresi´ on regular a partir del c´ alculo l´ ogico del modelo de McCullock y Pitts. De la misma forma, Myhill a partir de los conceptos de aut´omatas finitos de Kleene obtuvo el de diagrama de transici´ on (deterministas) y a los eventos los redujo a la uni´ on de clases de equivalencia. Siguiendo esta l´ınea de trabajo, se ha elaborado en las ultimas ´ d´ecadas una teor´ıa abstracta de aut´ omatas con una fuerte base matem´ atica que, seg´ un dijo Arbib en 1969, constituye “la matem´ atica pura de la Inform´ atica”. Gram´ aticas y Lenguajes Formales El desarrollo de los ordenadores en la d´ecada de los 40, con la introducci´ on de los programas en la memoria principal y posteriormente con los lenguajes de programaci´ on de alto nivel, propician la distinci´ on entre lenguajes formales , con reglas sint´ acticas y sem´ anticas r´ıgidas, concretas y bien definidas, de los lenguajes naturales como el ingl´es, donde la sintaxis y la sem´ antica no se pueden controlar f´ acilmente. Los intentos de formalizar los lenguajes naturales llevan a la construcci´ o n de gram´ aticas como una forma de describir estos lenguajes, utilizando para ello reglas de producci´on para construir las frases del lenguaje. Se puede entonces caracterizar un lenguaje mediante las reglas de una gram´ atica adecuada. on de lenguajes, que son la base Noam Chomsky propone en 1956 tres modelos para la descripci´ de su futura jerarqu´ıa de los tipos de lenguajes (1959), que ayud´ o tambi´ en en el desarrollo de los lenguajes de programaci´ on. Chomsky estableci´ o una clasificaci´ on de gram´ aticas de acuerdo con el formato de sus producciones y distingui´o cuatro clases fundamentales de lenguajes y relaciones de inclusi´ on entre ellas. La Teor´ıa de los Lenguajes Formales result´ o tener una relaci´ on sorprendente con la Teor´ıa de Aut´ omatas y la Computabilidad. Paralelamente a la jerarqu´ıa de lenguajes existe otra equivalente de m´ aquinas abstractas, de tal forma que a cada una de las clases de lenguajes definidas en la jerarqu´ıa de Chomsky a partir de restricciones impuestas a las gram´ aticas, le corresponde un tipo de m´ aquina abstracta, que no es otra cosa que un m´etodo reconocedor para la descripci´ on de lenguajes. La relaci´ on la podemos observar en la figura 1. Cada uno de estos tipos de m´aquinas es capaz de resolver problemas cada vez m´ as complejos, desde los aut´ omatas finitos (que son los m´ as simples) hasta las m´ aquinas de Turing que determinan el l´ımite de los procesos computables. Se puede llegar as´ı, de una forma casi natural, a considerar las m´ aquinas de Turing, establecidas casi 20 a˜ nos antes, como m´ aquinas reconocedoras de los lenguajes estructurados por frases (tipo 0) e incluso a interpretar la Tesis de Turing en t´ erminos de que un sistema computacional nunca podr´ a efectuar un an´ alisis sint´ actico de aquellos lenguajes que est´ an por encima de los lengua jes estructurados por frases en la jerarqu´ıa de Chomsky.
2.
Fundamentos Matem´ aticos
A continuaci´ on haremos un repaso breve sobre varias ideas matem´aticas que ser´an utilizadas en los pr´ oximos cap´ıtulos. Estos conceptos incluyen conjuntos, relaciones, funciones y t´ecnicas de 7
LENGUAJES
MAQUINAS
TIPO 0
DE TURING
LENGUAJES
AUTOMATAS
TIPO 1
LINEALMENTE ACOTADOS
LENGUAJES LENGUAJES
AUTOMATAS
TIPO 2
NO ENUMERABLES
CON PILA
LENGUAJES
AUTOMATAS
TIPO 3
FINITOS
Figura 1: Relaci´on Lenguajes-M´aquinas Abstractas demostraci´ on matem´ aticas. Conjuntos Un conjunto es una colecci´on de objetos. Por ejemplo, la colecci´ on de las letras vocales forman un conjunto que podemos notar como V = { a,e,i,o,u}. Los objetos que forman parte del conjunto se llaman elementos . Por ejemplo, a es un elemento de V y se escribe a ∈ V ; por otra parte podemos decir que z ∈ / V . Dos conjuntos son iguales si y s´olo si tienen los mismos elementos. No se tienen en cuenta las repeticiones de elementos ni tampoco el orden de ´estos. Hay un conjunto que no tiene ning´ un elemento llamado conjunto vac´ıo y lo notaremos por ∅. Un conjunto se puede especificar enumerando sus elementos entre llaves y separados por comas y esto es lo que se llama definici´ on por extensi´ on . Pero a veces esto no es posible hacerlo porque el conjunto es infinito y entonces se usa una definici´ on por comprensi´ on , es decir, haciendo referencia a otros conjuntos (conjuntos referenciales ) y a propiedades que los elementos puedan tener. De forma general se definen: B = {x ∈ A | x cumple la propiedad P} Un conjunto A es un subconjunto de otro conjunto B, A ⊆ B, si cada elemento de A es un elmento de B. Tambi´ en podemos decir que A est´ a incluido en B. Cualquier conjunto es un subconjunto de s´ı mismo. Si A es un subconjunto de B pero A no es igual a B se dice que A es un subconjunto propio de B y se nota como A ⊂ B. Es obvio que ∅ ⊆ A para cualquier conjunto A. Para probar que dos conjuntos A y B son iguales debemos probar que A ⊆ B y B ⊆ A: cada elemento de A debe ser un elemento de B y viceversa. Dos conjuntos se pueden combinar para formar un tercero mediante una serie de operaciones sobre conjuntos: uni´ on intersecci´ on diferencia
A ∪ B = { x | (x ∈ A) ∨ (x ∈ B)} A ∩ B = { x | (x ∈ A) ∧ (x ∈ B)} A − B = { x | (x ∈ A) ∧ (x ∈ / B)} 8
Algunas propiedades de las operaciones anteriores se pueden deducir f´acilmente a partir de sus definiciones: 1. Idempotencia: A ∪ A = A ; A ∩ A = A 2. Conmutatividad: A ∪ B = B ∪ A ; A ∩ B = B ∩ A 3. Asociatividad:
(A ∪ B) ∪ C = A ∪ (B ∪ C ) (A ∩ B) ∩ C = A ∩ (B ∩ C )
4. Distributividad:
A ∪ (B ∩ C ) = (A ∪ B) ∩ (A ∪ C ) A ∩ (B ∪ C ) = (A ∩ B) ∪ (A ∩ C )
5. Absorci´ on: A ∩ (A ∪ B) = A ; A ∪ (A ∩ B) = A 6. Leyes de DeMorgan:
A ∩ B = A ∪ B A ∪ B = A ∩ B
Dos conjuntos son disjuntos si no tienen elementos en com´ u n, o lo que es lo mismo, si su intersecci´ on es el conjunto vac´ıo. Es posible formar intersecciones y uniones de m´ as de dos conjuntos. La colecci´ on de todos los subconjuntos de A es a su vez un conjunto llamado conjunto potencia de A y lo notamos como 2A . Al conjunto potencia de A tambi´en se le suele llamar conjunto de las partes de A y se nota como P (A). Ejemplo 0.1 Sea A = { c, d}. Entonces 2A = {∅ , {c} , {d} , {c, d}} Una partici´ on de un conjunto no vac´ıo A es un subconjunto, Π, de 2 A tal que: 1. cada elemento de Π es no vacio; 2. los elementos de Π son disjuntos; 3.
Π = A
Ejemplo 0.2 {{a, b} , {c} , {d}} es una partici´ on de {a,b,c,d} pero {{a,b,c} , {c, d}} no lo es. Los conjuntos de n´ umeros pares e impares forman una partici´ on de N. Relaciones y funciones De forma general podemos definir una relaci´ on como un conjunto de elementos , que son en esencia combinaciones de objetos de un determinado tipo que est´ an relacionados de alguna forma. Llamamos par ordenado a una pareja de objetos escritos entre par´entesis y separados por comas. Por ejemplo, (a, b) es un par ordenado y a, b son los componentes del par ordenado. No es lo mismo (a, b) que { a, b} por varios motivos: el orden influye: no es lo mismo (a, b) que (b, a), sin embargo { a, b} = {b, a} los dos componentes de un par ordenado no tienen porqu´e ser distintos; por ejemplo, (2, 2) es un par v´alido. El producto cartesiano de dos conjuntos A y B, que notamos A × B, es el conjunto de todos los pares ordenados (a, b) donde a ∈ A y b ∈ B. Ejemplo 0.3 Dados los conjuntos { 1, 3, 9} y { b,c,d} , el producto cartesiano es,
{1, 3, 9} × {b,c,d} = { (1, b), (1, c), (1, d), (3, b), (3, c), (3, d), (9, b), (9, c), (9, d)} 9
on binaria entre dos conjuntos A y B es un subconjunto de A × B. Una relaci´ Ejemplo 0.4 {(9, b), (1, c), (3, d)} es una relaci´ on binaria entre los conjuntos {1, 3, 9} y {b,c,d} . La relaci´ on ”menor que” entre los n´ umeros naturales es una relaci´ on binaria, <= { (i, j) | (i, j ∈
N
) ∧ (i < j)}
Sea n un n´ umero natural, entonces (a1 , a2 ,...,an ) es una n-tupla ordenada . Para cada i ∈ {1,...,n} , ai es la i-´esima componente de la n-tupla. Dos n-tuplas (b1 , b2 ,...,bn ) y (a1 , a2 ,...,am ) son iguales si y s´o lo si m = n y ai = bi para cada i ∈ {1,...,n}. Si A1 ,...,An son conjuntos n
cualesquiera, el producto cartesiano de todos ellos, A1 × . . . × An , es el conjunto de todas las n-tuplas (a1 ,...,an ) con ai ∈ Ai para cada i ∈ {1,...,n}. En el caso de que todos los Ai sean n
iguales el producto cartesiano A × . . . × A se puede escribir como An . Una relaci´ on n-aria n
entre los conjuntos A 1 ,...,An es un subconjunto del producto cartesiano A 1 × . . . × An . Vamos a tratar ahora con relaciones binarias entre un conjunto y el mismo, es decir, con R ⊆ A × A. Si (a, b) ∈ R podemos escribirlo con una notaci´ on infija como a R b. Por ejemplo, en la relaci´ on de igualdad se suele decir que a = b, en lugar de (a, b) ∈ =. Sea R una relaci´ on binaria sobre un conjunto A. Decimos que: R es reflexiva sii ∀ a ∈ A : aRa R es irreflexiva sii ∀ a ∈ A : ¬ (aRa) R es transitiva sii ∀ a,b,c ∈ A : (aRb) ∧ (bRc) ⇒ (aRc) R es sim´ etrica sii ∀ a, b ∈ A : aRb ⇒ bRa R es antisim´ etrica sii ∀ a, b ∈ A : aRb ⇒ ¬(bRa) Una relaci´ on R ⊆ A × A que cumpla las propiedades reflexiva, sim´etrica y transitiva se dice que es una relaci´ on de equivalencia. Usaremos la notaci´ on [a]R para indicar la clase de equivalencia de la relaci´on R representada por el elemento a ∈ A y se define: [a]R = {b ∈ A | (a, b) ∈ R } Al conjunto formado por todas las clases de equivalencia de una relaci´ on de equivalencia R ⊆ A × A se le denomina conjunto cociente de A modulo R y se nota como A/R: A/R = {[a] | a ∈ A } Una relaci´ on R ⊆ A × A que cumpla las propiedades reflexiva, antisim´etrica y transitiva se dice que es una relaci´ on de orden. Al par (A, R) lo llamaremos conjunto ordenado. Si adem´ as la relaci´ on de orden R verifica que todo par de elementos de A son comparables, entonces se dice que R es una relaci´ on de orden total o lineal en A y el par (A, R) es un conjunto totalmente ordenado. Un orden no total se llama parcial . Supongamos que P es un conjunto de propiedades sobre relaciones. La P-clausura de R ⊆ A×A es la menor relaci´ on R′ que incluye todos los pares ordenados de R y cumple las propiedades de P. Por ejemplo, la clausura transitiva de R, que notaremos R+ , se define de la siguiente manera: 10
1.
Si (a, b) ∈ R entonces (a, b) ∈ R + .
2.
Si (a, b) ∈ R + y (b, c) ∈ R, entonces (a, c) ∈ R + .
3.
S´ olo est´ an en R+ los pares introducidos por 1 y 2.
La clausura reflexiva y transitiva de R, que notamos R∗ , se define: R∗ = R + ∪ {(a, a) | a ∈ A} Ejemplo 0.5 Sea R = { (1, 2) , (2, 2) , (2, 3)} una relaci´ on sobre el conjunto {1, 2, 3}. Entonces tenemos que, R+ = {(1, 2) , (2, 2) , (2, 3) , (1, 3)} R∗ = { (1, 1) , (1, 2) , (1, 3) , (2, 2) , (2, 3) , (3, 3)} Una funci´ on de un conjunto A en un conjunto B, que notamos como f : A −→ B, es una relaci´ on binaria f ⊆ A ×B con la siguiente propiedad: para cada elemento a ∈ A hay exactamente un par ordenado en f cuya primera componente sea a. Llamamos a A el dominio de la funci´on f y a B el codominio de f . Si a es un elemento cualquiera de A, f (a) ser´a un elemento b ∈ B tal que (a, b) ∈ f y adem´ as por ser f una funci´ on este b ser´a u ´nico. Al elemento f (a) lo llamaremos ′ imagen de a bajo f . Si tenemos la funci´ on f anterior y A es un subconjunto de A, definimos:
f A′ = f (a) | a ∈ A′
que es la imagen de A’ bajo f . El rango de una funci´ on f es la imagen de su dominio. Por convenio, si el dominio de una funci´on es un producto cartesiano, no hace falta que especifiquemos las parejas de par´entesis de los elementos. Ejemplo 0.6 Si f : N × N → N est´ a definida de forma que la imagen de un par ordenado (m, n) es la suma de m y n, podemos escribir f (m, n) = m + n, en lugar de f ((m, n)) = m + n y adem´ as podemos decir que m, n son los argumentos de f y m + n el correspondiente valor o resultado de f . Monoides El par (M, ◦) es un semigrupo si M es un conjunto y ◦ es una operaci´on interna binaria asociativa. Es decir, ◦ es una funci´ on de M × M en M que verifica lo siguiente:
∀ x,y,z ∈ M : x ◦ (y ◦ z) = (x ◦ y) ◦ z Un elemento e ∈ M es la identidad de un semigrupo (M, ◦) si se verifica:
∀ x ∈ M : e ◦ x = x ◦ e = x Un monoide es un semigrupo con identidad. Sea el monoide (M, ◦, e), x ∈ M y un n´ umero n natural n. La n-´ esima potencia de x, representada por x , se define inductivamente de la siguiente manera: 1. x0 = e 2. xn = x ◦ xn−1 , para n > 0 Sean A y B subconjuntos del monoide (M, ◦, e). La operaci´ on ◦ induce de forma natural una M operaci´on binaria ◦ sobre 2 , el conjunto de todos los subconjuntos de M . Esta operaci´ on se define por: ∀ A, B ∈ 2M : A ◦ B = { x ◦ y | (x ∈ A) ∧ (y ∈ B)} 11
Definici´ on 0.1 Sea (M, ◦, e) un monoide. Entonces 2M , ◦, {e} , donde ◦ es la operaci´ on inducida, es tambi´ en un monoide que llamaremos monoide inducido por (M, ◦, e) sobre 2 M . Definici´ on 0.2 Si A es un subconjunto del monoide (M, ◦, e). Entonces: A es cerrado positivo sii ∀ x, y ∈ A : x ◦ y ∈ A. A es cerrado sii es cerrado positivo y adem´ as contiene a la identidad e. Definici´ on 0.3 Sea A un subconjunto cerrado de un monoide. Entonces (A, ◦, e) donde ◦ es la restricci´ on de la operaci´on de M para los elementos de A es tambi´en un monoide. A tal monoide se le denomina submonoide de (M, ◦, e). Definici´ on 0.4 Sea A cualquier subconjunto de un monoide (M, ◦, e). El cierre positivo de A, representado por A + , se define por: ∞
+
A =
An
n=1
El cierre de A, que notaremos como A∗ , se define como: ∞
∗
A =
An
n=0
donde A n representa la n-´esima potencia de A en el monoide inducido 2M , ◦, {e} . Un subconjunto B de un monoide M se dice que genera M sii B ∗ = M . Al conjunto B se le llama base (o generador) de M . Si B genera M entonces, por definici´ on, cualquier x ∈ M (distinto de e ) se puede representar como x = x 1 ◦ . . . ◦ xn , donde x1 , . . . , xn ∈ B y n > 0. Se dice que B genera libremente a M si la representaci´ on anterior es u ´ nica (salvo el orden, si la operaci´on ◦ es conmutativa). M se dice que es un monoide libre si contiene un subconjunto B que lo genera libremente. Conjuntos finitos e infinitos Una propiedad b´asica de los conjuntos finitos es su tama˜ no o cardinalidad. Algunos aspectos sobre el tama˜ no de los conjuntos finitos son obvios, como por ejemplo, si A ⊆ B entonces el cardinal de A es menor o igual que el cardinal de B; si A es subconjunto propio de B ser´a de menor tama˜ no que B. Sin embargo esto no es tan simple cuando tenemos conjuntos infinitos. Por ejemplo, ¿hay m´ as n´ umeros naturales que n´ umeros pares? Aunque la intuici´ on nos dice que s´ı, formalmente no podemos afirmarlo. Se dice que dos conjuntos A y B son equinumerables o equipotentes si podemos encontrar una funci´ on f : A −→ B donde f es biyectiva. Decimos que un conjunto es finito si es equinumerable con { 1, 2, . . . , n}, para alg´ un n ∈ N, y diremos que el cardinal de A es n, esto es, | A| = n. Un conjunto A es infinito si puede establecerse una aplicaci´ on biyectiva entre A y un subcon junto propio de A. No todos los conjuntos infinitos son equinumerables, por ejemplo N y R no tienen la misma cardinalidad. Un conjunto se dice que es infinito numerable si es equinumerable con N y se dice que es numerable si es finito o infinito numerable. En caso contrario se dice que es no numerable, como por ejemplo el conjunto de los numeros reales R. Teorema 0.1 Si A es un conjunto cualquiera (incluso infinito) entonces |A| < |P (A)| . Adem´ as si A es infinito numerable entonces P (A) es no numerable. Teorema 0.2 La cardinalidad del conjunto de los n´ umeros naturales es menor o igual que la cardinalidad de cualquier conjunto infinito. 12
Principio de inducci´ on El principio de inducci´ on matem´ atica afirma lo siguiente, Si A es un subconjunto de numeros naturales, A ⊆ 1.
0 ∈ A
2.
si k ∈ A entonces k + 1 ∈ A entonces debe ser A =
N ,
y satisface las condiciones:
N.
En la pr´actica, el principio de inducci´ on es usado para probar afirmaciones del tipo “para todo n´umero natural k la propiedad P se cumple”. Esto es lo mismo que probar que el conjunto A = { k ∈
N
| P (k) se cumple}
coincide con el conjunto de n´ umeros naturales, esto es, debemos probar que A = N. Esto es lo que se llama demostraci´ on por inducci´ on y el procedimiento a seguir es el siguiente: etapa base Probar que la propiedad P se cumple para 0. ´ n Suponer que la propiedad se sumple para k (hip´ etapa de induccio otesis de inducci´ on)
y probar que esto implica que se cumple para k + 1. ´ n Puesto que hemos probado en la etapa base que 0 ∈ A y en la etapa de conclusio
inducci´ o n que si k ∈ A entonces tambi´en k + 1 ∈ A, resulta que, por el principio de inducci´ on, podemos deducir que A = N, como quer´ıamos demostrar. A veces, interesa demostrar que cierta propiedad se cumple para todo k ≥ m. En este caso debemos demostrar que el conjunto, A = { n ∈
N
| P (n + m) se cumple}
coincide con el conjunto N. Para ello seguimos el siguiente razonamiento: etapa base (n = 0) Probar que P (m) se cumple. ´ n (n > 0) Suponer que P (k) se cumple, siendo k ≥ m y probar que etapa de induccio
P (k + 1) se cumple. ´ n Por las etapas anteriores y el principio de inducci´ conclusio on tenemos que A = N y
por tanto P se cumple para todo k ≥ m. El principio de inducci´ on tambi´ en se usa para definir conjuntos de objetos donde definimos el primer objeto y el objeto k se define en t´erminos del (k − 1)-´esimo objeto. Esto es lo que se llama definici´ on inductiva . Ejemplo 0.7 El factorial de un n´ umero natural puede ser definido inductivamente como, 1.
0! = 1
2.
k! = k · (k − 1)! para k > 0.
13
14
CAP´ITUL ITULO O 1: ´ LENGUAJES Y GRAMATICAS FORMALES
oricos Contenidos Te´oricos 1. Alfabet Alfabetos os y palabr palabras as 1.1 Concatenaci´ on on de palabras 1.2 Potencia de una palabra 1.3 Inversi´ on on de palabras 2. Lenguaje Lenguajess formal formales es 2.1 Operaciones del algebra a´lgebra de conjuntos 2.2 Concatenaci´ on, on, potencia e inversi´ on on de lenguajes 2.3 Clausura de un lenguaje 3. Gram am´ aticas a´ticas formales 3.1 Definiciones b´ asicas asicas 3.2 Notaci´ on on BNF 3.3 Clasificaci´ on on de gram´ aticas aticas 3.4 Teorema de la jerarqu´ jerarqu´ıa de Chomsky (enunciado) 4. Noc Nocion iones es b´ asicas sobre traductores asicas
1.
Alfa Alfabet betos os y pal palab abra rass
Un alfabeto Un alfabeto es es un conjunto finito y no vac´ vac´ıo de elementos llamados llama dos s´ s´ımbo mbolos o s o letras. Una palabra Una palabra o cadena sobre un alfabeto V alfabeto V es una cadena finita de s´ımbolos ımbolos del alfabeto. La longitud La longitud de de una cadena w cadena w,, que notaremos como | w|, es el n´ umero de letras que aparecen en w umero en w . A la cadena que no tiene s´ımbolos, ımbolos, o lo que es lo mismo, que tiene longitud 0, la llamaremos pala llamaremos palabra bra vac´ va c´ıa ıa y se nota por λ (o tambi ta mbi´´en ǫ en ǫ,, seg´ un un los autores). Si V V es un alfabeto, llamaremos V n al conjunto de todas las palabras de longitud n sobre V . V . 0 n Un elemento de V ser´ a una cadena del tipo a tipo a 1 a2 . . . an donde cada a cada a i ∈ V . V . Llamaremos Llamaremos V V al 0 conjunto cuyo unico u ´nico elemento es la palabra vac´ vac´ıa, es decir, V decir, V = {λ} . El conjunto de todas las cadenas de cualquier longitud sobre V sobre V es: ∞
∗
V =
V n
n=0
Llamamos V Llamamos V + al conjunto de todas las cadenas sobre el alfabeto V alfabeto V excepto la vac´ vac´ıa. Por tanto, t anto, + ∗ V = V − {λ}. 15
1.1. 1.1.
Conc Co ncat atena enaci ci´ on o ´n de Palabras
La operaci´ on on de concatenaci´ on, on, que notaremos ‘·’, es una operaci´ on binaria entre palabras sobre on un alfabeto V, esto es: : V ∗ × V ∗ −→ V ∗ · : V de forma que si tenemos dos palabras x, palabras x, y ∈ V ∗ donde x donde x = = a a 1 a2 . . . an , y = b = b 1 b2 . . . bm entonces, ∗ x concatenado con y ser´a una palabra w ∈ V con | w| = |x| + |y|, de forma que: w = x = x · y = a = a 1 a2 . . . an b1 b2 . . . bm
Nota
A veces veces se suele suele suprimir suprimir el ‘·’ y se puede escribir directamente w = xy = xy
Algunas propiedades de la concatenaci´ on on son: operaci´on cerrada on cerrada propiedad asociativa propiedad asociativa elemento elemento neutro λ
∀ x, y ∈ V ∗ : x · y ∈ V ∗
∀ x,y,z ∈ V ∗ : x · (y · z ) = (x · y ) · z = x · λ = x = x ∀ x ∈ V ∗ : λ · x = x
Por tener estas propiedades (V (V ∗ , ·, λ) es un monoide un monoide . Adem´ as as cada palabra de V de V ∗ se representa de forma de forma unica unica ´ como concatenaci´ on on de s´ımbolo ımb oloss de V de V ,, por eso es adem´as as un monoide un monoide libre . Todo monoide libre cumple la ley de cancelaci´ de cancelaci´ on izquierda y derecha, on derecha, en este caso, ∀ x,y,z ∈ V se V se cumple que: (x · y = x = x · z ) ⇒ (y (y = z = z))
(y · x = z = z · x) ⇒ (y ( y = z = z))
Decimos que una cadena z es subcadena es subcadena de de otra cadena w si existen cadenas x, y ∈ V ∗ tal que w = x = x · z · y . Vamos a ver dos conjuntos especiales de subcadenas: Prefijo(w Prefijo(w) = {x ∈ V ∗ | ∃ z ∈ V ∗ : w = x = x · z } Sufijo(w Sufijo(w) = { x ∈ V ∗ | ∃ z ∈ V ∗ : w = z = z · x} Diremos que x es un prefijo un prefijo de w si x ∈ Prefijo(w Prefijo(w) y ser´a un prefijo un prefijo propio si x = w. w . Por otra parte, diremos que x es x es un sufijo un sufijo de w si x si x ∈ Sufijo(w Sufijo(w) y ser´a un sufijo un sufijo propio si x = w. Ejemplo 1.1 Si w = abab es una palabra sobre el alfabeto {a, b}, o lo que es lo mismo, w ∈ {a, b}∗ , tenemos que: ab es ab es un prefijo propio de w abab es abab es un prefijo de w, pero no es propio b es un sufijo de w
1.2. 1.2.
Potenc otencia ia de de una pal palab abra ra
Llamamos pote Llamamos potenc ncia ia n-´esima es ima de de una palabra, a la operaci´ on que consiste en concatenar la palabra on ∗ consigo misma n misma n veces. veces. Dada una palabra w palabra w ∈ V , se define defi ne inductivamente in ductivamente la potenci p otencia a n-´esima esima n de w, que notaremos w notaremos w , como: 1. w0 = λ 2. wn = w · wn−1 para n > 0 Ejemplo 1.2 Si w = aba = aba es una palabra sobre el alfabeto {a, b} entonces: w0 = λ w1 = aba w2 = abaaba 16
1.3. 1.3.
Inv Inversi´ ersi´ on on de palabras
Si w = a 1 a2 . . . an es una palabra sobre un alfabeto V V entonces la palabra la palabra inversa o refleja de R w se define como: w = a n an−1 . . . a1 Ejemplo 1.3 Si w = aaba = aaba es es una palabra sobre el alfabeto {a, b}, entonces wR = abaa. abaa.
2.
Leng Lenguaje uajess form formal ales es
Llamamos lenguaje sobre el alfabeto V a de V ∗ . As´ As´ı tenemo ten emoss que, V a cualquier subconjunto de V ∗ V , ∅ , y V pueden V pueden considerarse como lenguajes. Puesto que un lenguaje es tan s´ olo olo una clase especial de conjunto, podemos especificar un lenguaje un lenguaje finito por finito por extensi´ on on enumerando sus elementos entre llaves. Por ejemplo, { aba,czr,d,f } es un lenguaje sobre el alfabeto { a,b,c,...,z}. Sin embargo, la mayor´ mayor´ıa de los lengua jes de inter´es es son infinitos son infinitos . En este caso podemos especificar un lenguaje por comprensi´ on de la siguiente forma: on L = {w ∈ V ∗ | w cumple la propiedad P propiedad P } En la definici´ on on anterior vemos que V que V ∗ es el conjunto referencial conjunto referencial , que q ue podem p odemos os llamar llama r tambi´ ta mbi´en en lenguaje universal sobre universal sobre V . V . Ejemplo 1.4 L = { w ∈ {0, 1}∗ | ceros( ceros(w) = unos( unos(w)}, palabras que tienen el mismo n´ umero de ceros que de unos.
2.1. 2.1.
Operacio Operaciones nes del del algebra algebra de de conjun conjuntos tos
Sean L1 y L2 dos lenguajes definidos sobre el alfabeto V . V . Se define la uni´ on on de estos dos lenguajes como el lenguaje L lenguaje L sobre V sobre V que que se especifica como: L = L = L1 ∪ L2 = { w ∈ V ∗ | (w ( w ∈ L 1 ) ∨ (w ∈ L 2 )} La uni´ on de lenguajes sobre el mismo alfabeto es un operaci´on cerrada on on cerrada y adem´as as cumple las propiedades asociativa propiedades asociativa , conmutativa , y existe un elemento neutro que es el lenguaje vac´ vac´ıo ∅ (no es lo mismo ∅ que el lenguaje que contiene contiene la palabra palabra vac´ ac´ıa {λ}). El conjunto P (V ∗ ) (esto es, el conjunto de las partes de V ∗ , tambi´en en llamado llama do 2V ), est´ a formado por todos los lenguajes posibles que se pueden definir sobre el alfabeto V alfabeto V .. Entonces, por cumplir la uni´ on on las ∗ propiedades propiedades anteriores anteriores tenemos tenemos que (P (V ), ∪, ∅) es un monoide un monoide abeliano. abeliano. De forma an´ aloga a la uni´ aloga union o´n se pueden definir otras operaciones del ´algebra algebra de conjuntos como la intersecci´ la intersecci´ on, diferencia, y complementaci´ on de de lenguajes. Por ejemplo, el complementario del ∗ lenguaje L lenguaje L sobre el alfabeto V V ser´a: a: L = V = V − L. ∗
2.2. 2.2.
Conca Co ncate tena naci ci´ o on, ´n, potencia e inversi´ on on de lenguajes
Sean L Sean L1 y L y L2 dos lenguajes definidos sobre el alfabeto V alfabeto V ,, la concatenaci´ la concatenaci´ on de de estos dos lenguajes es otro lenguaje L definido como: L1 · L2 = {x · y ∈ V ∗ | (x ( x ∈ L 1 ) ∧ (y ∈ L 2 )} La definici´ definici´ on on anterior s´ olo o lo es v´ alida alida si L1 y L2 contienen al menos un elemento. Podemos extender la operaci´on on de concatenaci´ on on al lenguaje vac´ vac´ıo de la siguiente manera: ∅
· L = L = L · ∅ = ∅ 17
La concatenaci´ on de lenguajes sobre un alfabeto es una operaci´on cerrada , y adem´as cumple la propiedad asociativa y tiene un elemento neutro que es el lenguaje { λ}. Con lo cual, tenemos que (P (V ∗ ) , ·, {λ}) es el monoide inducido por el monoide (V ∗ , ·, λ) sobre P (V ∗ ). Esto es, la operaci´on de concatenaci´ on de palabras induce la operaci´ on de concatenaci´ on de lenguajes y ´esta conserva las propiedades de la primera. Teorema 1.1 Dados los lenguajes A,B, C sobre un alfabeto V , la concatenaci´ on de lengua jes es distributiva con respecto a la uni´ on, esto es, se cumple que: 1. A · (B ∪ C ) = (A · B) ∪ (A · C ) 2. (B ∪ C ) · A = (B · A) ∪ (C · A) Dem.- La demostraci´ on se deja como ejercicio. En el primer caso se debe probar que: A · (B ∪ C ) ⊆ (A · B) ∪ (A · C ) y (A · B) ∪ (A · C ) ⊆ A · (B ∪ C ) para demostrar la igualdad y el segundo caso se demuestra de forma an´ aloga.
Una vez definida la concatenaci´ on de lenguajes, podemos definir la potencia n-´esima de un lenguaje como la operaci´ on que consiste en concatenar el lenguaje consigo mismo n veces. La definici´ on inductiva es: 1. L0 = {λ} 2. Ln = L · Ln−1 , ∀ n > 0 Ejemplo 1.5 Si L = { ab,c} es un lenguaje sobre el alfabeto { a,b,c} entonces, L0 L1 L2 L3
= {λ} = L = { ab,c} = L · L1 = { abab, abc, cab, cc} = L · L2 = { ababab, ababc, abcab, abcc, cabab, cabc, ccab, ccc}
Las definiciones de prefijo y sufijo de una palabra podemos extenderlas a lenguajes de la siguiente forma: Prefijo(L) = Prefijo(w) Sufijo(L) = Sufijo(w)
w ∈L
w ∈L
Tambi´en podemos definir el lenguaje inverso o reflejo de L como:
LR = wR | w ∈ L
2.3.
Clausura de un lenguaje
Dado un lenguaje L sobre un alfabeto V se define la clausura positiva (o cierre positivo) de L, denotado L+ , como: ∞
+
L =
Ln
n=1
Definimos L ∗ como la clausura (o cierre) de L, como: ∞
∗
L =
n=0
18
Ln
En ambos casos, Ln se refiere a la potencia n-´esima del lenguaje L en el monoide inducido (P (V ∗ ) , ·, {λ}). El cierre o clausura de un lenguaje, por definici´on, contiene cualquier palabra que se obtenga por concatenaci´ on de palabras de L y adem´ as la palabra vac´ıa.
3.
Gram´ aticas formales
Hasta ahora hemos descrito los lenguajes formales como se describen los conjuntos: por extensi´ on (si son finitos) o por comprensi´ on. Aqu´ı vamos a introducir otra forma general y rigurosa de describir un lenguaje formal: mediante el uso de gram´ aticas. Las gram´ aticas son mecanismos generadores de lenguajes, es decir, nos dicen c´omo podemos obtener o construir palabras de un determinado lenguaje.
3.1.
Definiciones b´ asicas
´ tica es una cuadrupla G = (V N , V T , S , P ) donde: Definici´ on 1.1 Una grama
V T es el alfabeto de s´ımbolos terminales V N es el alfabeto de s´ımbolos no terminales o variables , de forma que debe ser V N ∩ V T = ∅ y denotamos con V al alfabeto total de la gram´ atica, esto es, V = V N ∪ V T . S es el s´ımbolo inicial y se cumple que S ∈ V N P es un conjunto finito de reglas de producci´ on ´ n es un par ordenado (α, β ) de forma que: Definici´ on 1.2 Una regla de produccio
(α, β ) ∈ (V ∗ · V N · V ∗ ) × V ∗ Es decir, α = γ 1 Aγ 2 donde γ 1 , γ 2 ∈ (V N ∪ V T )∗ , A ∈ V N y β ∈ (V N ∪ V T )∗ . Una producci´on (α, β ) ∈ P se suele escribir de forma infija como α → β . Por convenio usaremos letras may´ usculas para los s´ımbolos no terminales; d´ıgitos y las primeras letras min´ usculas del alfabeto para los s´ımbolos terminales; las ultimas ´ letras min´ usculas ∗ del alfabeto para palabras que pertenezcan a V T y letras griegas para cualquier palabra que pertenezca a V ∗ . Usando este convenio, a veces se suele describir una gram´ atica enumerando u ´ nicamente sus reglas de producci´ on y cuando varias reglas tienen la misma parte izquierda, se suelen agrupar separ´ andolas con | . Ejemplo 1.6 Sea la gram´ atica G cuyas producciones son: S → aSa | bSb | a | b | λ Esta gram´ atica tiene una sola variable S que adem´ as es el s´ımbolo inicial. V T = {a, b} y P contiene 5 reglas de producci´ on. Definici´ on 1.3 Sea G una gram´atica y sean las cadenas α, β ∈ V ∗ . Decimos que α deriva ´ n directa), si y s´ directamente en β , que notamos como α ⇒ β ( derivaci o olo si existe una ∗ producci´on δ → σ ∈ P tal que α = γ 1 δγ 2 , β = γ 1 σγ 2 con γ 1 , γ 2 ∈ V . Esto quiere decir que α deriva directamente en β , si β puede obtenerse a partir de α sustituyendo una ocurrencia de la parte izquierda de una producci´ on que aparezca en α por la parte derecha de la regla de producci´ on. 19
Si α → β es una regla de producci´o n de G, entonces se cumple siempre que α ⇒ β . Cuando sea necesario distinguir entre varias gram´ aticas, escribiremos α ⇒ G β , para referirnos a un derivaci´ on directa en G. Nota
Por la definici´ on anterior se deduce que ⇒ es una relaci´on binaria en el conjunto de cadenas de la gram´ atica, esto es: ⇒ ⊆ V ∗ × V ∗ . Aqu´ı usamos una notaci´ on infija para indicar que α ⇒ β en lugar de (α, β ) ∈ ⇒. Definici´ on 1.4 Decimos que α deriva en β , o bien que, β es derivable de α, y lo notamos como ∗ ´ n) si y s´ α ⇒ β ( derivaci o olo si se verifica una de las dos condiciones siguientes: 1. α = β, (son la misma cadena), o bien, 2. ∃ γ 0 , γ 1 , . . . , γn ∈ V ∗ tal que γ 0 = α, γ n = β y ∀ 0 ≤ i < n se cumple que γ i ⇒ γ i+1 A la secuencia γ 0 ⇒ γ 2 ⇒ . . . ⇒ γ n la llamaremos secuencia de derivaciones directas de longitud n, o simplemente derivaci´ on de longitud n.
∗
Por la definici´ on anterior est´ a claro que ⇒ es tambi´en una relaci´ on binaria en V y adem´ a s es la clausura reflexiva y transitiva de la relaci´on de derivaci´on ∗ directa ⇒ . Esto quiere decir que ⇒ es la menor relaci´ on que cumple lo siguiente: Nota
∗
∗
Si α ⇒ β entonces α ⇒ β . Esto es, si dos cadenas est´an relacionadas mediante ∗ ⇒ entonces tambi´en lo est´ an mediante la relaci´ on ⇒ ∗
∗
⇒ es reflexiva, ya que ∀ α ∈ V ∗ se cumple que α ⇒ α ∗ ∗ ∗ ∗ ⇒ es transitiva. En efecto, si α ⇒ β y β ⇒ γ , entonces α ⇒ γ Definici´ on 1.5 Sea una gram´atica G = (V N , V T , S , P ). Una palabra α ∈ (V N ∪ V T )∗ se de∗ nomina forma sentencial de la gram´ atica, si y s´olo si se cumple que: S ⇒ α. Una forma sentencial w tal que w ∈ V T ∗ se dice que es una sentencia. Ejemplo 1.7 Sea la gram´ atica S → aSa | bSb | a | b | λ , podemos afirmar lo siguiente: aaSb ⇒ aabSbb, aunque ni aaSb ni aabSbb son formas sentenciales de G ∗
aabb ⇒ aabb, aunque aabb no es una sentencia de G S, aSa, abSba, λ son formas sentenciales de G y adem´ as λ es una sentencia aabaa es una sentencia de G, ya que existe una derivaci´ on de longitud 3 por la que ∗ S ⇒ aabaa. En efecto: S ⇒ aSa ⇒ aaSaa ⇒ aabaa Definici´ on 1.6 Sea una gram´atica G = (V N , V T , S , P ) . Se llama lenguaje generado por la gram´ atica G al lenguaje L(G) formado por todas las cadenas de s´ımbolos terminales que son derivables del s´ımbolo inicial de la gram´ atica (sentencias):
∗
∗
L(G) = w ∈ V T | S ⇒ w
Ejemplo 1.8 Sea L = w ∈ {a, b}∗ | w = w R . Este lenguaje est´ a formado por todos los pal´ındromos sobre el alfabeto {a, b}. Puede probarse que la gram´ atica S → aSa | bS b | a | b | λ genera el lenguaje L. En general no existe un m´ etodo exacto para probar que una gram´ atica genera un determinado lenguaje. Para este caso tan sencillo podemos probarlo de “manera informal” ∗ haciendo una serie de derivaciones hasta darnos cuenta de que S ⇒ w si y s´ olo si w = wR . Luego veremos una demostraci´ on formal por inducci´ on en la secci´ on de aplicaciones. 20
Definici´ on 1.7 Dos gram´ aticas G y G′ son equivalentes si y s´olo si generan el mismo lenguaje, es decir, sii L(G) = L(G′ ).
3.2.
Notaci´ on BNF
A veces se utiliza una notaci´ on especial para describir gram´ aticas llamada notaci´ on BN F (Backus-Naus-Form ). En la notaci´ on BN F los s´ımbolos no terminales o variables son encerrados entre ´angulos y utilizaremos el s´ımbolo ::= para las producciones, en lugar de →. Por ejemplo, la producci´on S → aSa se representa en BNF como S ::= a S a. Tenemos tambi´en la notaci´ on BNF-extendida que incluye adem´ as los s´ımbolos [ ] y { } para indicar elementos opcionales y repeticiones, respectivamente. Ejemplo 1.9 Supongamos que tenemos un lenguaje de programaci´ on cuyas dos primeras reglas de producci´ on para definir su sintaxis son:
programa ::= [cabecera ] begin sentencias end sentencias ::= sentencia {sentencia } Esto viene a decir que un programa se compone de una cabecera opcional, seguido de la palabra clave “begin”, a continuaci´ on una lista de sentencias (debe haber al menos una sentencia) y finaliza con la palabra clave “end”. Podemos transformar las producciones anteriores para especificarlas, seg´ un la notaci´ on que nosotros hemos introducido (est´ andar), de la siguiente forma: P → C begin A end | begin A end A → B A | B donde P es el s´ımbolo inicial de la gram´ atica y corresponde a la variable programa , C corresponde a cabecera , A se refiere a la variable sentencias y B a sentencia . La simbolog´ıa utilizada para describir las gram´ aticas en notaci´ on est´ andar y en notaci´ on B NF nos proporcionan un herramienta para describir los lenguajes y la estructura de las sentencias del lenguaje. Puede considerarse a esta simbolog´ıa como un metalenguaje , es decir un lenguaje que sirve para describir otros lenguajes.
3.3.
Jerarqu´ıa de Chomsky
En 1959 Chomsky clasific´ o las gram´ aticas en cuatro familias, que difieren unas de otras en la forma que pueden tener sus reglas de producci´on. Si tenemos una gram´ atica G = (V N , V T , S , P ) clasificaremos las gram´ aticas y los lenguajes generados por ellas, de la siguiente forma: aticas regulares ). Pueden ser, a su vez, de dos tipos: Tipo 3 (Gram´
• Lineales por la derecha . Todas sus producciones son de la forma: A → bC A → b A → λ donde A, C ∈ V N y b ∈ V T . 21
• Lineales por la izquierda . Con producciones del tipo: A → Cb A → b A → λ Los lenguajes generados por estas gram´aticas se llaman lenguajes regulares y el conjunto de todos estos lenguajes es la clase L 3 . aticas libres del contexto). Las producciones son de la forma: Tipo 2 (Gram´ A → α donde A ∈ V N y α ∈ (V N ∪ V T )∗ . Los lenguajes generados por este tipo de gram´aticas se llaman lenguajes libres del contexto y la clase es L 2 . aticas sensibles al contexto). Las producciones son de la forma: Tipo 1 (Gram´ αAβ → αγβ donde α, β ∈ V ∗ y γ ∈ V + Se permite adem´ as la producci´ on S → λ siempre y cuando S no aparezca en la parte derecha de ninguna regla de producci´ on. El sentido de estas reglas de producci´ on es el de especificar que una variable A puede ser reemplazada por γ en una derivaci´on directa s´ olo cuando A aparezca en el “contexto” de α y β, de ah´ı el nombre “sensibles al contexto”. Adem´ as, las producciones de esa forma cumplen siempre que la parte izquierda tiene longitud menor o igual que la parte derecha, pero nunca mayor (excepto para S → λ). Esto quiere decir que la gram´ atica es no contr´ actil . Los lenguajes generados por las gram´ aticas de tipo 1 se llaman lenguajes sensibles al contexto y su clase es L 1 . Tipo 0 (Gram´ aticas con estructura de frase ) Son las gram´ aticas m´ as generales, que por
ello tambi´en se llaman gram´ aticas sin restricciones . Esto quiere decir que las producciones pueden ser de cualquier tipo permitido, es decir, de la forma α → β con α ∈ (V ∗ · V N · V ∗ ) y β ∈ V ∗ . Los lenguajes generados por estas gram´aticas son los lenguajes con estructura de frase, que se agrupan en la clase L 0 . Estos lenguajes tambi´ en se conocen en el campo de la Teor´ıa de la Computabilidad como lenguajes recursivamente enumerables . Teorema 1.2 (Jerarqu´ıa de Chomsky) Dado un alfabeto V , el conjunto de los lenguajes regulares sobre V est´ a incluido propiamente en el conjunto de los lenguajes libres de contexto y este a su vez est´ a incluido propiamente en el conjunto de los lenguajes sensibles al contexto, que finalmente est´a incluido propiamente en el conjunto de lenguajes con estructura de frase. Esto es: L3 ⊂ L2 ⊂ L1 ⊂ L0 La demostraci´ on de este teorema la iremos viendo a lo largo del curso.
En este tema hemos hecho referencia al termino lenguaje formal para diferenciarlo de lenguaje natural . En general, un lenguaje natural es aquel que ha evolucionado con el paso del tiempo para fines de la comunicaci´on humana, por Nota
22
ejemplo el espa˜ nol o el ingl´ es. Estos lenguajes evolucionan sin tener en cuenta reglas gramaticales formales. Las reglas surgen despu´es con objeto de explicar, m´ as que determinar la estructura de un lenguaje, y la sintaxis es dif´ıcil de determinar con precisi´ on. Los lenguajes formales, por el contrario, est´ an definidos por reglas de producci´on preestablecidas y se ajustan con todo rigor o “formalidad” a ellas. Como ejemplo tenemos los lenguajes de programaci´ on y los lenguajes l´ ogicos y matem´ aticos. No es de extra˜ nar, por tanto, que se puedan construir compiladores eficientes para los lenguajes de programaci´ on y que por contra la construcci´ on de traductores para lenguaje natural sea una tarea compleja e ineficiente, en general. Veremos que las gram´ aticas regulares y libres de contexto, junto con sus m´ aquinas abstractas asociadas tienen especial inter´ es en la construcci´ on de traductores para lenguajes de programaci´ on.
4.
Nociones b´ asicas sobre traductores
Hace apenas unas cuantas d´ecadas, se utilizaban los llamados lenguajes de primera generaci´ on para hacer que los computadores resolvieran problemas. Estos lenguajes operan a nivel de c´ odigo binario de la m´ aquina, que consiste en una secuencia de ceros y unos con los que se instruye al ordenador para que realice acciones. La programaci´ on, por tanto, era dif´ıcil y problem´ atica, aunque pronto se dio un peque˜ no paso con el uso de c´odigo octal o hexadecimal. El c´ odigo de m´ aquina fue reemplazado por los lenguajes de segunda generaci´ on , o lenguajes ensambladores . Estos lenguajes permiten usar abreviaturas nem´ onicas como nombres simb´ olicos, y la abstracci´ on cambia del nivel de flip-flop al nivel de registro. Se observan ya los primeros pasos hacia la estructuraci´ on de programas, aunque no puede utilizarse el t´ermino de programaci´ on estructurada al hablar de programas en ensamblador. Las desventajas principales del uso de los lenguajes ensambladores son, por un lado, la dependencia de la m´ aquina y, por otro, que son poco legibles. Para sustituir los lenguajes ensambladores, se crearon los lenguajes de tercera generaci´ on o lenguajes de alto nivel . Con ellos se pueden usar estructuras de control basadas en objetos de datos l´ ogicos: variables de un tipo espec´ıfico. Ofrecen un nivel de abstracci´ on que permite la especificaci´ on de los datos, funciones o procesos y su control en forma independiente de la m´ aquina. El dise˜ no de programas para resolver problemas complejos es mucho m´ as sencillo utilizando este tipo de lenguajes, ya que se requieren menos conocimientos sobre la estructura interna del computador, aunque es obvio que el ordenador u´nicamente entiende c´ odigo m´ aquina. Por lo tanto, para que un computador pueda ejecutar programas en lenguajes de alto nivel, estos deben ser traducidos a c´odigo m´ aquina. A este proceso se le denomina compilaci´ on , y la herramienta correspondiente se llama compilador . Nosotros vamos a entender el t´ ermino compilador como un programa que lee otro, escrito en lenguaje fuente , y lo traduce a lenguaje objeto, informando, durante el proceso de traducci´ on, de la presencia de errores en el programa fuente. Esto se refleja en la figura 1.1. En la d´ecada de 1950, se consider´o a los compiladores como programas notablemente dif´ıciles de escribir. El primer compilador de FORTRAN, por ejemplo, necesit´ o para su implementaci´ on, 18 a˜ nos de trabajo en grupo. Desde entonces, se han descubierto t´ecnicas sistem´ aticas para manejar muchas de las importantes tareas que surgen en la compilaci´ on. Tambi´en se han desarrollado buenos lenguajes de implementaci´ on, entornos de programaci´ on y herramientas de software. Con estos avances, puede construirse un compilador real incluso como proyecto de estudio en una asignatura sobre dise˜ no de compiladores. 23
Programa
Programa COMPILADOR
Fuente
Objeto
Mensajes de error
Figura 1.1: Definici´ on de un compilador 4.1.
Traductores y compiladores
Un traductor es un programa que acepta cualquier texto expresado en un lenguaje (el lenguaje fuente del traductor) y genera un texto sem´anticamente equivalente expresado en otro lenguaje (su lenguaje destino). Un ensamblador traduce un lenguaje ensamblador en su correspondiente c´odigo m´ aquina. Generalmente, un ensamblador genera una instrucci´ on de la m´ aquina por cada instrucci´ on fuente. Un compilador traduce desde un lenguaje de alto nivel a otro lenguaje de bajo nivel. Generalmente, un compilador genera varias instrucciones de la m´ aquina por cada comando fuente. Los ensambladores y compiladores son las clases m´ as importantes de traductores de lenguajes de programaci´ on, pero no son las u ´nicas clases. A veces se utilizan los traductores de alto nivel cuya fuente y destino son lenguajes de alto nivel. Un desensamblador traduce un c´odigo m´ aquina en su correspondiente lenguaje ensamblador. Un descompilador traduce un lenguaje de bajo nivel en un lenguaje de alto nivel. Nosotros estamos interesados en la traducci´ on de textos que son programas. Antes de realizar cualquier traducci´ on, un compilador comprueba que el texto fuente sea un programa correcto del lenguaje fuente. (En caso contrario genera un informe con los errores). Estas comprobaciones tienen en cuenta la sintaxis y las restricciones contextuales del lenguaje fuente. Suponiendo que el programa fuente es correcto, el compilador genera un programa objeto que es sem´anticamente equivalente al programa fuente, es decir, que tiene los efectos deseados cuando se ejecuta. La generaci´ on del programa objeto tiene en cuenta tanto la sem´ antica del lenguaje fuente como la sem´ antica del lenguaje destino. Los traductores, y otros procesadores de lenguajes, son programas que manipulan programas. Varios lenguajes se ven implicados: no s´olo el lenguaje fuente y el lenguaje destino, sino tambi´en el lenguaje en el cual el traductor se ha escrito. Este ultimo ´ es el llamado lenguaje de implementaci´ on .
4.2.
Int´ erpretes
Un compilador nos permite preparar un programa para que sea ejecutado en una m´ aquina, traduciendo el programa a c´ odigo m´ aquina. El programa entonces se ejecuta a la velocidad de la m´ aquina. Este m´ etodo de trabajo no est´ a libre de inconvenientes: todo el programa debe ser traducido antes que pueda ejecutarse y producir resultados. En un entorno interactivo, la interpretaci´ on es un m´etodo de trabajo m´ as atractivo. Un int´erprete es un programa que acepta otro programa (el programa fuente ) escrito en un determinado lenguaje (el lenguaje fuente ), y ejecuta el programa inmediatamente. Un int´erprete trabaja cargando, analizando y ejecutando una a una las instrucciones del programa fuente. El programa fuente comienza a ejecutarse y produce resultados desde el momento en que la primera instrucci´ on ha sido analizada. El int´erprete no traduce el programa fuente en un c´ odigo objeto. 24
La interpretaci´ on es un buen m´etodo cuando se dan las siguientes circunstancias: El programador est´ a trabajando en forma interactiva, y quiere ver el resultado de cada instrucci´ on antes de entrar la siguiente instrucci´ on. El programa se va a utilizar s´ olo una vez, y por tanto la velocidad de ejecuci´ o n no es importante. Se espera que cada instrucci´on se ejecute una sola vez. Las instrucciones tiene un formato simple, y por tanto pueden ser analizadas de forma f´acil y eficiente. La interpretaci´ on es muy lenta. La interpretaci´ on de un programa fuente, escrito en un lenguaje de alto nivel, puede ser 100 veces m´as lenta que la ejecuci´ on del programa equivalente escrito en c´odigo m´ aquina. Por tanto la interpretaci´ on no es interesante cuando: El programa se va a ejecutar en modo de producci´on, y por tanto la velocidad es importante. Se espera que las instrucciones se ejecuten frecuentemente. Las instrucciones tienen formatos complicados, y por tanto su an´alisis es costoso en tiempo. Algunos int´erpretes m´ as o menos conocidos son: (a) Un int´erprete Caml: Caml es un lengua je funcional. El int´erprete lee cada cada l´ınea hasta el s´ımbolo ”;;” y la ejecuta produciendo una salida, por lo que el usuario ve el resultado de la misma antes de entrar la siguiente. Existen versiones tanto para Windows como para distintas versiones de Linux. Existen tambi´ en varios compiladores para distintos sistemas operativos. (b) Un int´erprete Lisp: Lisp es un lenguaje en el que existe una estructura de datos (´ arbol) tanto para el c´ odigo como para los datos. (c) El int´ erprete de comandos de Unix (shell ): Una instrucci´ on para el sistema operativo del usuario de Unix se introduce dando el comando de forma textual. El programa shell lee cada comando, lo analiza y extrae un nombre de comando junto con algunos argumentos y ejecuta el comando por medio de un sistema de llamadas. El usuario puede ver el resultado de un comando antes de entrar el siguiente. Los comandos constituyen un lenguaje de comandos, y el shell es un int´erprete para tal lengua je. (d) Un int´erprete SQL: SQL es un lenguaje de preguntas (query language ) a una base de datos. El usuario extrae informaci´ on de la base de datos introduciendo una pregunta SQL, que es analizada y ejecutada inmediatamente. Esto es realizado por el int´erprete SQL que se encuentra dentro del sistema de administraci´ on de la base de datos.
4.3.
Compiladores interpretados
Un compilador puede tardar mucho en traducir un programa fuente a c´odigo m´ aquina, pero una vez hecho esto, el programa puede correr a la velocidad de la m´aquina. Un int´erprete permite que el programa comience a ejecutarse inmediatamente, pero corre muy lento (unas 100 veces m´ as lento que el programa en c´ odigo m´ aquina). Un compilador interpretado es una combinaci´ on de compilador e int´ erprete, reuniendo algunas de las ventajas de cada uno de ellos. La idea principal es traducir el programa fuente en un lenguaje intermedio, dise˜ nado para cumplir los siguiente requisitos: 25
tiene un nivel intermedio entre el lenguaje fuente y el c´ odigo m´ aquina sus instrucciones tienen formato simple, y por tanto pueden ser analizadas f´ acil y r´apidamente. la traducci´ on desde el lenguaje fuente al lenguaje intermedio es f´acil y r´apida. Por tanto un compilador interpretado combina la rapidez de la compilaci´ on con una velocidad tolerable en la ejecuci´ on. El c´ odigo de la M´ aquina Virtual de Java (el JVM-code) es un lenguaje intermedio orientado a Java. Nos provee de potentes instrucciones que corresponden directamente a las operaciones de Java tales como la creaci´ on de ob jetos, llamadas de m´etodos e indexaci´ on de matrices. Por ello la traducci´ on desde Java a JVM-code es f´acil y r´ apida. Adem´ as de ser potente, las instrucciones del JVM-code tienen un formato tan sencillo como las instrucciones del c´ odigo m´ aquina con campos de operaci´ on y campos de operandos, y por tanto son f´ aciles de analizar. Por ello la interpretaci´ on del JVM-code es relativamente r´apida: alrededor de ’s´ olo’ diez veces m´ as lenta que el c´odigo m´ aquina. JDK consiste en un traductor de Java a JVM-code y un int´erprete de JVM-code, los cuales se ejecutan sobre alguna m´aquina M.
4.4.
Contexto de un compilador
En el proceso de construcci´ on de un programa escrito en c´ odigo m´ aquina a partir del programa fuente, suelen intervenir, aparte del compilador, otros programas: Preprocesador : Es un traductor cuyo lenguaje fuente es una forma extendida de alg´ un lenguaje de alto nivel, y cuyo lenguaje objeto es la forma est´ andar del mismo lenguaje. Realiza la tarea de reunir el programa fuente, que a menudo se divide en m´odulos almacenados en archivos diferentes. Tambi´en puede expandir abreviaturas, llamadas macros, a proposiciones del lenguaje fuente. El programa objeto producido por un preprocesador puede , entonces, ser traducido y ejecutado por el procesador usual del lenguaje est´ andar. Ensamblador : Traduce el programa en lenguaje ensamblador, creado por el compilador, a c´ odigo m´ aquina. Cargador y linkador : Un cargador es un traductor cuyo lenguaje objeto es el c´ odigo de la m´ aquina real y cuyo lengua je fuente es casi id´entico. Este consiste usualmente en programas de lenguaje m´ aquina en forma reubicable, junto con tablas de datos que especifican los puntos en d´ onde el c´ odigo reubicable debe modificarse para convertirse en verdaderamente ejecutable. Por otro lado, un linkador es un traductor con los mismos lenguajes fuente y objeto que el cargador. Toma como entrada programas en forma reubicable que se han compilado separadamente, incluyendo subprogramas almacenados en librer´ıas. Los une en una sola unidad de c´odigo m´ aquina lista para ejecutarse. En general, un editor de carga y enlace une el c´ odigo m´ aquina a rutinas de librer´ıa para producir el c´ odigo que realmente se ejecuta en la m´ aquina. En la figura 1.2 aparece resumido el contexto en el que un compilador puede trabajar, aunque es necesario tener en cuenta que no han de cumplirse estos pasos estrictamente. En cualquier caso, depender´ a del lenguaje que se est´e traduciendo y el entorno en el que se trabaje.
4.5.
Fases y estructura de un compilador
Podemos distinguir, en el proceso de compilaci´ on, dos tareas bien diferenciadas: 26
Estrctura del programa fuente
PREPROCESADOR
Programa fuente
COMPILADOR
Programa objeto en lenguaje ensamblador
ENSAMBLADOR
Codigo maquina relocalizable
Biblioteca de archivos objeto relocalizables
EDITOR DE CARGA Y ENLACE
Codigo Maquina absoluto
Figura 1.2: Contexto de un compilador An´ alisis : Se determina la estructura y el significado de un c´odigo fuente. Esta parte del proceso de compilaci´ on divide al programa fuente en sus elementos componentes y crea una representaci´ on intermedia de ´el, llamada arbol ´ sint´ actico. S´ıntesis : Se traduce el c´odigo fuente a un c´ odigo de m´ aquina equivalente, a partir de esa representaci´ on intermedia. Aqu´ı, es necesario usar t´ecnicas mas especializadas que durante el an´ alisis. Conceptualmente, un compilador opera en estas dos etapas, que a su vez pueden dividirse en varias fases. Estas pueden verse en la figura 1.3, d´onde se muestra la descomposici´ on t´ıpica de un compilador. En la pr´ actica, sin embargo, se pueden agrupar algunas de estas fases, y las representaciones intermedias entre ellas pueden no ser construidas expl´ıcitamente. 27
programa fuente
analizador lexico
analizador sintactico
manejo de tabla de simbolos
analizador semantico
manejo de errores
generador codigo intermedio
optimizador de codigo
generador de codigo
programa objeto
Figura 1.3: Fases de un compilador Las tres primeras fases de la figura 1.3 conforman la mayor parte de la tarea de an´ alisis en un compilador, mientras que las tres u ´ltimas pueden considerarse como constituyentes de la parte de s´ıntesis del mismo. Durante el an´ alisis l´exico, la cadena de caracteres que constituye el programa fuente, se lee de izquierda a derecha, y se agrupa en componentes l´exicos, que son secuencias de caracteres con un significado colectivo. En el an´ alisis sint´ actico, los componentes l´exicos se agrupan jer´ arquicamente en colecciones anidadas con un significado com´ un. En la fase de an´ alisis sem´ antico se realizan ciertas revisiones para asegurar que los componentes de un programa se ajustan de un modo significativo. Las tres ultimas ´ fases suelen variar de un compilador a otro. Existen, por ejemplo, compiladores que no generan c´odigo intermedio, o no lo optimizan y pasan directamente del an´ alisis sem´ antico a la generaci´ on de c´odigo. De manera informal, tambi´ en se consideran fases al administrador de la tabla de s´ımbolos y al manejador de errores , que est´an en interacci´ on con todas las dem´ as: Administraci´ on de la tabla de s´ımbolos : Una funci´on esencial de un compilador es registrar los identificadores utilizados en el programa fuente y reunir informaci´ on sobre los distintos atributos de cada identificador. Estos atributos pueden proporcionar informaci´ on sobre la memoria asignada a un identificador, su tipo, su a´mbito (la parte del programa d´ onde 28
tiene validez), y, en el caso de los procedimientos, cosas como el n´ u mero y tipo de sus argumentos, el m´etodo por que que cada argumento es pasado (valor, referencia,...) y el tipo que devuelve, si lo hay. Una tabla de s´ımbolos es una estructura de datos que contiene un registro por cada identificador, con campos para los atributos del identificador. La estructura de datos debe permitir encontrar r´ apidamente datos de ese registro. Cuando el analizador l´exico detecta un identificador en el programa fuente, este identificador se introduce en la tabla de s´ımbolos. Sin embargo, normalmente los atributos de un identificador no se pueden determinar durante el an´ alisis l´exico. Por ejemplo, cuando el analizador l´exico reconoce los componentes l´exicos de la declaraci´ on de PASCAL var x, y, z : real;
no relaciona unos componentes con otros, y, por tanto, no puede establecer el significado de la frase (x, y y z son variables reales). Las fases restantes introducen informaci´ on sobre los identificadores en la tabla de s´ımbolos, y despu´es la utilizan de varias formas. Por ejemplo, cuando se est´ a haciendo el an´ alisis sem´ antico y la generaci´ on de c´odigo intermedio, se necesita conocer los tipos de los identificadores, para poder comprobar si el programa fuente los usa de una forma v´ alida, y, as´ı, poder generar las operaciones apropiadas con ellos. El generador de c´ odigo, por lo general, introduce y utiliza informaci´ on detallada sobre la memoria asignada a los identificadores. Detecci´ on e informaci´ on de errores : Cada fase dentro de proceso de compilaci´ on, puede encontrar errores. Sin embargo, despu´ es de detectar un error, cada fase debe tratar de alguna forma ese error, para poder continuar la compilaci´ on, permitiendo la detecci´ on de nuevos errores en el programa fuente. Un compilador que se detiene cuando encuentra el primer error, no resulta tan u ´ til como debiera. Las fases de an´ alisis sint´ actico y sem´ antico, por lo general, manejan una gran porci´on de errores detectables por el compilador. La fase de an´ alisis l´exico puede detectar errores donde los caracteres restantes de la entrada no forman ning´ un componente l´exico del lengua je. Los errores d´onde la cadena de componentes l´exicos viola las reglas de la estructura del lenguaje (sintaxis) son determinados por la fase de an´ alisis sint´ actico. Durante la fase de an´ alisis sem´ antico, el compilador intenta detectar construcciones que tengan la estructura sint´ actica correcta, pero que no tengan significado para la operaci´on implicada. Por ejemplo, se cometer´ıa un error sem´ antico si se intentaran sumar dos identificadores, uno de los cuales fuera el nombre de una matriz, y el otro el nombre de un procedimiento.
4.5.1.
An´ alisis l´ exico (o lineal)
Es la primera fase de la que consta un compilador. La parte del compilador que realiza el an´ alisis l´exico se llama analizador l´exico (AL), scanner o explorador. La tarea b´asica que realiza el AL es transformar un flujo de caracteres de entrada en una serie de componentes l´exicos o tokens . Se encargar´ıa, por tanto, de reconocer identificadores, palabras clave, constantes, operadores, etc. La secuencia de caracteres que forma el token se denomina lexema . No hay que confundir el concepto de token con el de lexema. A un mismo token le pueden corresponder varios lexemas. Por ejemplo, se pueden reconocer como tokens de tipo ID a todos los identificadores. Aunque para analizar sint´ acticamente una expresi´ on, s´ olo nos har´ a falta el c´ odigo de token, el lexema 29
debe ser recordado, para usarlo en fases posteriores dentro del proceso de compilaci´on. El AL es el u ´ nico componente del compilador que tendr´ a acceso al c´odigo fuente. Por tanto, debe de encargarse de almacenar los lexemas para que puedan ser usados posteriormente. Esto se hace en la tabla de s´ımbolos . Por otro lado, debe enviar al analizador sint´ actico, aparte del c´ odigo de token reconocido, la informaci´ on del lugar d´ onde se encuentra almacenado ese lexema (por ejemplo, mediante un apuntador a la posici´ on que ocupa dentro de la tabla de s´ımbolos). Posteriormente, en otras fases del compilador, se ir´ a completando la informaci´ on sobre cada item de la tabla de s´ımbolos. Por ejemplo, ante la sentencia de entrada coste = precio * 0’98
el AL podr´ıa devolver una secuencia de parejas, como la siguiente: [ID,1] [=,] [ID,2] [*,] [CONS,3]
d´ onde ID, =, * y CONS corresponder´ıan a c´ odigos de tokens y los n´ umeros a la derecha de cada pareja ser´ıa ´ındices de la tabla de s´ımbolos. Si durante la fase de an´alisis l´exico, el AL se encuentra con uno o m´ as lexemas que no corresponden a ning´ un token v´ alido, debe dar un mensaje de error l´exico e intentar recuperarse. Finalmente, puesto que el AL es el ´unico componente del compilador que tiene contacto con el c´ odigo fuente, debe encargarse de eliminar los s´ımbolos no significativos del programa, como espacios en blanco, tabuladores, comentarios, etc. Es conveniente siempre separar esta fase de la siguiente (an´alisis sint´ actico), por razones de eficiencia. Adem´ as, esto permite el uso de representaciones diferentes del programa fuente, sin tener que modificar el compilador completo.
4.5.2.
An´ alisis sint´ actico (o jer´ arquico)
Esta es la segunda fase de la que consta un compilador. La parte del compilador que realiza el an´ alisis sint´ actico se llama analizador sint´ actico o parser. Su funci´on es revisar si los tokens del c´ odigo fuente que le proporciona el analizador l´ exico aparecen en el orden correcto (impuesto por la gram´ atica), y los combina para formar unidades gramaticales , d´ andonos como salida el arbol ´ de derivaci´ on o ´ arbol sint´ actico correspondiente a ese c´odigo fuente. De la forma de construir este a´rbol sint´ actico se desprenden los dos tipos de analizadores sint´ acticos existentes: Cuando se parte del axioma de la gram´ atica y se va descendiendo, utilizando derivaciones m´ as a la izquierda, hasta conseguir la cadena de entrada, se dice que el an´ alisis es descendente Por el contrario, cuando se parte de la cadena de entrada y se va generando el ´arbol hacia arriba mediante reducciones m´ as a la izquierda (derivaciones m´ as a la derecha), hasta conseguir la ra´ız o axioma, se dice que el an´ alisis es ascendente . Si el programa no tiene una estructura sint´actica correcta, el analizador sint´ actico no podr´ a encontrar el a´rbol de derivaci´ on correspondiente y deber´ a dar mensaje de error sint´ actico. La divisi´ on entre an´alisis l´exico y sint´ actico es algo arbitraria. Generalmente se elige una divisi´ on que simplifique la tarea completa del an´alisis. Un factor para determinar c´ omo realizarla es comprobar si una construcci´ on del lenguaje fuente es inherentemente recursiva o no. Las construcciones l´exicas no requieren recursi´on, mientras que las sint´ acticas suelen requerirla. 30
Las gram´ aticas libres de contexto (GLC) formalizan la mayor´ıa de las reglas recursivas que pueden usarse para guiar el an´alisis sint´ actico. Es importante destacar, sin embargo, que la mayor parte de los lenguajes de programaci´ on pertenecen realmente al grupo de lenguajes dependientes del contexto.
4.5.3.
An´ alisis sem´ antico
Para que la definici´ on de un lenguaje de programaci´ on sea completa, aparte de las especificaciones de su sintaxis (estructura o forma en que se escribe un programa), necesitamos tambi´en especificar su sem´antica (significado o definici´ on de lo que realmente hace un programa). La sintaxis de un lenguaje de programaci´ on se suele dividir en componentes libres de contexto y sensibles al contexto. La sintaxis libre de contexto define secuencias legales de s´ımbolos, independientemente de cualquier noci´ on sobre el contexto o circunstancia particular en que aparecen dichos s´ımbolos. Por ejemplo, una sintaxis libre de contexto puede informarnos de que A := B + C es una sentencia legal, mientras que A := B ∗ no lo es. Sin embargo, no todos los aspectos de un lenguaje de programaci´ on pueden ser descritos mediante este tipo de sintaxis. Este es el caso, por ejemplo, de las reglas de alcance para variables, de la compatibilidad de tipos, etc. Estos son componentes sensibles al contexto de la sintaxis que define al lenguaje de programaci´ on. Por ejemplo, A := B + C podr´ıa no ser legal si las variables no est´ an declaradas, o son de tipos incompatibles. Puesto que en la mayor´ıa de los casos, como ya apuntamos en la secci´ on anterior, se utilizan por simplicidad GLC para especificar la sintaxis de los lenguajes de programaci´ on, tenemos que hacer un tratamiento especial con las restricciones sensibles al contexto. Estas pasar´ an a formar parte de la sem´ antica del lenguaje de programaci´ on. La fase de an´alisis sem´ antico revisa el programa fuente para tratar de encontrar errores sem´ anticos , y re´ une la informaci´ on sobre los tipos para la fase posterior de generaci´ on de c´odigo. Para esto se utiliza la estructura jer´ arquica que se construye en la fase de an´alisis sint´ actico, para, por ejemplo, identificar operadores y operandos de expresiones y proposiciones. Adem´ as, accede, completa y actualiza con frecuencia la tabla de s´ımbolos. Una tarea importante a realizar en esta fase es la verificaci´ on de tipos . Aqu´ı, el compilador comprueba si cada operador tiene operandos permitidos por la especificaci´on del lenguaje fuente. Muy frecuentemente, esta especificaci´ on puede permitir ciertas conversiones de tipos en los operandos, por ejemplo, cuando un operador aritm´etico binario se aplica a un n´ umero entero y a otro real. En este caso, el compilador puede requerir la conversi´ on del n´ umero entero a real, por ejemplo. Resumiendo, algunas de las comprobaciones que puede realizar, son: Chequeo y conversi´on de tipos. Comprobaci´ o n de que el tipo y n´ umero de par´ametros en la declaraci´ on de funciones coincide con los de las llamadas a esa funci´ on. Comprobaci´ on del rango para ´ındices de arrays. Comprobaci´ on de la declaraci´ on de variables. Comprobaci´ on de las reglas de alcance de variables.
4.5.4. Generaci´ on de c´ odigo La generaci´ on de c´odigo constituye la u´ltima fase dentro del proceso de compilaci´ on. Despu´es de examinar el c´ odigo fuente y comprobar que es correcto desde el punto de vista l´exico, sint´ actico 31
y sem´antico, se debe llevar a cabo la traducci´ on del programa fuente al programa objeto. Este consiste, normalmente, en un programa equivalente escrito en un lenguaje m´ aquina o ensamblador. Por equivalente queremos decir que tiene el mismo significado, es decir, que produce los mismos resultados que nuestro programa fuente original. El a´rbol de derivaci´ on obtenido como resultado del an´ alisis sint´ actico, junto con la informaci´ on contenida en la tabla de s´ımbolos, se usa para la construcci´ on del c´odigo ob jeto. Existen varios m´ etodos para conseguir esto. Uno de ellos, que es particularmente efectivo y elegante, es el que se conoce como traducci´ on dirigida por la sintaxis . Esta consiste b´ asicamente en asociar a cada nodo del a´rbol de derivaci´ on una cadena de c´ odigo objeto. El c´ odigo correspondiente a un nodo se construye a partir del c´odigo de sus descendientes y del c´odigo que representa acciones propias de ese nodo. Por tanto, se puede decir que este m´etodo es ascendente, pues parte de las hojas del ´arbol de derivaci´ on y va generando c´odigo hacia arriba, hasta que llegamos a la ra´ız del a´rbol. Esta representa el s´ımbolo inicial de la gram´ atica y su c´ odigo asociado ser´ a el programa objeto deseado. A veces, el proceso de generaci´on de c´ odigo se puede dividir en las siguientes fases: Generaci´ o n de c´ odigo intermedio Algunos compiladores generan una representaci´ on intermedia expl´ıcita del programa fuente tras la etapa de an´ alisis. Esta representaci´ on intermedia se puede considerar como un programa para una m´ aquina abstracta, y debe cumplir dos propiedades:
• Debe ser f´acil de producir. • Debe ser f´acil de traducir a c´odigo objeto. En general, las representaciones intermedias deben hacer algo m´ as que calcular expresiones; tambi´en deben manejar construcciones de flujo de control y llamadas a procedimientos. El c´ odigo generado a partir del intermedio suele ser, por lo general, menos eficiente que el c´odigo m´ aquina generado directamente, debido al nivel de traducci´ on adicional. Optimizaci´ o n del c´ odigo La fase de optimizaci´ on de c´odigo trata de mejorar el c´ odigo intermedio, de modo que finalmente se obtenga un c´odigo m´ aquina m´ as eficiente en tiempo de ejecuci´on. Hay mucha variaci´on en la cantidad de optimizaci´ on de c´odigo que ejecutan los distintos compiladores. En los que realizan muchas operaciones de optimizaci´ on, denominados compiladores optimizadores , una parte significativa del tiempo del compilador se ocupa en esta tarea. Sin embargo, hay optimizaciones sencillas que mejoran sensiblemente el tiempo de ejecuci´ on del programa objeto, sin necesidad de retardar demasiado la compilaci´ on. A veces, a causa del tiempo requerido en esta fase, hay compiladores que no la llevan a cabo y pasan directamente a la generaci´ on de c´ odigo objeto. De hecho, en muchos casos, tambi´ en se suele suprimir la fase de generaci´ o n de c´ odigo intermedio, aunque ´esta tiene otras utilidades. Suele ser usual que el compilador ofrezca al usuario la posibilidad de desactivar la opci´ on de optimizaci´ on del generador de c´odigo durante la fase de desarrollo o depuraci´ on de programas. La generaci´ o n de c´ odigo o´ptimo es un problema NP-completo, y, por tanto, incluso los compiladores optimizadores no tienen por qu´e producir c´ odigo o´ptimo. Es decir, no debemos malinterpretar el t´ermino optimizaci´ on, pues al tratarse de un problema NP-completo, s´ olo supone, en general, la obtenci´ on de c´odigo mejorado, pero esto no significa que sea el mejor c´odigo posible. Generaci´ o n de c´ odigo objeto 32
La fase final del compilador es la generaci´ on de c´odigo objeto, que, por lo general, consiste en c´odigo de m´ aquina reubicable o c´odigo ensamblador. Para cada una de las variables usadas por el programa se seleccionan posiciones de memoria. Despu´es, cada una de las instrucciones intermedias se traduce a una secuencia de instrucciones m´ aquina que ejecutar´ an la misma tarea. Una aspecto muy importante a tener en cuenta es la asignaci´ on de variables a registros. Si durante el proceso de compilaci´ on se ha generado c´ odigo intermedio, y se ha pasado por la fase de optimizaci´ on, s´ olo quedar´ıa general el c´ odigo objeto correspondiente al c´ odigo intermedio optimizado. En otro caso, podr´ıa generarse directamente c´ odigo objeto despu´es del an´ alisis sem´ antico. Incluso puede realizarse al mismo tiempo que el an´ alisis sint´ actico y sem´antico (compiladores de una pasada ). En cualquier caso, existen varias posibilidades en cuanto al formato que puede tener el c´odigo objeto:
• Generar directamente c´odigo m´ aquina, que estar´ıa, por tanto, listo para ejecutarse en la m´ aquina correspondiente. En este caso, debe resolverse, entre otras cuestiones, la de reservar memoria para los identificadores que aparezcan en el programa. Esto hace necesario construir un mapa de direcciones que asocie a cada identificador su correspondiente direcci´ on en memoria. aquina destino. Posteriormente, • Generar c´odigo en lenguaje ensamblador de la m´ habr´ıa que traducirlo, mediante un ensamblador, a c´ odigo objeto reubicable. Este, haciendo uso del cargador-linkador, se transformar´ıa en c´ odigo ejecutable. Esta forma de generar c´odigo es m´ as sencilla, y permite poder compilar por separado distintos programas que pueden interactuar entre s´ı, usando librer´ıas de rutinas, etc. De hecho, esta t´ecnica es muy com´ un en compiladores que trabajan bajo entorno UNIX, aunque en otros casos se evita, por hacer m´ as ineficiente el proceso de compilaci´ on. En cualquier caso, la generaci´ on de c´ odigo es una tarea complicada, que requiere profundos conocimientos del hardware de la m´ aquina destino, con objeto de aprovechar al m´ aximo los recursos de la misma para que el programa ejecutable resulte lo m´ as eficiente posible.
4.5.5.
Un ejemplo sencillo
En la figura 1.4 se esquematiza un ejemplo de traducci´ on de la proposici´ on: posicion := inicial + velocidad * 60
siguiendo cada una de las fases del proceso de compilaci´on, desde el an´ alisis l´exico hasta la generaci´ o n de c´ odigo en lenguaje ensamblador. Se supone que las constantes no se almacenan en la tabla de s´ımbolos. Por otro lado, se realiza una conversi´ on de tipos (la constante entera 60 se convierte a real), dentro del an´ alisis sem´ antico. Asimismo, se genera c´ odigo intermedio de tres direcciones, que es optimizado antes de generar el c´odigo en lenguaje ensamblador.
33
posicion := inicial + velocidad * 60 analizador de lexico id1 := Id2 + id3 * 60
analizador sintactico := id1
+ id2
* id3
60
analizador semantico :=
Tabla de Simbolos posicion
. .
inicial
. .
velocidad
. .
id1
+ id2
* id3
inttoreal 60
generador codigo intermedio temp1 := inttoreal(60) temp2 := id3 * temp1 temp3 := id2 + temp2 id1 := temp3
optimizador de codigo temp1 := id3 * 60.0 id1 := id2 + temp1
generador de codigo MOVF MULF MOVF ADDF MOVF
id3, R2 #60,0, R2 id2, R1 R2, R1 R1 id1
Figura 1.4: Traducci´ on de una sentencia
EJERCICIOS RESUELTOS 1.
Sea L = { λ, a}. Obtener Ln para n = 0, 1, 2, 3. ¿Cuantos elementos tiene Ln , en general? Describir por comprensi´on L+ . L0 = {λ} L2 = L · L 1 = {λ, a} · {λ, a} = { λ,a,aa} 34
L1 = L · L 0 = { λ, a} · {λ} = { λ, a} L3 = L · L 2 = { λ, a} · {λ,a,aa} = { λ,a,aa,aaa}
Para todo n ≥ 0 se tiene que |Ln | = n + 1. Podemos definir la clausura positiva de L como: ∞
+
L =
Ln = { am | m ≥ 0 }
n=1
2. Sean los lenguajes A = { a} y B = { b}. Describir (AB)∗ y (AB)+ . (AB)∗ = { (ab)n | n ≥ 0 } = {λ,ab,abab,ababab,...} (AB)+ = {(ab)n | n > 0 } = { ab,abab,ababab,...} 3. Demostrar que la concatenaci´ on de lenguajes no es distributiva respecto de la intersecci´ on. No se cumple que para tres lenguajes cualesquiera A · (B ∩ C ) = (A · B) ∩ (A · C ). Lo vamos a demostrar con un contraejemplo. Sean los lenguajes A = {a, λ}, B = {λ}, C = {a}. Tenemos que: A · (B ∩ C ) = { a, λ} · ({λ} ∩ {a}) = ∅ (A · B) ∩ (A · C ) = { a, λ} ∩ {aa,a} = {a} Como vemos, se obtienen resultados diferentes. Luego la concatenaci´ on no es distributiva respecto de la intersecci´on. 4. Dadas dos cadenas x e y sobre V , demostrar que | xy | = | x| + |y | (*). Primero definimos por inducci´ on la longitud de una cadena, de forma que: 1) | λ| = 0, | a| = 1, ∀ a ∈ V 2) | wa| = | w| + 1 Ahora demostramos (*) por inducci´ on. Para el caso base cuando y tienen longitud cero o uno, se cumple (*) por la definici´on inductiva. Por hip´ otesis de inducci´ on suponemos que (*) se cumple para toda palabra x de cualquier longitud y para toda palabra y de longitud 0 ≤ |y| ≤ n. Ahora consideramos una palabra cualquiera y de longitud n + 1. Entonces y tendr´a al menos un s´ımbolo, de forma que y = wa y por la definici´on inductiva tenemos que |y| = | w| + 1. Tambi´en por definici´ on se tiene que | xy| = | xwa| = | xw| + 1. Pero |xw| = |x| + | w| puesto que se cumple la hip´ otesis de inducci´ on para w por tener longitud n. En definitiva tenemos que:
|xy | = | xwa| = | xw| + 1 = |x| + |w| + 1 = |x| + |y|, c.q.d.
5. Sea el alfabeto V = { 0, 1} y los lenguajes: L1 = {w ∈ {0, 1}∗ | ceros(w) es par} L2 = {w ∈ {0, 1}∗ | w = 01n , n ≥ 0 } Demostrar que la concatenaci´ on L1 L2 es el lenguaje: L = { w ∈ {0, 1}∗ | ceros(w) es impar} Tenemos que demostrar que L 1 · L2 ⊆ L y que L ⊆ L1 · L2 L1 · L2 ⊆ L Se cumple ya que la concatenaci´ on de una palabra de L1 con otra de L2 nos da una palabra con un n´ umero impar de 0’s. En efecto, una palabra de L1 tiene un n´umero par de ceros y una palabra de L2 s´olo tiene un cero al principio y va seguida de 35
cualquier n´ umero de unos. Por tanto al concatenar las dos palabras, la palabra resultante tendr´ a un n´ umero impar de ceros. L ⊆ L 1 · L2 Se cumple que cada palabra w con un n´ umero impar de 0’s puede obtenerse como concatenaci´ on de una palabra de L1 seguida de una palabra de L2 . Haremos una demostraci´ on por casos revisando todas las posibles formas de la palabra: que termine en 0 o que termine en 1. a ) Supongamos que w = x0. Entonces x debe tener un n´umero par de ceros, por tanto: w = x · 0
∈L1
∈L2
b) Supongamos que w = x1. Nos fijamos en el u ´ltimo cero de x (tiene que haberlo a la fuerza) y partimos la cadena x de forma x = z1 · z2 donde z1 llega hasta el u´ltimo cero de x (no incluido) y por tanto z2 empezar´ a con un cero e ir´a seguida de cero o m´ as unos. Por tanto: w = x · 1 = z1 · z2 · 1
∈L1
6.
∈L2
Sea G una g.l.c. con V N = { S } , V T = {a, b} , P = {S → aSb | λ }. Demostrar formalmente que L(G) es el lenguaje L definido como: L = {an bn | n ≥ 0 } Para probar que L(G) es realmente el lenguaje que se indica, tenemos que probar dos cosas: L ⊆ L(G) Hay que demostrar que ∀ n ≥ 0 la cadena w = an bn ∈ L(G) y lo vamos a hacer por inducci´ on sobre n. Base: (n = 0), la cadena a0 b0 = λ ∈ L(G), ya que S ⇒ λ on: suponemos que an bn ∈ L(G) y vamos a demostrar (aplicando la regla S → λ). Inducci´ que a n+1 bn+1 ∈ L(G). En efecto, tenemos que (1) S ⇒ aSb (aplicando la regla S → aSb) ∗ y (2) S ⇒ a n bn por hip´ otesis. Luego de (1) y (2) se deduce que ∗
∗
S ⇒ aSb ⇒ aan bn b ∗
Y por la propiedad transitiva de la relaci´ on de derivaci´ on se tiene que S ⇒ a n+1 bn+1 . Es decir a n+1 bn+1 ∈ L(G), c.q.d. L(G) ⊆ L Todas las formas sentenciales que no son sentencias, son de la forma an Sb n , por aplicaci´ o n de la regla S → aSb n veces. Y la u ´ nica forma de llegar a obtener una sentencia es aplicando en el u ´ltimo paso de derivaci´ on, la regla S → λ a la forma sentencial n n n n a Sb , obteni´endose as´ı la sentencia a b . Luego todas las sentencias siguen el patr´ on n n a b , ∀ n ≥ 0, y esto significa que L(G) ⊆ L, c.q.d. 7. Sea el lenguaje L = { an bn cn | n ≥ 0 }. Encontrar una gram´ atica que genere L y decir de qu´e tipo es. Este lenguaje no es libre del contexto y se demostrar´ a en el cap´ıtulo 8. Una gram´ atica que genere este lenguaje puede ser la gram´atica G siguiente: S → abDSc | λ bDa → abD bDb → bbD bDc → bc 36
L ⊆ L(G) Vamos a ver que para cualquier n ≥ 0, la palabra an bn cn es derivable de S . Para n = 0 est´ a claro pues S ⇒ λ. Para n > 0, aplicando n veces la regla S → ∗ abDSc tenemos que S ⇒ (abD)n Sc n y aplicando ahora la regla S → λ se obtiene la forma sentencial (abD)n cn , que tiene n a’s, n b’s y n c’s, pero est´an “descolocadas”. Para conseguir generar la sentencia a n bn cn tenemos que aplicar el resto de reglas empezando a sustituir por la D m´ as a la derecha. Por ejemplo, para n = 2 tendr´ıamos: ∗
S ⇒ abDabDcc ⇒ abDabcc ⇒ aabDbcc ⇒ aabbDcc ⇒ aabbcc Siguiendo este proceso se puede generar cualquier palabra del tipo a n bn cn . L(G) ⊆ L Como hemos visto, la unica ´ forma de a˜ nadir terminales a una forma sentencial es aplicando la regla S → abDSc repetidas veces. El resto de reglas hacen desaparecer una variable de la forma sentencial (como es el caso de S → λ o la regla bDc → bc), o bien, cambian los terminales de posici´ on en la forma sentencial. Una vez que se aplica la regla S → λ a una forma sentencial, dicha forma sentencial tendr´ a n a’s, n b’s y n c’s y las u ´ nicas sentencias que se pueden generar, si aplicamos una secuencia correcta de reglas de producci´on en las que intervenga la variable D, son palabras que siguen el patr´on a n bn cn . La gram´ atica G de este ejemplo es una gram´ atica con estructura de frase (tipo 0). G no es sensible al contexto aunque L(G) s´ı es sensible al contexto. Esto quiere decir que debe existir una gram´ atica G ′ equivalente a G que es sensible al contexto.
EJERCICIOS PROPUESTOS Se proponen los siguientes ejercicios para resolver en pizarra. 1. Encontrar una gram´ atica libre del contexto y otra equivalente regular para cada uno de los dos lenguajes siguientes: L1 = {abn a | n ≥ 0 }
L2 = { 0n 1 | n ≥ 0 }
2. Los lenguajes L3 y L4 siguientes son libres del contexto. Encontrar gram´ aticas que los generen. L3 = { 0m 1n | m ≥ n ≥ 0 } L4 = { 0k 1m 2n | n = k + m} 3. Dado el lenguaje L5 = {z ∈ {a, b}∗ | z = ww }. Describir una gram´atica (no puede ser libre del contexto) que lo genere y justificar la respuesta. 4. Clasificar las siguientes gram´ aticas (dadas por sus reglas de producci´on) y los lenguajes generados por ellas, haciendo una descripci´ on por comprensi´ on de los mismos. a ) {S → λ | A, A → AA | c } b) {S → λ | A, A → Ad | cA | c | d } c ) {S → c | ScS } d ) {S → AcA, A → 0, Ac → AAcA | ABc | AcB, B → A | AB } 5. Dada la gram´ atica cuyas producciones son: S → 0B | 1A A → 0 | 0S | 1AA B → 1 | 1S | 0BB Demostrar que L(G) = { w ∈ {0, 1}∗ | ceros(w) = unos(w) ∧ |w| > 0 }. 37
6. Probar que si L = { w ∈ {0, 1}∗ | ceros(w) = unos(w)} entonces se cumple que L∗ = {0, 1}∗ 7. Dada la siguiente definici´ on inductiva del lenguaje L sobre el alfabeto { a, b}: 1) λ ∈ L 2) Si w ∈ L entonces a w b ∈ L y b w a ∈ L 3) Si x, y ∈ L entonces x y ∈ L Describir el lenguaje L por comprensi´ on y comprobar que el lenguaje descrito se ajusta a la definici´ on inductiva.
CUESTIONES BREVES 1. ¿Se cumple la propiedad distributiva de la concatenaci´ on respecto de la diferencia de lenguajes? 2. Dada la gram´ atica cuyas producciones son S → λ | aSa | bSb, ¿genera la gram´ atica el lenguaje de los pal´ındromos sobre el alfabeto { a, b} ? 3. Si una gram´ atica G no tiene ninguna producci´ on de la forma A → a, ¿podemos afirmar que G no es regular? 4. Dados dos lenguajes A, B sobre cierto alfabeto V , ¿es cierto que (A · B)R = B R · AR ? 5. Dar una definici´ on inductiva de w R .
´ NOTAS BIBLIOGRAFICAS La parte de alfabetos y lenguajes puede consultarse en el libro de [Kel95] (cap´ıtulo 1). La parte de gram´aticas formales puede consultarse en [Alf97] (cap´ıtulo 3), aunque utiliza una notaci´ on ligeramente diferente a la nuestra. Otro libro que sigue nuestra notaci´ on es el [Lin97] (cap´ıtulo 1). En este cap´ıtulo hemos seguido la clasificaci´ on original de Chomsky de gram´ aticas y lenguajes. En otros libros se da una definici´ on diferente (aunque equivalente) de las gram´ aticas regulares y sensibles al contexto.
38
CAP´ITULO 2: EXPRESIONES REGULARES
Contenidos Te´oricos 1. Definici´ on de expresi´on regular (ER) 2. Lenguaje descrito por una expresi´ on regular 3. Propiedades de las expresiones regulares 4. Derivada de una expresi´ on regular 5. Ecuaciones de expresiones regulares 6. Expresiones regulares y gram´ aticas regulares
1.
Definici´ on de expresi´ on regular
Dado un alfabeto V , los s´ımbolos ∅, λ y los operadores + (uni´on), · (concatenaci´ o n) y ∗ ´ n regular (ER) sobre el alfabeto V (clausura), definimos (de forma recursiva) una expresio como: 1.
el s´ımbolo ∅ es una expresi´on regular
2.
el s´ımbolo λ es una E R
3.
cualquier s´ımbolo a ∈ V es una ER
4.
si α y β son ER entonces tambi´en lo es α + β
5.
si α y β son ER entonces tambi´en lo es α · β
6.
si α es una E R entonces tambi´en lo es α∗
El orden de prioridad de los operadores es, de mayor a menor: ∗ , ·, +. Este orden puede alterarse mediante par´entesis, de forma an´ aloga a como se hace con las expresiones aritm´eticas. Nota
Ejemplo 2.1 aa + b∗ a es una e.r sobre el alfabeto { a, b} (por simplicidad omitimos el operador ·) y esta ER es distinta a la ER (aa + b∗ ) a. Por otra parte, la cadena (+b∗ a) no es una ER sobre {a, b}.
2.
Lenguaje descrito por una expresi´ on regular
Cada expresi´ on regular α sobre un alfabeto V describe o representa un lenguaje L(α) ⊆ V ∗ . Este lenguaje se define de forma recursiva como: 39
1.
si α =
∅ entonces
L(α) = ∅
2.
si α = λ entonces L(α) = { λ}
3.
si α = a y a ∈ V entonces L(α) = { a}
4.
si α y β son E R entonces L(α + β ) = L(α) ∪ L(β )
5.
si α y β son E R entonces L(α · β ) = L(α) · L(β )
6.
si α ∗ es una E R entonces L(α∗ ) = (L(α))∗
Ejemplo 2.2 Dado V = {0, 1} y la ER α = 0∗ 10∗ , tenemos que: L(0∗ 10∗ ) = L(0∗ ) · L(1) · L(0∗ ) = (L(0))∗ · L(1) · (L(0))∗ = { 0}∗ · {1} · {0}∗ = { 0n 10m | n, m ≥ 0 }
3.
Propiedades de las expresiones regulares
Decimos que dos expresiones regulares α y β son equivalentes , y lo notamos como α = β , si describen el mismo lenguaje, es decir, si L(α) = L(β ). A continuaci´ on enumeramos una serie de propiedades que cumplen las expresiones regulares, derivadas de las propiedades de las operaciones con lenguajes: 1. 2. 3. 4. 5. 6. 7. 8.
α + (β + γ ) = (α + β ) + γ α + β = β + α α + ∅ = α α + α = α α · λ = α α·∅= ∅ α · (β · γ ) = (α · β ) · γ α · (β + γ ) = αβ + αγ, (β + γ ) · α = βα + γα
9. 10. 11. 12. 13. 14. 15. 16.
λ∗ = λ ∗ ∅ = λ α · α∗ = α ∗ · α α∗ = α ∗ · α∗ = (α∗ )∗ α∗ = λ + α · α∗ (α + β )∗ = (α∗ + β ∗ )∗ (α + β )∗ = (α∗ · β ∗ )∗ = (α∗ · β )∗ · α∗ α · (β · α)∗ = (α · β )∗ · α
Si tenemos dos expresiones regulares tales que L (β ) ⊆ L (α) entonces se cumple que α + β = α. Nota
Estas propiedades muestran ciertas equivalencias que se cumple entre expresiones regulares. Por tanto, la demostraci´ on de cada propiedad se har´ıa demostrando que se cumple la igualdad de los lenguajes descritos por las expresiones regulares equivalentes. Ejemplo 2.3 Para demostrar la propiedad ∅∗ = λ basta probar que L (∅∗ ) = L (λ). En efecto, teniendo en cuenta la definici´ on de lenguaje descrito por una ER tenemos que: ∞
L (∅∗ )
∗
= (L (∅)) =
n
∅
= ∅0 = { λ} = L (λ) ,
c.q.d.
n=0
Las propiedades de las expresiones regulares son u ´tiles porque en algunos casos nos permiten simplificar una E R (ver ejercicio 2 en la secci´ on de aplicaciones). 40
4.
Derivada de una expresi´ on regular
Sea α una ER sobre cierto alfabeto V y sea a ∈ V . La derivada de α respecto del s´ımbolo a , y lo notamos como D a (α), es una expresi´on regular que describe el siguiente lenguaje: L (Da (α)) = { w ∈ V ∗ | a · w ∈ L (α)} En realidad, lo que estamos haciendo al derivar α respecto de un s´ımbolo a, es describir el lenguaje que resulta de eliminar el prefijo a de todas las palabras de L (α). Teniendo esto en cuenta, para calcular la derivada de una expresi´ on regular aplicamos de forma recursiva las siguientes reglas de derivaci´ on : 1. Da (∅) = ∅ 2. Da (λ) = ∅ 3. Da (a) = λ,
Da (b) = ∅, ∀ b ∈ V b = a
4. Da (α + β ) = D a (α) + Da (β ) 5. Da (α · β ) = D a (α) · β + δ (α) · Da (β )
donde δ (α) =
si λ ∈ / L (α) λ si λ ∈ L (α)
∅
6. Da (α∗ ) = D a (α) · α∗ Ejemplo 2.4 Sea la expresi´ on regular α = a∗ ab. Vamos a derivar α respecto de a y de b: Da (α) = D a (a∗ )·ab+δ (a∗ ) ·Da (ab) = D a (a) a∗ ab+λ (Da (a) b + δ (a) Da (b)) = a ∗ ab+b = (a∗ a + λ) b = a∗ b
(13)
Db (α) = D b (a) a∗ ab + λ (Db (a) b + δ (a) Db (b)) = ∅
Tambi´en podemos derivar una expresi´ on regular α respecto de una cadena x de s´ımbolos del alfabeto, teniendo en cuenta que: Nota
L (Dx (α)) = { w ∈ V ∗ | x · w ∈ L (α)}
5.
Ecuaciones de expresiones regulares
´ n de expresiones regulares (en forma est´ Definici´ on 2.1 Llamamos ecuacio andar) con inc´ ognitas o variables x1 , x2 , . . . , xn a una ecuaci´ on del tipo:
xi = α i0 + αi1 x1 + . . . + αin xn donde cada coeficiente α ij es una expresi´on regular. Puede ser que alguno de los coeficientes sea αij = ∅, en cuyo caso el t´ermino para la incognita x j no aparece en la ecuaci´ on y αi0 es el t´ermino independiente. Una soluci´ on para xi es una expresi´ on regular. Definici´ on 2.2 A una ecuaci´on de la forma x = αx + β donde α y β son expresiones regu´ n fundamental de expresiones regulares. lares, la llamaremos ecuacio
41
Lema 2.1 (de Arden) Se puede probar que x = α ∗ β es una soluci´ onpara la ecuaci´ on fundamental y esta soluci´ on es u ´ nica si λ ∈ / L (α). En otro caso la ecuaci´on tiene infinitas soluciones de la forma x = α ∗ (β + γ ) donde γ es cualquier E R
Aunque la ecuaci´ on fundamental tenga infinitas soluciones, se tiene que α∗ β es la menor soluci´ on o menor punto fijo de la ecuaci´on. Esto quiere decir que no existe otra expresi´ on regular r que sea soluci´on y cumpla que L (r) sea subconjunto ∗ propio de L (α β ). Nota
En la figura 2.1 mostramos un algoritmo resuelve sistemas de ecuaciones de expresiones regulares. El algoritmo toma como entrada n ecuaciones de E R con n inc´ ognitas x1 , x2 , . . . , xn y proporciona como salida una soluci´ on para cada variable. El m´etodo es similar al de eliminaci´ on gaussiana: primero diagonalizamos el sistema para dejarlo triangular inferior, de forma que la primera ecuaci´ on sea fundamental y luego se realiza una sustituci´ on progresiva de las soluciones obtenidas para la primera variable en adelante. Entrada: n ecuaciones de ER con n inc´ ognitas x1 , x2 , . . . , xn Salida: una soluci´ on para cada incognita xi 1. i ← n; {comenzamos a tratar la u ´ltima ecuaci´ on} 2.
while i ≥ 2
{bucle de diagonalizaci´ on} {R es la suma del resto de t´erminos}
3.
expresar ecuaci´ on para x i como xi = αx i + R
4.
obtener x i ← α ∗ R;
5.
desde j = i − 1 hasta 1 sustituir en ecuaci´ on para x j la variable x i por α ∗ R;
6.
i ← i − 1;
7. end-while 8. i ← 1; 9.
{comenzamos a tratar la primera ecuaci´ on}
while i ≤ n
{bucle de sustituci´ on progresiva}
10.
obtener soluci´ on xi ← α ∗ β ;
11.
desde j = i + 1 hasta n sustituir en ecuaci´ on para x j la variable x i por α ∗ β ;
12.
i ← i + 1;
13.
{la ecuaci´ on para x i ya es fundamental}
end-while Figura 2.1: Algoritmo de resoluci´ on de sistemas de ecuaciones de ER
Ejemplo 2.5 Vamos a resolver el sistema de ecuaciones de expresiones regulares sobre el alfabeto {0, 1}: x1 = λ + 1x1 + 0x2 x2 = 1x2 + 0x3 x3 = 0x1 + 1x3 Tenemos un sistema de 3 ecuaciones con 3 inc´ ognitas. Las ecuaciones no contienen todos los t´ erminos, por ejemplo, a la ecuaci´ on para x 2 le falta el t´ermino independiente y el t´ermino para x1 . Seg´ un el algoritmo primero tenemos que diagonalizar el sistema: x1 = λ + 1x1 + 0x2 x2 = 0 · 1∗ 0x1 + 1x2 x3 = 1∗ · 0x1
x1 = λ + (1 + 0 · 1∗ 01∗ 0) x1 x2 = 1∗ · 01∗ 0x1 x3 = 1∗ 0x1 42
Ahora obtenemos soluciones y sustituimos variables por soluciones: x1 = (1 + 01∗ 01∗ 0)∗ x2 = 1∗ 01∗ 0 (1 + 01∗ 01∗ 0)∗ x3 = 1∗ 0 (1 + 01∗ 01∗ 0)∗
6.
Expresiones regulares y gram´ aticas regulares
En esta secci´ on vamos a probar que el lenguaje descrito por una expresi´ on regular es un lenguaje que puede ser generado por una gram´atica regular, esto es, es un lenguaje regular. Y por otra parte, todo lenguaje regular veremos que puede ser descrito por una expresi´on regular. Para ello veremos dos m´etodos: ER −→ GR para pasar de una expresi´on regular a una gram´ atica regular GR −→ ER para obtener una expresi´on regular a partir de una gram´ atica regular
6.1.
C´ alculo de la gram´ atica a partir de la expresi´ on regular ER −→ GR
Dada una expresi´on regular α sobre cierto alfabeto V = {a1 , . . . , ak }, vamos a aplicar el m´etodo de las derivadas para obtener una gram´ atica regular G tal que L (α) = L(G): 1. S es el s´ımbolo inicial de G que asociaremos a la expresi´on regular α 2. Inicialmente V N = {S } , V T = V, P = ∅ 3. Obtenemos las reglas de producci´ on para S de la siguiente forma: a )
Si λ ∈ L(α) entonces a˜ nadimos a P la regla S → λ
b)
Desde i = 1 hasta k 1) calculamos D ai (S ) y si λ ∈ L (Dai (S )) entonces a˜ nadimos a P la regla S → ai 2) si Dai (S ) = λ, ∅ entonces a˜ nadimos la regla S → a i Ai donde Ai es la variable que asociamos a D ai (S ) y la a˜ nadimos a V N (si es nueva)
4. Obtenemos reglas para el resto de variables de la gram´ atica por derivadas sucesivas hasta que no podamos a˜ nadir variables nuevas a la gram´ atica: a )
Para cada variable B asociada a una ER no derivada y desde i = 1 hasta k 1) calculamos D ai (B) y si λ ∈ L (Dai (B)) entonces a˜ nadimos a P la regla B → a i 2) si D ai (B) = λ, ∅ entonces a˜ nadimos la regla B → a i C i donde C i es la variable que asociamos a D ai (B) y la a˜ nadimos a V N (si es nueva)
Ejemplo 2.6 Sea la expresi´ on regular α = aa ∗ bb∗ + ab sobre el alfabeto V = { a, b} . Vamos a calcular la gram´ atica correspondiente por el m´ etodo de las derivadas: 1.
Da (S ) = a ∗ bb∗ + b = A
2.
Db (S ) = ∅
3.
Da (A) = D a (a∗ bb∗ +b) = D a (a∗ ) · bb∗ +δ (a∗ ) · Da (bb∗ )+ ∅ = a∗ bb∗ = A, ya que a ∗ bb∗ +b = a∗ bb∗ , puesto que L(b) ⊆ L (a∗ bb∗ ) 43
4.
Db (A) = D b (a∗ ) · bb∗ + δ (a∗ ) · Db (bb∗ ) + λ = b∗ + λ = b ∗ = B
5.
Da (B) = D a (b∗ ) = ∅
6.
Db (B) = b ∗ = B, y ya no hay variables nuevas para derivar La gram´ atica que se obtiene es la siguiente: S → aA A → aA | bB | b B → bB | b
6.2.
C´ alculo de la ER a partir de la gram´ atica GR −→ ER
Supongamos que tenemos una gram´ atica G = (V N , V T , A1 , P ) lineal derecha (si fuera lineal izquierda se puede obtener otra lineal derecha equivalente, aunque no vamos a ver el m´etodo), eto do de resoluci´ on de ecuaciones para obtener una expresi´on regular vamos a aplicar el m´ α tal que L (G) = L(α): 1. Supongamos que V N = { A1 , A2 , . . . An } . Obtenemos un sistema de n ecuaciones de ER, una para cada variable de la gram´ atica, teniendo en cuenta las reglas de producci´ on para esa variable. La ecuaci´ on para la variable Ai ser´a de la forma: Ai = α i0 + αi1 A1 + αi2 A2 + . . . + αin An y los coeficientes se obtienen: a ) t´ermino independiente: Si Ai → a1 | . . . | ak | λ, donde cada a j ∈ V T , entonces el t´ermino independiente ser´ a la suma de los terminales y λ, esto es, αi0 = (a1 + . . . + ak + λ) . Si Ai no deriva en ning´ un s´ımbolo terminal ni en λ entonces αi0 = ∅ b) coeficiente para variable A j : Si A i → b 1 A j | . . . | bm A j , donde cada b j ∈ V T , entonces αij ser´a la suma de los terminales que acompa˜ nan a A j , esto es, αij = (b1 + . . . + bm ). Si no tenemos ninguna producci´ on para Ai donde A j aparezca en la parte derecha entonces αij = ∅ 2. Resolvemos el sistema de ecuaciones obtenido en el paso anterior y la soluci´ on para A1 (s´ımbolo inicial) ser´ a la expresi´ on regular α tal que L (G) = L(α). En general, la expresi´on regular soluci´ on a una variable A i describe el conjunto de palabras que pueden generarse a partir de la variable A i . Ejemplo 2.7 Encontrar la expresi´ on regular correspondiente a la siguiente gram´ atica: S → aA | λ A → aA | aC | bB | aB B → bB | bA | b C → aC | bC Vamos a obtener el sistema de ecuaciones para la gram´ atica y resolvemos (en realidad no es necesario resolverlo completo, s´ olo la primera ecuaci´ on): S = aA + λ A = aA + aC + (b + a) B B = bB + bA + b C = (a + b) C
S = aA + λ A = aA + (b + a) B B = bB + bA + b C = (a + b)∗ · ∅ = ∅ 44
S = aA + λ A = aA + (b + a) b∗ bA + (b + a) b∗ b B = b∗ (bA + b)
S = a · (a + (b + a) b∗ b)∗ (b + a) b∗ b + λ A = (a + (b + a) b∗ b)∗ · (b + a) b∗ b B = b ∗ · (bA + b)
Para resumir los resultados expuestos en esta secci´ on enunciamos el siguiente teorema. Teorema 2.1 Un lenguaje puede ser generado por una gram´atica regular si y solo si puede ser descrito por una expresi´on regular.
EJERCICIOS RESUELTOS 1.
Sea la ER α = a + bc + b3 a. ¿Cu´ al es el lenguaje descrito por α? ¿Qu´e expresi´ on regular corresponde al lenguaje universal sobre el alfabeto { a,b,c}? En primer lugar, esta no es estrictamente hablando una ER, ya que no se permite b 3 a. Sin embargo, aceptamos como v´ alida la expresi´ on a + bc + b3 a, como una simplificaci´ on de la ER a + bc + bbba. En ese caso, L(α) = { a, bc, bbba}, que como vemos es un lenguaje finito sobre el alfabeto { a,b,c}. La E R que describe el lenguaje universal sobre este alfabeto es (a + b + c)∗ .
2. Simplificar la ER α = a + a (b + aa) (b∗ aa)∗ b∗ + a (aa + b)∗ . Aplicando las propiedades de las expresiones regulares, podemos obtener una E R equivalente con tan s´olo 4 operadores: a + a (b + aa) (b∗ aa)∗ b∗ +a (aa + b)∗ = a + a (b + aa) (b + aa)∗ +a (aa + b)∗ =
(15)
(8)
a( λ + (b + aa) (b + aa)∗ ) + a (aa + b)∗ = a( b + aa )∗ + a (aa + b)∗ = (2)
(13)
a (aa + b)∗ + a (aa + b)∗ = a (aa + b)∗ (4)
3. Calcular Dab (α) siendo α = a ∗ ab. Teniendo en cuenta que Dab (α) = Db (Da (α)), y que Da (α) = a∗ b (calculada en el ejemplo 2.4), entonces D b (a∗ b) = D b (a∗ ) · b + δ (a∗ ) · Db (b) = ∅ · b + λ · λ = λ. 4. Demostrar que D a (α∗ ) = D a (α) · α∗ (regla de derivaci´ on para la clausura).
n Podemos afirmar que α ∗ = ∞ n=0 α , porque ambos miembros de la igualdad describen el mismo lenguaje. Teniendo esto en cuenta y seg´ un la regla de derivaci´on para la suma de expresiones regulares, se cumple que:
Da (α∗ ) = D a α0 + Da α1 + Da α2 + Da α3 + . . . donde α0 = λ. Ahora aplicamos la regla de la concatenaci´ on a cada t´ermino:
Da (α∗ ) = ∅ + Da (α) + Da (α) · α + δ (α) · Da (α) + Da (α) · α2 + δ (α) · Da α2 + . . . 45
De aqu´ı se pueden eliminar los t´erminos δ (α) · Da αi , ya que D a αi siempre tiene que calcularse, con lo que δ (α) · Da αi resultar´ıa redundante, independientemente de lo que valga δ (α). Ahora podemos sacar factor com´ un y queda:
Da (α∗ ) = D a (α) · λ + α + α2 + α3 + . . . = D a (α) · α∗ , c.q.d. 5. Demostrar que x = α ∗ β es una soluci´ on para la ecuaci´ on fundamental x = αx+β y razonar por qu´e la ecuaci´on fundamental puede tener en algunos casos infinitas soluciones. Para probar que es una soluci´on tenemos que sustituir x por α ∗ β en ambos miembros de la ecuaci´ on y ver que se cumple la igualdad. En efecto: α∗ β = αα ∗ β + β = (α∗ α + λ) β = α ∗ β, c.q.d. Seg´ un el lema de Arden, la ecuaci´ on puede tener infinitas soluciones cuando λ ∈ L (α) y estas soluciones deben ser de la forma α∗ (β + γ ). Comprobemos que es soluci´ on: α∗ (β + γ ) = α (α∗ (β + γ )) + β = αα∗ β + αα∗ γ + β = α∗ β + αα∗ γ La igualdad se cumple s´ o lo en el caso de que α∗ γ = αα∗ γ , pero dado que γ puede ser cualquier ER, debe ser α∗ = αα ∗ , y para que esto se cumpla es necesario que λ ∈ L (α), como afirma el lema de Arden. 6. Simplificar la expresi´ on regular 1∗ 01∗ 0(01∗ 01∗ 0 + 1)∗ 01∗ + 1∗ de forma que s´olo aparezca un operador +. 1∗ 01∗ 0(01∗ 01∗ 0 + 1)∗ 01∗ + 1∗ = 1∗ 01∗ 0 (1∗ · 01∗ 01∗ 0)∗ 1∗ · 01∗ + 1∗ =
(15)
(16)
(1∗ 01∗ 0 · 1∗ 0)∗ 1∗ 01∗ 01∗ 01∗ + 1∗ = (8)
∗
∗
∗
∗ ∗
(1∗ 01∗ 01∗ 0)∗ 1∗ 01∗ 01∗ 0 + λ
1∗ =
(13)
∗
(1 · 01 01 0) 1 = (1 + 01∗ 01∗ 0) (15)
EJERCICIOS PROPUESTOS 1. Obtener la ER correspondiente a la siguiente gram´ atica y aplicar el m´etodo de las derivadas a la expresi´on regular obtenida: S → aA | cA | a | c A → bS 2. Obtener la gram´ atica que genera el lenguaje descrito por la E R α = (b + ab∗ a)∗ ab∗ 3. Comprobar que la equivalencia (b + ab∗ a)∗ ab∗ = b∗ a(b + ab ∗ a)∗ 4. Dada la expresi´ on regular (ab + aba)∗ : aplicar el m´etodo de las derivadas para obtener la gram´ atica y resolver el sistema de ecuaciones de la gram´ atica obtenida. 5. Dada una E R α sobre cierto alfabeto V , demostrar que si α 2 = α entonces α∗ = α + λ 6. Dada la expresi´ on regular α = a(bc)∗ (b + bc) + a: obtener G a partir de α y resolver el sistema de ecuaciones para G. 46
7. Obtener la expresi´ on regular equivalente a la siguiente gram´ atica: S → bA | λ A → bB | λ B → aA 8. Obtener la expresi´ on regular que describe el lenguaje generado por la gram´atica: S → 0A | 1B | λ A → 1A | 0B B → 1A | 0B | λ 9. Aplicar el m´ etodo de las derivadas para calcular la gram´ atica correspondiente a la expre∗ ∗ ∗ si´ on regular (d(ab) ) da(ba) 10. Demostrar que para cualquier expresi´ on regular se cumple α ∗ = α ∗ α + λ
CUESTIONES BREVES 1. ¿Pertenece acdcdb al lenguaje descrito por la expresi´on regular (a(cd)∗ b)∗ + (cd)∗ ? 2.
Si L es el lenguaje formado por todas las cadenas sobre {a, b} que tienen al menos una ocurrencia de la subcadena b, ¿podemos describir L mediante la expresi´ on regular ∗ ∗ ∗ ∗ ∗ ∗ ∗ a (ba ) bb (b a ) ?
3. Dada cualquier expresi´ on regular α, ¿se cumple que α∗ α = α ∗ ? 4.
Dadas α, β, γ ER cualesquiera, ¿es cierto que α + (β · γ ) = (α + β ) · (α + γ ) ?
5. ¿Es siempre la derivada de una expresi´ on regular otra expresi´ on regular?
´ NOTAS BIBLIOGRAFICAS Para este tema el libro b´ asico que recomendamos es el de [Isa97] (cap´ıtulo 3). La teor´ıa sobre ecuaciones de expresiones regulares y el m´ etodo para obtener la expresi´ on regular a partir de la gram´ atica puede consultarse en el libro de [Aho72] (pag. 105). El lema de Arden aparece en [Alf97] (pag. 166) y [Kel95] (pag.79).
47
48
CAP´ITULO 3: ´ AUTOMATAS FINITOS
Contenidos Te´oricos 1. Arquitectura de un aut´ omata finito (AF ) 2.
Aut´ omatas finitos deterministas
3.
Aut´ omatas finitos no deterministas
4.
Aut´ omatas finitos con λ-transiciones
5. Lenguaje aceptado por un AF 6. Equivalencia entre aut´ omatas finitos 7.
Aut´ omatas finitos, expresiones regulares y gram´ aticas regulares
8. Minimizaci´ on de un AFD 9. Aplicaciones: an´ alisis l´exico
1.
Arquitectura de un aut´ omata finito (AF )
Un aut´ omata finito es una estructura matem´ atica que representa un sistema o m´ aquina abstracta cuya arquitectura puede verse en la figura 3.1 Cinta de entrada
0
1
0
0
1
Cabezal de lectura Control de estados finito
Figura 3.1: Arquitectura de un AF La cinta de entrada (que se extiende infinitamente hacia la derecha) est´a dividida en celdas, cada una de las cuales es capaz de almacenar un s´ olo s´ımbolo de un cierto alfabeto. La m´ aquina es capaz de leer los s´ımbolos de esta cinta de izquierda a derecha por medio de un cabezal de lectura . Cada vez que se lee un s´ımbolo, el cabezal de lectura se mueve a la siguiente celda a la derecha y la m´ aquina efect´ ua un cambio de estado o transici´ on . Esta transici´ on est´ a determinada por 49
el mecanismo de control (que contiene un n´ umero finito de estados), programado para conocer cual debe ser el nuevo estado, que depender´a de la combinaci´ on del estado actual y el s´ımbolo de entrada le´ıdo. Los aut´ omatas finitos pueden considerarse como mecanismos aceptadores o reconocedores de palabras. De manera informal decimos que un aut´ omata finito aceptar´ a una palabra de entrada si, comenzando por un estado especial llamado estado inicial y estando la cabeza de lectura apuntando al primer s´ımbolo de la cadena, la m´ aquina alcanza un estado final o de aceptaci´ on despu´es de leer el u ´ltimo s´ımbolo de la cadena.
2.
Aut´ omatas finitos deterministas
´ mata finito determinista (AF D) se define como una quintupla M = (Q,V,δ,q 0 , F ), Un auto donde:
Q es un conjunto finito de estados V es el alfabeto de entrada q 0 es el estado inicial F ⊆ Q es el conjunto de estados finales δ : Q × V −→ Q es la funci´ on de transici´ on El nombre “determinista” viene de la forma en que est´ a definida la funci´ on de transici´ on: si en un instante t la m´ aquina est´ a en el estado q y lee el s´ımbolo a entonces, en el instante siguiente t + 1 la m´aquina cambia de estado y sabemos con seguridad cual es el estado al que cambia, que es precisamente δ (q, a). El AF D es inicializado con una palabra de entrada w como sigue: 1. w se coloca en la cinta de entrada, con un s´ımbolo en cada celda 2. el cabezal de lectura se apunta al s´ımbolo m´ as a la izquierda de w 3.
el estado actual pasa a ser q 0
Una vez que se ha inicializado el AF D, comienza su “ejecuci´ on” sobre la palabra de entrada. on b´asico: Como cualquier computador tiene un ciclo de ejecuci´ 1. se lee el s´ımbolo actual , que es el apuntado por el cabezal de lectura. Si el cabezal apunta a una celda vac´ıa entonces el AF D termina su ejecuci´ on, aceptando la palabra en caso de que el estado actual sea final y rechazando la palabra en caso contrario. Esto ocurre cuando se ha le´ıdo toda la palabra de entrada, y se produce una situaci´ on similar a tener una condici´ on “fin de fichero” en la ejecuci´on de un programa 2. se calcula el estado siguiente a partir del estado actual y del s´ımbolo actual seg´ un la funci´ on de transici´ on, esto es, δ (estado actual, simbolo actual) = estado siguiente 3. el cabezal de lectura se mueve una celda a la derecha 4. el estado siguiente pasa a ser el estado actual y vuelve al paso 1 La funci´on de transici´ on de un AF D se puede representar de dos formas: mediante una tabla de transici´ on o mediante un diagrama de transici´ on. 50
Cada fila corresponde a un estado q ∈ Q El estado inicial se precede del s´ımbolo → Cada estado final se precede del s´ımbolo # Cada columna corresponde a un s´ımbolo de entrada a ∈ V En la posici´ on (q, a) est´ a el estado que determine δ (q, a)
Tabla de transici´ on
Diagrama de transici´ on
Los nodos se etiquetan con los estados El estado inicial tiene un arco entrante no etiquetado Los estados finales est´an rodeados de un doble c´ırculo Habr´ a un arco etiquetado con a desde el nodo q i al q j si δ (q i , a) = q j
Ejemplo 3.1 Supongamos que tenemos el aut´ omata finito determinista dado por M = ( {q 0 , q 1 , q 2 } , {0, 1} , δ , q0 , {q 1 }) donde la funci´ on δ : {q 0 , q 1 , q 2 } × {0, 1} −→ {q 0 , q 1 , q 2 } viene dada por δ (q 0 , 0) = q 0 δ (q 1 , 0) = q 0 δ (q 2 , 0) = q 2
δ (q 0 , 1) = q 1 δ (q 1 , 1) = q 2 δ (q 2 , 1) = q 1
La tabla de transici´ on correspondiente a este aut´ omata ser´ a: δ → q 0 # q 1 q 2
0 q 0 q 0 q 2
1 q 1 q 2 q 1
y el diagrama de transici´ on correspondiente se muestra en la figura 3.2.
0
q 0
0 0
1 q 1
q 2
1
1
Figura 3.2: Diagrama de transici´ on del ejemplo 3.1
El diagrama de transici´ o n de un AF D tiene por cada nodo un s´ olo arco etiquetado con cada uno de los s´ımbolos del alfabeto. Algunos autores consideran que la funci´ on de transici´ on puede ser parcial , es decir, no estar definida para alg´ un δ (q, a). En ese caso se dice que el AF D es incompleto, y en el diagrama de transici´ on faltar´ıan los arcos correspondientes a los casos no definidos de la funci´ on de transici´ on. Nosotros consideraremos que los AFDs son completos . Nota
51
3.
Aut´ omatas finitos no deterministas
´ mata finito no determinista (AFND) es una quintupla M = (Q,V, ∆, q 0 , F ) Un auto donde todos los componentes son como en los AFDs, excepto la funci´on de transici´ on que se define ahora como: ∆ : Q × V −→ P (Q)
donde P (Q) denota el conjunto de las partes de Q (o conjunto potencia 2Q ). El hecho de que el codominio de la funci´ on de transici´ on sea P (Q) es lo que a˜ nade esta caracter´ıstica de “no determinismo”: a partir del estado actual y del s´ımbolo actual de entrada no se puede determinar de forma exacta cu´al ser´ a el estado siguiente. Por ejemplo, podemos tener ∆(q, a) = {q 1 , q 2 , . . . , qm } y esto indica que dado el estado actual q y el s´ımbolo de entrada a, el estado siguiente puede ser cualquier estado entre q 1 y q m . Tambi´en puede darse el caso de que ∆(q, a) = ∅, lo que indica que el estado siguiente no est´ a definido. Intuitivamente, un AFN D acepta una palabra de entrada w siempre que sea posible comenzar por el estado inicial y que exista una secuencia de transiciones que nos lleven a consumir la palabra y acabe el aut´ omata en un estado final. Puede que tengamos otras secuencias de transiciones que no acaben en estado final, pero basta que exista una que acabe en estado final para que la palabra sea aceptada. Los AFN D tambi´en se representan mediante tablas o diagramas de transici´ on. En el diagrama de transici´ on, el no determinismo se descubre porque hay alg´ un nodo del que parten dos o m´ as arcos etiquetados con el mismo s´ımbolo del alfabeto, o falta alg´ un arco para alg´ un s´ımbolo del alfabeto. En la figura 3.3 podemos ver un ejemplo de tabla y diagrama de transici´ o n de un AFND.
δ
q 0
a
{q 0 , q 3 }
{q 0 , q 1 }
∅
{q 2 }
# q 2
{q 2 }
{q 2 }
q 3
{q 4 }
∅
# q 4
{q 4 }
{q 4 }
q 1
a,b
b
q 0
a,b a q 3
a
q 4
b q 1 b q 2
a,b Diagrama de transici´ on
Tabla de transici´ on
Figura 3.3: Ejemplo de AFN D
4.
Aut´ omatas finitos con λ-transiciones
´ mata finito con λ-transiciones (AFND-λ) es b´ Un auto asicamente un AFND al que se le permite cambiar de estado sin necesidad de consumir o leer un s´ımbolo de la entrada. Por eso la funci´ on de transici´ on de un AFN D-λ se define
∆ : Q × (V ∪ {λ}) −→ P (Q) 52
La tabla de transici´ on de un AFND-λ es como la de un AFND excepto que se le a˜ nade una columna correspondiente a λ, de forma que en la posici´ on T [(q, λ)] estar´ a el conjunto de estados que determine ∆(q, λ). Ejemplo 3.2 Supongamos que tenemos un AFN D-λ cuyo diagrama de transici´ on corresponde al de la figura 3.4. Entonces si el aut´ omata est´ a en el estado q 1 en un cierto instante y el s´ımbolo actual es b, en el instante siguiente, el aut´ omata puede decidir de forma no determinista entre “leer el s´ımbolo b y cambiar al estado q 4 ”, o bien, “cambiar al estado q 2 sin mover el cabezal de lectura”. Adem´ as, el conjunto de cadenas que es capaz de aceptar este aut´ omata es { b,bb,bbb }.
q 0
λ
b
q 3
λ
q 1 b q 4
λ
q 2 b λ q 5
Figura 3.4: Ejemplo de AFN D-λ
5.
Lenguaje aceptado por un
AF
Un aut´ omata finito sirve para reconocer cierto tipo de lenguajes. Antes de definir formalmente el concepto de lenguaje aceptado por un AF necesitamos definir los conceptos de configuraci´ on y c´ alculo en un aut´ omata finito. La configuraci´ on de un aut´ omata finito (sin importar el tipo) en cierto instante viene dada por el estado del aut´ omata en ese instante y por la porci´on de cadena de entrada que le queda por leer o procesar. La porci´on de cadena le´ıda hasta llegar al estado actual no tiene influencia en el comportamiento futuro de la m´ aquina. En este sentido podemos decir que un AF es una m´ aquina sin memoria externa; son los estados los que resumen de alguna forma la informaci´on procesada. ´ n de un AF es un elemento (q, w) ∈ (Q × V ∗ ). Algunos tipos Formalmente una configuracio de configuraciones especiales son: Configuraci´ on inicial : (q 0 , w), donde q 0 es el estado inicial y w la palabra de entrada. Configuraci´ on de parada : cualquier configuraci´ o n en la que el aut´ omata puede parar su ejecuci´ on, bien porque se haya procesado toda la entrada o bien porque se haya llegado a una situaci´ on donde no es aplicable ninguna transici´ on. Configuraci´ on de aceptaci´ on : (q F , λ), donde q F es un estado final del aut´omata. Una vez alcanzada esta configuraci´ on el aut´ omata puede aceptar la palabra. Si consideramos el conjunto de las configuraciones de un aut´omata finito, podemos definir una relaci´ on binaria ⊢ ⊆ (Q × V ∗ ) × (Q × V ∗ ) que llamaremos relaci´ on de c´ alculo en un paso. Intuitivamente si dos configuraciones C i y C j est´ an relacionadas mediante la relaci´ on ⊢ y lo notamos como C i ⊢ C j , quiere decir que podemos pasar de la configuraci´ on C i a la C j aplicando una sola transici´ on y diremos que “la configuraci´on C i alcanza en un paso la configuraci´ on C j ”. 53
Para definir formalmente la relaci´ on de c´alculo en un paso ⊢, distinguiremos tres casos correspondientes a los tres tipos de aut´ omatas que hemos visto: Si tenemos un AF D, la relaci´ on de c´ alculo en un paso se define de la siguiente forma: ′
′
(q, w) ⊢ (q , w ) ⇔
w = aw ′ , donde a ∈ V q ′ = δ (q, a)
Si tenemos un AFN D, la relaci´ on de c´alculo en un paso la se define: (q, w) ⊢ (q ′ , w′ ) ⇔
w = aw ′ , donde a ∈ V q ′ ∈ ∆(q, a)
Si tenemos un AFN D-λ, la relaci´ on de c´ alculo en un paso se define: ′
′
(q, w) ⊢ (q , w ) ⇔
w = σw′ , donde σ ∈ V ∪ {λ} q ′ ∈ ∆(q, σ)
Cuando queramos distinguir el aut´ omata M al que refiere la relaci´ on, se usar´ a ⊢ M . La clausura reflexiva y transitiva de la relaci´ on ⊢ es otra relaci´ on binaria ⊢∗ ⊆ (Q×V ∗ )×(Q×V ∗ ), que llamaremos relaci´ on de c´ alculo. Diremos que la “configuraci´ on C i alcanza (en cero o m´as ∗ pasos) la configuraci´ on C j ”, y lo notamos como C i ⊢ C j , si se cumple una de las dos condiciones siguientes: 1. C i = C j , o bien, 2. ∃ C 0 , C 1 , . . . Cn , tal que C 0 = C i , C n = C j , y ∀ 0 ≤ k ≤ n − 1 se cumple que C k ⊢ C k+1 A una secuencia del tipo C 0 ⊢ C 1 ⊢ . . . ⊢ C n la llamaremos c´ alculo en n pasos , abreviadamente ∗ C 1 ⊢ n pasos C n . Ejemplo 3.3 Considerando el AF D de la figura 3.2 podemos decir que (q 0 , 01) ⊢ (q 0 , 1), (q 0 , 1) ⊢ (q 1 , λ) y por tanto (q 0 , 01) ⊢∗ (q 1 , λ). Tambi´en (q 1 , 101) ⊢ (q 2 , 01) y en varios pasos (q 2 , 0011) ⊢ ∗ (q 1 , 1). Por otra parte para el AFND de la figura 3.3 tenemos, por ejemplo, que (q 0 ,abb) ⊢ (q 0 , bb) y tambi´en (q 0 ,abb) ⊢ (q 3 , bb). Al ser el aut´ omata no determinista vemos que a partir de una misma configuraci´ on, en este caso (q 0 ,abb), se puede llegar en un paso de c´ alculo a dos o m´ as configuraci´ ones distintas. Esta situaci´ on no puede producirse en un AF D. Para el AFN D-λ de la figura 3.4 el c´ alculo (q 1 , bb) ⊢ (q 2 , bb) es un ejemplo donde se produce una transici´ on que implica un cambio de estado sin consumir s´ımbolos de entrada. Esto es posible porque q 2 ∈ ∆(q 1 , λ). Si tenemos un aut´ omata finito M = (Q,V,δ,q 0 , F ), se define el lenguaje aceptado por M y lo notamos L(M ), como: L(M ) = {w ∈ V ∗ | (q 0 , w) ⊢∗ (q F , λ) donde q F ∈ F } Es decir, una palabra w ser´a aceptada por el aut´ omata M, si partiendo de la configuraci´on inicial con w en la cinta de entrada, el aut´omata es capaz de alcanzar una configuraci´ o n de ∗ aceptaci´ on. Dependiendo del tipo de aut´omata de que se trate, ⊢ har´ a referencia a la clausura reflexiva y transitiva de la relaci´on ⊢ en un AF D, en un AFN D o en un AF con λ-transiciones. En un aut´ omata finito determinista, el hecho de que una palabra w sea aceptada por el aut´ omata nos asegura que existe un u ´ nico camino en el diagrama de transici´ on que nos lleva del nodo etiquetado con el estado inicial al nodo etiquetado con el estado final y cada arco que se recorre 54
en este camino est´ a etiquetado con un s´ımbolo de la palabra. Podr´ıamos simular la ejecuci´ on de un aut´ omata finito determinista mediante un programa que codifique la funci´ on de transici´ on y simule los cambios de estado. Si | w| = n entonces el programa puede determinar si la palabra es aceptada o no en O(n). En el caso de un AFND o un AFND-λ no podemos asegurar que exista un u ´ nico camino en el diagrama que nos lleve del estado inicial a un estado final consumiendo los s´ımbolos de la palabra. Incluso puede que para una palabra w ∈ L(M ) podamos tener una camino que no acabe en estado final o que llegue a un estado desde el que no se pueda seguir leyendo s´ımbolos. Esto es debido al no determinismo, que hace que los c´ alculos en estos aut´ omatas no est´en perfectamente determinados. Si quisi´eramos simular un aut´ omata no determinista para decidir si una palabra es aceptada o no, tendr´ıamos que usar alguna t´ecnica de retroceso o backtracking para explorar distintas posibilidades hasta encontrar un c´ alculo correcto que reconozca la palabra o determinar que la palabra no es aceptada si se han explorado todos los posibles c´alculos y ninguno de ellos conduce a un estado final. Esto nos llevar´ıa a un algoritmo de tiempo exponencial para reconocer una palabra. De ah´ı que a efectos pr´acticos, como en la construcci´ on de analizadores l´exicos o reconocimiento de patrones en un texto, lo deseable es tener un aut´ omata finito determinista. Afortunadamente siempre es posible pasar de un AF no determinista a un AF determinista, como veremos en la siguiente secci´ on. Ejemplo 3.4 Recordemos los AF s ya vistos y veamos ahora cu´ al es el lenguaje aceptado por ellos. El diagrama de la figura 3.3 correspondiente a un AFND permite ver de forma intuitiva que L(M ) es el lenguaje descrito por la expresi´ on regular (a + b)∗ (aa + bb)(a + b)∗ que consiste en aquellas cadenas sobre el alfabeto V = {a, b} que contienen al menos una ocurrencia de la subcadena aa o ´ bb. Por ejemplo, la cadena abb es aceptada, ya que tenemos el c´ alculo: (q 0 ,abb) ⊢ (q 0 , bb) ⊢ (q 1 , b) ⊢ (q 2 , λ), y q 2 ∈ F Sin embargo podemos tener otro c´ alculo que no conduce a estado final: (q 0 ,abb) ⊢ (q 0 , bb) ⊢ (q 0 , b) ⊢ (q 1 , λ),
q 1 ∈ / F
e incluso un c´ alculo que no llega a consumir la palabra: (q 0 ,abb) ⊢ (q 3 , bb) ⊢ (y no puede seguir) A partir del diagrama del AF D de la figura 3.2 no es tan sencillo ver cu´ al es el lenguaje aceptado. Pero, seg´ un veremos en la secci´ on 7, hay un m´ etodo exacto para encontrar este lenguaje. En ∗ este caso el lenguaje aceptado es el descrito por la expresi´ on regular (0 + 1 (10∗ 1)∗ ) 1(10∗ 1)∗
AFND
a q 1 b b a q
q 0
a
AFD
q 0
a q 1
b
a b
2
q 4 a,b
q 2
a
b
b
Figura 3.5: AF s que aceptan L(α) donde α = (ab + aba)∗
55
q 3
6.
Equivalencia entre aut´ omatas finitos
Decimos que dos aut´ omatas finitos M y M ′ son equivalentes si y s´olo si aceptan el mismo lenguaje, esto es, L(M ) = L(M ′ ). Veremos ahora que, en contra de lo que parece, los aut´ omatas no deterministas (con o sin λ-transiciones) son igual de potentes que los aut´ omatas finitos deterministas, en el sentido de que son capaces de reconocer los mismos lenguajes: los lenguajes regulares. Ya hemos dicho que a efectos de simular la ejecuci´o n de un AF con un programa conviene que el aut´omata sea determinista para poder reconocer las palabras en tiempo polinomial. ¿Qu´ e sentido tienen entonces los aut´ omatas no deterministas? Desde el punto de vista te´ orico son interesantes porque permiten modelizar algoritmos de b´ usqueda y retroceso y tambi´en son de gran utilidad, sobre todo los AFND-λ, para demostrar algunos teoremas sobre aut´ omatas y lenguajes formales. Otra ventaja que supone el uso de aut´omatas no deterministas es que a veces resulta m´as intuitivo y sencillo dise˜ nar un aut´ omata no determinista para reconocer un determinado lenguaje, que pensar directamente en el aut´omata determinista. Un ejemplo lo tenemos en la figura 3.5. Se puede observar que es m´as sencillo averiguar el lenguaje aceptado a partir del AFN D que del AF D. Para demostrar formalmente que los tres tipos de aut´omatas vistos aceptan la misma clase de lenguajes, vamos a ver dos teoremas, uno de ellos establece la equivalencia entre los modelos de AF D y AFND y el otro teorema demuestra la equivalencia entre AFND y AFND-λ. Las demostraciones de estos teoremas tienen una parte constructiva que muestra un m´ etodo algor´ıtmico para pasar de un tipo de aut´ omata a otro, y una parte inductiva que prueba la validez de dicho m´etodo. Teorema
3.1 Un lenguaje es aceptado por un AFN D si y s´olo si es aceptado por un AF D.
Dem.- Esta claro que un AF D se puede considerar como un caso particular de AFN D donde |∆(q, a)| = 1, ∀ q ∈ Q, a ∈ V . Por tanto si un lenguaje L es aceptado por un AF D tambi´en ser´a aceptado por un AFN D. Supongamos que un lenguaje L es aceptado por un aut´ omata finito no determinista M N = (Q,V, ∆, q 0 , F ). Vamos a construir a partir de ´el un aut´ omata finito determinista M D = ′ ′ ′ (Q , V , δ , q0 , F ) que tiene las siguientes componentes: Q′ = P (Q) q 0′ = { q 0 } F ′ = { S ∈ P (Q) | S ∩ F = ∅}
∀ S ∈ Q ′ , a ∈ V se define δ (S, a) =
q ∈S ∆(q,
a) = { p ∈ Q | p ∈ ∆(q, a) ∧ q ∈ S }
Tenemos pues, que el conjunto de estados del AF D as´ı construido est´ a formado por estados que a su vez son conjuntos de estados del AFND. La idea es la siguiente: cuando el AFND lee una cadena w, no sabemos exactamente en que estado quedar´a el aut´ omata, pero podemos decir que estar´a en un estado de un posible conjunto de estados, por ejemplo, {q i , q j, . . . , qk }. Un AF D equivalente despu´ es de leer la misma entrada quedar´ a en un estado que est´a perfectamente determinado, y para que el aut´omata AF D sea equivalente haremos que este estado corresponda al conjunto de estados {q i , q j, . . . , qk } . Por eso, si originalmente tenemos |Q| estados en el AFN D, entonces el AF D tendr´a como mucho 2|Q| estados. Ejemplo 3.5 Supongamos que tenemos el AFN D siguiente: 56
q 3
b a
q 1
q 0 a
b
q 2
q 4
b
q 5
Al leer la palabra w = ab se pueden dar los siguientes c´ alculos:
ր (q 3 , λ) ր (q 1 , b) ⊢M N (q 0 , ab) ⊢M N
ց (q 4 , λ) ց (q 2 , b) ⊢M N (q 5 , λ)
El aut´ omata acepta la palabra porque uno de los posibles c´ alculos conduce a un estado final. Consecuentemente, el AF D deber´ a reconocer la palabra. De hecho es as´ı y el unico ´ c´ alculo que llega a consumir la palabra y acabar en estado final es: ({q 0 } , ab) ⊢ M D ({q 1 , q 2 } , b) ⊢ M D ({q 3 , q 4 , q 5 } , λ) Para acabar de demostrar el teorema necesitamos probar que L(M D ) = L(M N ), o lo que es lo mismo, que w ∈ L(M D ) ⇔ w ∈ L(M N ), ∀ w ∈ V ∗ . Lo dejamos para la secci´on de aplicaciones.
Ejemplo 3.6 Dado el lenguaje descrito por la expresi´ on regular (ab)∗ a, un AFN D que acepta dicho lenguaje es el siguiente:
a q 0
q 1
b
a
q 2
Si aplicamos el m´ etodo del teorema 3.1 anterior se obtiene un AF D equivalente con 8 estados, correspondientes a los 8 subconjuntos de estados del AFND: 57
a
{q 0 , q 1 } {q 0 , q 1 , q 2 }
b
b {q 0 } b b {q 1 } a
a
a
b
a,b a,b {q 2 }
a
∅
b
{q 1 , q 2 }
a {q 0 , q 2 }
En el diagrama anterior podemos ver que hay estados (los enmarcados en un recuadro oval) que son inaccesibles, es decir, no se puede llegar hasta ellos desde el estado inicial. Por tanto podr´ıan eliminarse del AF D sin que ello afecte al lenguaje aceptado, obteni´ endose el siguiente AF D simplificado: a
{q 0 }
b
{q 1 , q 2 }
b
∅
a
a,b El m´etodo del teorema 3.1 considera todos los posibles elementos de P (Q), pero ya hemos visto que no siempre son todos necesarios. En la figura 3.6 se presenta un algoritmo que calcula un AF D a partir de un AFND siguiendo la misma idea que antes, pero sin generar estados inaccesibles . Teorema AFND.
3.2 Un lenguaje es aceptado por un AFND-λ si y s´ o lo si es aceptado por un
Dem.- Es obvio que un AFND puede considerarse un caso restringido de AFND-λ, donde ∆(q, λ) = ∅, ∀ q ∈ Q. Por tanto si un lenguaje L es aceptado por un AFN D tambi´en ser´a aceptado por un AFN D-λ. Se define la λ-clausura de un estado q en una AFN D-λ como: λ-clau(q ) = { p ∈ Q | (q, λ) ⊢ ∗ ( p, λ)} Esto es, la λ-clausura de un estado nos da el conjunto de estados que se pueden alcanzar siguiendo todos los caminos en el diagrama de transici´ on que parten del nodo q y s´olo pasan por arcos etiquetados con λ. Tambi´en se tiene, por definici´ on, que q ∈ λ-clau(q ). Esta definici´ on 58
Entrada: Un AFN D M N = (Q,V, ∆, q 0 , F ) Salida: Un AFD M D = (Q′ , V , δ , q0′ , F ′ ) tal que L(M D ) = L(M N ) 1. Q′ ← {{ q 0 }} ;
q 0′ ← {q 0 };
2. for all a i ∈ V 3.
δ (q 0′ , ai ) ← ∆(q 0 , ai );
4.
˜ adir (Q′ , δ (q 0′ , ai )); /* s´ an olo se a˜ nade si es nuevo */
5. end-for; 6. marcar (Q′ , q 0′ )); /* para saber que se han calculado sus transiciones */ 7. while haya estados no marcados en Q ′ 8.
sea S j un estado no marcado de Q ′
9.
for all a i ∈ V δ (S j , ai ) ←
10.
∆(q, ai );
q ∈S j
˜adir (Q′ , δ (S j , ai )); an
11. 12. 13.
end-for;
marcar (Q′ , S j ));
14. end-while; 15. F ′ = {S ∈ Q ′ | S ∩ F = ∅} ;
Figura 3.6: Algoritmo de paso de AFN D a AF D se puede extender y se define la λ-clausura de un conjunto de estados S como: λ-clau(S ) =
λ-clau(q )
q ∈S
Cuando un AFN D-λ parte de un estado q y lee un s´ımbolo a, el aut´ omata podr´ a alcanzar un conjunto de estados, que son los estados a los que se puede llegar desde q siguiendo todos los caminos con el siguiente procedimiento: llegar a los estados que se pueden alcanzar desde q y s´olo pasan por arcos etiquetados con λ. Estos estados son los correspondientes a λ-clau(q ) de todos los estados de λ-clau(q ) nos quedamos con aquellos estados r que tienen definida la transici´ on ∆(r, a) se calcula el conjunto de estados a los que se puede llegar desde estos estados r consumiendo en un paso el s´ımbolo a y a este conjunto lo llamamos S calcular todos los estados alcanzables desde cualquier estado de S pasando s´ olo por arcos etiquetados con λ. Estos estados son los correspondientes a λ-clau(S ) El AFN D que simule al AFN D-λ debe poder alcanzar, para cada estado q y para cada s´ımbolo a, los mismos estados a los que llega el AFN D-λ a partir de q y leyendo el s´ımbolo a. Por eso la nueva funci´ on de transici´ on se calcular´ a teniendo en cuenta el procedimiento anterior. Dado el aut´ omata M λ = (Q,V, ∆, q 0 , F ) un AFND equivalente M N = (Q,V, ∆′ , q 0 , F ′ ) se obtiene definiendo: 59
Si λ-clau(q 0 ) ∩ F = ∅ entonces F ′ = F ∪ {q 0 }, en otro caso F ′ = F
∀ q ∈ Q, a ∈ V se define ∆′ (q, a) = λ-clau(S ), donde S = { p ∈ Q | p ∈ ∆(r, a) ∧ r ∈ λ-clau(q )} Para demostrar que este m´ etodo es correcto habr´ıa que probar que w ∈ L(M λ ) ⇔ w ∈ ∗ L(M N ), ∀ w ∈ V . Para w = λ tenemos que λ ∈ L(M λ ) sii [(q 0 , λ) ⊢ ∗λ ( pF , λ) ∧ pF ∈ F ]. Pero esto se cumple sii [( pF = q 0 ) ∨ ( pF ∈ λ-clau(q 0 ))] sii (q 0 ∈ F ′ ) sii λ ∈ L(M N ), puesto que (q 0 , λ) ⊢∗M N (q 0 , λ) . Ahora se debe demostrar que w ∈ L(M λ ) ⇔ w ∈ L(M N ) para todas las palabras de longitud mayor o igual que uno. El proceso a seguir es similar al del teorema 3.1 y necesitamos demostrar la hip´ otesis: ´ tesis : hipo
(q, w) ⊢ ∗M λ ( p, λ) ⇔ (q, w) ⊢∗M N ( p, λ) (1) (2)
Una vez demostrada la hip´otesis, tomando q = q 0 se tiene claramente que w ∈ L(M λ ) ⇔ w ∈ L(M N ). Luego L(M λ ) = L(M N ), como quer´ıamos demostrar. La demostraci´ on de la hip´ otesis se deja como ejercicio.
Ejemplo 3.7 Supongamos que queremos reconocer el lenguaje L = 0i 1 j 2k | i, j, k ≥ 0 , o lo que es lo mismo, el lenguaje descrito por la expresi´ on regular 0∗ 1∗ 2∗ . Podemos dise˜ nar un aut´ omata finito con λ-transiciones M λ = ({q 0 , q 1 , q 2 } , {0, 1, 2} , ∆, q 0 , {q 2 }) y funci´ on ∆ repre′ sentada en la figura 3.7. El AFN D equivalente es M N = ({q 0 , q 1 , q 2 } , {0, 1, 2} , ∆ , q 0 , {q 0 , q 2 }), donde ∆′ se define como: ∆′ (q 0 , 0) = λ-clau{q 0 } = {q 0 , q 1 , q 2 } ∆′ (q 1 , 0) = ∅ ∆′ (q 2 , 0) = ∅ ∆′ (q 0 , 1) = λ-clau{q 1 } = {q 1 , q 2 } ∆′ (q 1 , 1) = λ-clau{q 1 } = { q 1 , q 2 } ∆′ (q 2 , 1) = ∅ ∆′ (q 0 , 2) = λ-clau{q 2 } = {q 2 } ∆′ (q 1 , 2) = λ-clau{q 2 } = { q 2 } ∆′ (q 2 , 2) = λ-clau{q 2 } = { q 2 } En la figura 3.7 aparecen los diagramas de los dos aut´ omatas finitos. La palabra λ es aceptada por el AFND-λ por el siguiente c´ alculo: (q 0 , λ) ⊢ M λ (q 1 , λ) ⊢ M λ (q 2 , λ) y q 2 ∈ F . Tambi´en es aceptada por el AFND ya que (q 0 , λ) ⊢ ∗M N (q 0 , λ) y q 0 ∈ F ′ . Otra palabra aceptada es 012 ya que: (q 0 , 012) ⊢ M λ (q 0 , 12) ⊢ M λ (q 1 , 12) ⊢M λ (q 1 , 2) ⊢M λ (q 2 , 2) ⊢ M λ (q 2 , λ) y q 2 ∈ F (q 0 , 012) ⊢ M N (q 1 , 12) ⊢M N (q 2 , 2) ⊢M N (q 2 , λ) y q 2 ∈ F ′ Como vemos el c´ alculo es m´ as corto (3 pasos) en el AFND que en el AFND-λ (5 pasos), ya que debido a las λ-transiciones el AFN D-λ puede hacer “movimientos” sin consumir s´ımbolos.
7.
Aut´ omatas finitos, expresiones regulares y gram´aticas regulares
En el tema anterior estudiamos las expresiones regulares y vimos que pueden utilizarse para describir lenguajes regulares generados por gram´ aticas regulares o de tipo 3, seg´ un la clasificaci´on de Chomsky. Ahora vamos a ver que si un lenguaje es aceptado por un aut´ omata finito tambi´en se puede describir mediante una expresi´ on regular y al contrario, todo lenguaje descrito por una expresi´ on regular puede ser aceptado por un aut´omata finito. 60
AFND-λ 0
q 0
1 λ q 1
2 λ
q 2
............................................................................. AFND
0
q 0
0,1
1 q 1
2 1,2
0,1,2
q 2
Figura 3.7: Ejemplo de paso de AFN D-λ a AFN D 7.1.
Teorema de An´ alisis de Kleene
existe una expresi´on regular α tal que L = L(M ) = L(α).
Si L es un lenguaje aceptado por un aut´ omata finito M entonces
Podemos suponer que el aut´ omata finito M no tiene λ-transiciones (si las tuviera ya sabemos que podemos encontrar aut´ omata equivalente sin λ-transiciones). Sea M = (Q,V, ∆, q 0 , F ). A partir de este aut´ omata podemos obtener un sistema de ecuaciones de expresiones regulares que llamaremos ecuaciones caracter´ısticas del aut´ omata . Estas ecuaciones se obtienen a partir del diagrama de transici´ on del aut´ omata del siguiente modo: A cada nodo q i le corresponde una ecuaci´on y cada estado se puede considerar como una inc´ ognita de la ecuaci´ on. La ecuaci´ on para el estado q i tiene en el primer miembro el estado q i y el segundo miembro de la ecuaci´ on est´ a formado por una suma de t´ erminos, de forma que por cada arco del a diagrama de la forma q i −→ q j tenemos un t´ermino aq j . Si el estado q i es final, a˜ nadimos adem´ as el termino λ al segundo miembro. Cada inc´ ognita q i del sistema de ecuaciones representa el conjunto de palabras que nos llevan del nodo q i a un estado final, en el diagrama de transici´ on. Por tanto, si resolvemos el sistema de las ecuaciones caracter´ısticas del aut´ omata tendremos soluciones de la forma q i = αi , donde αi es una expresi´on regular sobre el alfabeto V y como hemos dicho el lenguaje descrito por esta expresi´on regular es: L(αi ) = {w ∈ V ∗ | (q i , w) ⊢∗ (q F , λ) , q F ∈ F }
(3.1)
El m´ etodo que se propone para obtener una expresi´on regular α a partir de un AF es el siguiente: 1.
Obtener las ecuaciones caracter´ısticas del aut´ omata;
2. Resolver el sistema de ecuaciones; 3. α ← soluci´ on para el estado inicial; 61
Para comprobar que este m´etodo es v´ alido tendr´ıamos que probar que se cumple 3.1 para toda soluci´ on q i = αi del sistema de ecuaciones, y en particular la soluci´ on para el estado inicial es la expresi´ on regular correspondiente al aut´ omata. Aunque no lo vamos a demostrar formalmente, por la forma de obtener las ecuaciones caracter´ısticas del aut´ omata y la validez del m´etodo de resoluci´ on de sistemas de ecuaciones de expresiones regulares vista en el tema anterior, podemos intuir que el m´ etodo anterior es correcto. En realidad, no es necesario resolver todas las inc´ ognitas, s´ olo necesitamos despejar la incognita correspondiente al estado inicial. Ejemplo 3.8 Consideremos de nuevo el aut´ omata finito M de la figura 3.2. Las ecuaciones caracter´ısticas correspondientes a este aut´ omata son: q 0 = 0q 0 + 1q 1 q 1 = 0q 0 + 1q 2 + λ q 2 = 1q 1 + 0q 2 Comenzando por la ultima ´ ecuaci´ on se tiene que q 2 = 0∗ 1q 1 y sustituyendo en la segunda ecuaci´ on queda q 1 = 0q 0 + 10 ∗ 1q 1 + λ de donde se obtiene que q 1 = (10∗ 1)∗ (0q 0 + λ) y este valor se sustituye en la primera ecuaci´ on q 0 = 0q 0 + 1 (10∗ 1)∗ (0q 0 + λ) = 0q 0 + 1 (10∗ 1)∗ 0q 0 + 1 (10∗ 1)∗ Esta ecuaci´ on es fundamental y por el lema de Arden tiene como ´ unica soluci´ on ∗
q 0 = (0 + 1 (10∗ 1)∗ 0) 1(10∗ 1)∗ ∗
y por tanto (0 + 1 (10∗ 1)∗ 0) 1(10∗ 1)∗ es la expresi´ on regular que describe el lenguaje L(M ).
7.2.
Teorema de S´ıntesis de Kleene
existe un aut´omata finito M tal que L = L(α) = L(M ).
Si L es un lenguaje asociado a una expresi´ on regular α entonces
Vamos a demostrar por inducci´on sobre el n´ umero de operadores de α (+, ·, ∗) que existe un AFND-λ M con un s´olo estado final sin transiciones y distinto del estado inicial, de forma que L(α) = L(M ). Base.- (cero operadores) α puede ser: ∅, λ , a, donde a ∈ V. Los aut´ omatas que aceptan el lengua je vac´ıo, el lengua je { λ} y el lenguaje {a}, son, por este orden, los siguientes: (a), (b) y (c)
q 0
q 0
q 1 (a)
λ (b)
q 1
q 0
a
q 1
(c)
Inducci´ on.- (uno o m´ as operadores en α). Supongamos que se cumple la hip´ otesis para expresiones regulares de menos de n operadores. Sean las expresiones regulares α1 y α2 donde op(α1 ), op(α2 ) < n. Entonces, por hip´otesis existen dos aut´ omatas finitos M 1 y M 2 tal que L(M 1 ) = L(α1 ) y L(M 2 ) = L(α2 ), donde M 1 = (Q1 , V 1 , ∆1 , q 1 , {f 1 }) y M 2 = (Q2 , V 2 , ∆2 , q 2 , {f 2 }) y podemos suponer sin p´ erdida de generalidad que Q1 ∩ Q2 = ∅. Estos aut´ omatas podemos representarlos esquem´aticamente como: 62
M1 q1
M2 f 1
q2
f 2
Supongamos que tenemos una expresi´ on regular α con n operadores. Vamos a construir un automata M tal que L(M ) = L(α) y para eso distinguimos tres casos correspondientes a las tres formas posibles de expresar α en funci´on de otras expresiones regulares con menos de n operadores. 1.
α = α1 + α2 tal que op(α1 ), op(α2 ) < n. Los aut´ omatas correspondientes a α 1 y α 2 son respectivamente M 1 y M 2 , como hemos dicho antes. A partir de M 1 y M 2 construimos otro aut´ omata M = (Q1 ∪ Q2 ∪ {q 0 , f 0 } , V 1 ∪ V 2 , ∆, q 0 , {f 0 }) donde ∆ se define como: a )
∆(q 0 , λ) = {q 1 , q 2 }
b)
∆(q, σ) = ∆1 (q, σ),
∀ q ∈ Q 1 − {f 1 }, σ ∈ V 1 ∪ {λ}
c )
∆(q, σ) = ∆2 (q, σ),
∀ q ∈ Q 2 − {f 2 }, σ ∈ V 2 ∪ {λ}
d )
∆(f 1 , λ) = ∆(f 2 , λ) = {f 0 }
M se puede representar gr´aficamente del siguiente modo: M1 q1
f 1
λ
λ
q0
f 0 λ
λ
M2 q2
f 2
Cualquier camino de q 0 a f 0 debe pasar forzosamente a trav´ es del aut´ omata M 1 o del aut´ omata M 2 . Si una cadena w es aceptada por M , entonces debe ser aceptada tambi´ en por M 1 o por M 2 . Es decir, L(M ) = L(M 1 ) ∪ L(M 2 ) = = L(α1 ) ∪ L(α2 ), por hip´ otesis de inducci´ on = L(α1 + α2 ), por definici´on de lenguaje asociado a α 1 + α2 = L(α), como quer´ıamos demostrar. 2.
α = α1 · α2 tal que op(α1 ), op(α2 ) < n. A partir de M 1 y M 2 construimos otro aut´ omata M = (Q1 ∪ Q2 , V 1 ∪ V 2 , ∆, q 1 , {f 2 }) donde ∆ se define como: a )
∆(q, σ) = ∆1 (q, σ),
b)
∆(f 1 , λ) = { q 2 }
c )
∆(q, σ) = ∆2 (q, σ),
∀ q ∈ Q 1 − {f 1 }, σ ∈ V 1 ∪ {λ} ∀ q ∈ Q 2 , σ ∈ V 2 ∪ {λ} 63
M se puede representar esquem´aticamente como: M1 q1
M2
λ
f 1
q2
f 2
Cualquier camino de q 1 a f 2 debe pasar forzosamente a trav´ es del aut´ omata M 1 y del aut´ omata M 2 . Si una cadena w es aceptada por M , entonces esa cadena se puede descomponer como w = w 1· w2 , de forma que w 1 debe ser aceptada por M 1 y w2 por M 2 . Seg´ un esto, L(M ) = L(M 1 ) · L(M 2 ) = = L(α1 ) · L(α2 ), por hip´ otesis de inducci´ on = L(α1 · α2 ), por definici´on de lenguaje asociado a α 1 · α2 = L(α), como quer´ıamos demostrar. 3.
α = (α1 )∗ tal que op(α1 ) = n − 1. El aut´ omata correspondiente a α 1 es M 1 , a partir del cual construimos otro aut´ omata M = (Q1 ∪ {q 0 , f 0 } , V 1 , ∆, q 0 , {f 0 }) donde ∆ se define como: a ) ∆(q 0 , λ) = ∆(f 1 , λ) = {q 1 , f 0 } b) ∆(q, σ) = ∆ 1 (q, σ),
∀ q ∈ Q 1 − {f 1 }, σ ∈ V 1 ∪ {λ}
M se puede representar del siguiente modo: λ
q0
λ
M1 q1
f 1
λ
f 0
λ
Este aut´ omata acepta cadenas de la forma w = w 1 w2 · · · w j , donde j ≥ 0 y cada subcadena wi es aceptada por M 1 . Por tanto, L(M ) =
∞
n=0
=
∞
n=0
(L(M 1 ))n =
(L(α1 ))n , por hip´ otesis de inducci´ on
= (L(α1 ))∗ , por definici´on de clausura de un lenguaje = L(α∗1 ), por definici´on de lenguaje asociado a α ∗1 = L(α), como quer´ıamos demostrar. Ejemplo 3.9 Siguiendo el m´ etodo anterior, en la figura siguiente se ha construido un aut´ omata ∗ para la expresi´ on regular 01 + 1, donde M 1 representa el aut´ omata para la expresi´ on regular 0, ∗ M 2 representa 1 y M 3 la expresi´ on regular 1. En el aut´ omata final se han integrado simult´ anea∗ mente los aut´ omatas para la concatenaci´ on ( 0 con 1 ) y la suma de expresiones regulares 01 ∗ +1. 64
λ
q 1
0 M 1
q 7
1
λ q 3 1 q 4
q 5
q 2
λ
M 2
λ q 6
q 8
M 3 λ q 1
0
q 2
λ q 3 1 q 4
λ q 5
λ
λ
λ q 6
q 0 λ
λ q 7
1
λ
q 8
f 0
Este m´ etodo de construcci´ on de AF s para expresiones regulares est´ a pensado para ser implementado de forma autom´ atica mediante un programa. Para nosotros podr´ıa haber sido m´ as sencillo pensar directamente, por ejemplo, en el siguiente aut´ omata: 1 0
q 0
q 2
1
q 1
7.3.
Aut´ omatas finitos y gram´ aticas regulares
Los aut´ omatas finitos son mecanismos reconocedores de lenguajes y las gram´ aticas regulares son mecanismos generadores y vamos a ver que ambos tratan con la misma clases de lenguajes: los lenguajes regulares. Primero vamos a ver un teorema (AF −→ GR) cuya demostraci´ on nos proporciona un m´etodo para obtener una GR a partir de un AF y luego presentamos el teorema (GR −→ AF ) para obtener un AF a partir de una GR. Teorema 3.3 (AF −→ GR) Si L es un lenguaje aceptado por una aut´omata finito M , entonces existe una gram´ atica regular G tal que L = L(M ) = L(G). Dem.- Podemos suponer sin p´erdida de generalidad que M = (Q,V, ∆, q 0 , F ) es un AF que no tiene λ-transiciones. Podemos obtener la gram´ atica G = (Q,V,q 0 , P ) a partir del diagrama de transici´ on del AF con el siguiente m´ etodo: 65
a
1. Si tenemos el arco q −→ p entonces a˜ nadimos a P la regla q → ap 2. Si q F ∈ F a˜ nadimos la regla q F → λ Esta es la parte constructiva de la demostraci´ on. Falta la parte inductiva para probar que el m´etodo es v´alido: hay que demostrar que w ∈ L(G) ⇔ w ∈ L(M ). Lo dejamos para la secci´ on de aplicaciones.
Ejemplo 3.10 Dado el siguiente AF , obtener la gram´ atica correspondiente y la expresi´ on regular.
q 0
0 1 0 q 1 1 q 2
La gram´ atica que se obtiene es: G = ({q 0 , q 1 , q 2 }, {0, 1}, q 0 , {q 0 → 0q 1 | λ, q 1 → 0q 1 | 1q 2 , q 2 → 1q 2 | λ }) Para obtener la expresi´ on regular podemos obtener las ecuaciones caracter´ısticas del aut´ omata, o bien, obtener el sistema de ecuaciones para la gram´ atica. En ambos casos se obtienen las mismas ecuaciones, que pasamos a resolver: q 0 = 0q 1 + λ q 1 = 0q 1 + 1q 2 q 2 = 1q 2 + λ
q 0 = 0q 1 + λ q 1 = 0q 1 + 1 · 1∗ q 2 = 1∗
q 0 = 00∗ 11∗ + λ
q 1 = 0∗ 11∗
Teorema 3.4 (GR −→ AF ) Si L es un lenguaje generado por una gram´ atica regular G, entonces existe un aut´ omata finito M tal que L = L(G) = L(M ). Dem.- Podemos suponer sin p´erdida de generalidad que G = (V N , V T , S , P ) es una gram´ atica lineal derecha. Podemos obtener el diagrama del aut´ omata finito M = (V N ∪ {q F }, V T , ∆, S, {q F }) a partir de la gram´atica con el siguiente m´etodo: a
1. Si la regla A → aB ∈ P entonces a˜ nadimos el arco A −→ B a
2. Si la regla A → a ∈ P a˜ nadimos el arco A −→ q F λ
3. Si la regla A → λ ∈ P a˜nadimos el arco A −→ q F Esta es la parte constructiva de la demostraci´ on. Falta la parte inductiva para probar que el m´etodo es v´alido. Como en el caso del teorema anterior, hay que demostrar que w ∈ L(G) ⇔ w ∈ L(M ). Lo dejamos como ejercicio.
Ejemplo 3.11 Dada la gram´ atica con reglas: P = { S → 0A | λ, A → 0A | 1B, B → 1B | λ }. El AF que reconoce el lenguaje generado por esta gram´ atica es: 66
0 0 A 1 1 S B λ q F λ
8.
Minimizaci´ o n de un AFD
En esta secci´ on vamos a ver c´ omo podemos obtener un AFD equivalente a uno dado que tenga el menor n´ umero de estados posibles. Para ello es necesario definir antes una relaci´on de equivalencia en el conjunto de estados de un AFD. Definici´ on 3.1 Un estado q de un AF D es accesible si ∃ x ∈ V ∗ tal que (q 0 , x) ⊢∗ (q, λ). En otro caso el estado es inaccesible. Definici´ on 3.2 Decimos que dos estados p y q de un AFD son equivalentes y lo notamos p ≈ q, si cumplen:
∀ w ∈ V ∗ :
si (q, w) ⊢∗ (q ′ , λ) ∧ ( p, w) ⊢∗ ( p′ , λ) entonces q ′ ∈ F ⇔ p′ ∈ F
Por otro lado, decimos que p y q son distinguibles si no son equivalentes, o lo que es lo mismo, existe una cadena w tal que se produce una de las dos condiciones siguientes: q ′ ∈ F y p′ ∈ / F, o bien, q ′ ∈ / F y p′ ∈ F
on anterior podemos hacer las siguientes observaciones: Nota A partir de la definici´
1. Si tenemos dos estados q ∈ F y p ∈ / F entonces podemos asegurar que son distinguibles ya que tomando w = λ se cumple la definici´on. 2. Si sabemos que dos estados ( pa , q a ) son distinguibles y se tiene que pa = δ ( p, a), q a = δ (q, a) entonces podemos asegurar que ( p, q ) son distinguibles, ya que si una cadena w hace distinguibles a ( pa, q a ) entonces la cadena aw hace distinguibles a ( p, q ). ´ n de equivalencia en el conjunto de estados del aut´ 3. ≈ define una relacio omata y una forma de reducir el n´ umero de estados de un AF D ser´a encontrar las clases de equivalencia en el conjunto de estados y a partir de ah´ı construir un aut´ omata cuyos estados sean las clases de equivalencia. ´ mata cociente de M Definici´ on 3.3 Dado un AFD M = (Q,V,δ,q 0 , F ) se define el auto ′ ′ ′ ′ como M ≈ = (Q , V , δ , q 0 , F ) donde:
Q′ = Q / ≈ δ ′ ([q ] , a) = [δ (q, a)] q 0′ = [q 0 ] F ′ = F / ≈ 67
Teorema 3.5 Dado un aut´ omata finito determinista M , el aut´ omata cociente M ≈ es el aut´ omata m´ınimo equivalente a M . Este aut´ omata m´ınimo es u´nico, salvo isomorfismos (renombramiento de estados). Dem.- Primero tenemos que probar que M y M ≈ son equivalentes. Pero para eso basta probar que ∀ w ∈ V ∗ : w ∈ L(M ) ⇔ w ∈ L(M ≈ ). Para w = λ est´ a claro que λ ∈ L(M ) ⇔ q 0 ∈ F ⇔ ′ [q 0 ] ∈ F ⇔ λ ∈ L(M ≈ ). Cuando tenemos una palabra de longitud mayor que cero, por ejemplo w = a 1 a2 . . . an entonces w ∈ L(M ) ⇔ existe un c´alculo donde q in ∈ F y: (q 0 , a1 a2 . . . an ) ⊢M (q i1 , a2 . . . an ) ⊢ M . . . ⊢ M (q in 1 , an ) ⊢ M (q in , λ) −
⇔ q ij = δ (q ij 1 , a j ), ∀ 1 ≤ j ≤ n (por definici´ on de la relaci´on ⊢ ) ⇔ [q ij ] = [δ (q ij 1 , a j )], ∀ 1 ≤ j ≤ n (por definici´ on de clase de equivalencia) ′ on de δ ′ ) ⇔ [q ij ] = δ ([q ij 1 ], a j ), ∀ 1 ≤ j ≤ n (por definici´ ⇔ ([q 0 ] , a1 a2 . . . an ) ⊢M ([q i1 ] , a2 . . . an ) ⊢M . . . ⊢ M ( q in 1 , an ) ⊢ M ([q in ] , λ) donde [q in ] ∈ F ′ ⇔ w ∈ L(M ≈ ), como quer´ıamos demostrar. Ahora tenemos que probar no hay otro aut´ omata equivalente a M ≈ con menos estados que ´el. ′ Supongamos que M es equivalente a M y tiene menos estados que M ≈ . Entonces M ′ tiene que ser equivalente a M ≈ , lo cual implica que deben existir al menos dos estados distintos [p] y [q ] en Q / ≈ que son equivalentes pero esto implica que [ p] = [q ], lo cual es absurdo. Luego M ≈ es u ´ nico salvo isomorfismo (renombramiento de estados). −
−
−
≈
≈
≈
−
≈
Una vez demostrada la existencia y unicidad del aut´ omata m´ınimo mostramos en la figura 3.8 un algoritmo que calcula el aut´ omata cociente o aut´ omata m´ınimo. Aunque no vamos a demostrar formalmente la validez de este algoritmo, ser´ıa sencillo hacerlo a partir de la definici´ on que hemos dado de la relaci´ on de equivalencia de estados, del aut´ omata cociente y de los resultados expuestos en la nota anterior y el teorema 3.5. Aclaramos que cuando hablamos de on de la tabla T [i, j] cuando i > j o a T [ j, i] cuando i < j. par (q i , q j ) nos referimos a la posici´ El hecho de utilizar una tabla triangular se justifica porque si q i ≈ q j entonces q j ≈ q i , ya que la relaci´ on de equivalencia ≈ es sim´etrica. De esta forma se ahorra espacio de memoria. El marcado recursivo de lista(q i , q j ) significa que accedemos a todas posiciones correspondientes a las parejas de estados en lista(q i , q j ); marcamos estas celdas de la tabla y las celdas correspondientes a los pares de las listas asociadas a estas posiciones y as´ı sucesivamente hasta que no se puedan marcar m´as. Ejemplo 3.12 Vamos a calcular el aut´ omata m´ınimo correspondiente al siguiente aut´ omata:
q 0
a a
b
q 1
a b q 3 b a
q 4
a
b q 2
a q 5
b b
a
q 7 b
a
b q 6
Claramente se ve que el estado q 7 es inaccesible, por tanto, se puede eliminar este estado y sus transiciones. Tenemos que construir ahora una tabla triangular con filas desde q 1 hasta q 6 y columnas desde q 0 hasta q 5 . Marcamos la tabla que finalmente queda como sigue: 68
Entrada: Un AFD M = (Q,V,δ,q 0 , F ) con Q = { q 0 , . . . , qn }, V = {a1 , . . . , am } Salida: AF D m´ınimo M ≈ = (Q′ , V , δ′ , q 0′ , F ′ ) 1. Eliminar estados inaccesibles de M ; 2. Construir tabla T con filas desde q 1 hasta q n y columnas desde q 0 hasta q n−1 ; 3. Asociar a par (q i , q j ) una lista de parejas de estados lista (q i , q j ); 4. marcar (par (q i , q j )) donde un estado del par es final y el otro no; 5.
for i = 1 to n for j = 0 to i − 1
6. 7.
if p ar (q i , q j ) no marcado
8.
for k = 1 hasta m q r ← δ (q i , ak );
9. 10.
q s ← δ (q j , ak );
if par (q r , q s ) marcado
11.
marcar ( par (q i , q j ))
marcar-recursivamente (lista (q i , q j ));
break; 12.
else a˜ nadir a lista (q r , q s ) el par (q i , q j );
13.
end-if;
14.
if par (q i , q j ) no marcado entonces q i ≈ q j ;
15.
calcular Q ′ , q 0′ , δ ′ , F ′ seg´ un la definici´ on de aut´ omata cociente; Figura 3.8: Algoritmo de Minimizaci´ on de un AF D
q 1
X
q 2
X
q 3 q 4
q 5
q 6
X
X X X X q 0
X X (q 3 , q 0 )
X
X
X
X
X
X
X
X
q 2
q 3
q 4
q 1
X
X q 5
Las X recuadradas corresponden a las posiciones de la tabla que se marcan inicialmente (l´ınea 4 del algoritmo). Al final quedan sin marcar par (q 3 , q 0 ) y par (q 6 , q 1 ) y por tanto, q 0 ≈ q 3 y 69
q 1 ≈ q 6 . Y el aut´ omata cociente (m´ınimo) es:
M ≈ = {[q 0 ] , [q 1 ] , [q 2 ] , [q 4 ] , [q 5 ]} , {0, 1} , δ ′ , [q 0 ] , {[q 2 ]} cuyo diagrama de transici´ on es: a
a
[q 0 ]
a
b a
b
b
[q 1 ]
[q 4 ]
[q 5 ]
b
b [q 2 ]
a
actica ya que muchas El proceso de minimizaci´ o n de un AF D tiene gran importancia pr´ aplicaciones de reconocimiento de patrones y de control se basan en la implementaci´ o n de un AF D. Cuanto menos estados tenga el AF D m´ as eficiente ser´a la implementaci´ on.
9.
Aplicaciones: an´ alisis l´ exico
Una de las aplicaciones m´ as importantes de los AF s es la construcci´ on de analizadores l´exicos. Como vimos en el tema 1, dentro del contexto general de un compilador, un analizador l´exico (AL) tiene como principal funci´ on generar una lista ordenada de tokens a partir de los caracteres de entrada. Esos tokens , o componentes l´exicos, ser´ an usados por el analizador sint´ actico para construir el correspondiente ´arbol sint´ actico. Por otro lado, guarda informaci´ on sobre algunos tokens, necesaria en el proceso de an´alisis y s´ıntesis, en forma de atributos de esos componentes l´exicos. As´ı pues, se deber´ıa considerar al analizador l´exico como un m´ odulo subordinado al analizador sint´ actico (AS), tal y como se indica en el esquema de interacci´on entre ambos, que aparece en la figura 3.9. El analizador l´exico lee caracteres de entrada hasta que detecta que con el ultimo ´ car´ acter le´ıdo se puede formar un token, o un error en su caso, y comunica el evento correspondiente al analizador sint´ actico. Si no hubo error, el AS procesa el token, y el AL no vuelve a entrar en juego hasta que el analizador sint´ actico vuelva a necesitar otro token del flujo de entrada. Otra de las funciones principales del AL es la detecci´on y reparaci´ on de errores l´exicos , aunque en este nivel la tarea de recuperaci´on de errores no es muy sofisticada. Un error se produce cuando el AL detecta cualquier s´ımbolo que es incapaz de reconocer y/o clasificar. Por ejemplo, la mayor´ıa de versiones de PASCAL requieren que la expresi´ on de un n´ umero en punto flotante comience con un 0: el token 0,5 pertenecer´ıa al lenguaje y ,5 no. Otro error que el analizador l´exico podr´ıa detectar es el de exceder el n´ umero de caracteres m´aximo para un identificador. Programa Fuente
Token
Analizador Léxico
Analizador Sintáctico
Nuevo Token?
Figura 3.9: Esquema de interacci´ on AL-AS
70
9.1.
Especificaci´ on y reconocimiento de componentes l´ exicos
Los tokens se pueden describir mediante expresiones regulares y se pueden reconocer mediante aut´ omatas finitos. Una expresi´ on regular para un token, describe todos los lexemas que dicho token puede tener asociados. Los aut´ omatas finitos se construyen a partir de las expresiones regulares que describen los tokens. Para un buen reconocimiento l´exico, los posibles tipos de tokens se deben dise˜ nar con mucho cuidado. En general, un conjunto de cadenas a la entrada pueden corresponder al mismo componente l´exico de salida. Cada conjunto de cadenas se va a definir mediante un patr´ on, asociado a un token determinado. En la siguiente tabla se dan ejemplos de varios tipos comunes de componentes l´exicos, junto con lexemas ejemplo, y patrones que definen esos tokens. Token const if relaci´ on identificador n´ umero literal
Lexemas ejemplo const if <,≤,=,<>,≥ pi, cuenta, D2 3.1416, 0, 6.02E23 “vaciado de memoria”
Patr´ on no formal const if < ´o ≤ o´ = o´ <> o´ ≥ letra seguida de letras y d´ıgitos cualquier cte. num´ erica cualquier car´ acter entre “ y “ excepto “
Los componentes l´exicos ser´ an s´ımbolos terminales de la gram´ atica, y en la mayor´ıa de lenguajes de programaci´ on se van a considerar como componentes l´exicos las siguientes construcciones: Palabras clave: son cadenas que forman parte del lenguaje de programaci´ on en cuesti´ on. Operadores. Identificadores. Constantes (reales, enteras y de tipo car´ acter). Cadenas de caracteres. Signos de puntuaci´ on. Por simplicidad debe procurarse que los tokens sean sencillos y que los lexemas sean independientes. A´ un as´ı, podemos encontrarnos con problemas a la hora de reconocer tokens . A continuaci´ on analizamos algunos de ellos: A veces necesitamos leer uno o m´as caracteres extra de la entrada, denominados caracteres de anticipaci´ on , para decidir el c´ odigo de token reconocido. Por ejemplo, si el lenguaje de programaci´ on admite los operadores “<” y “<=”, es necesario, una vez que se lee de la entrada el s´ımbolo “<”, comprobar que si el siguiente es o no el s´ımbolo “=”. Las palabras clave pueden estar reservadas o no. Si son reservadas , su significado est´ a predefinido y el usuario no puede modificarlo us´ andolas como identificadores, por ejemplo. En este caso, el analizador l´exico debe reconocerlas directamente (a trav´ es del aut´ omata finito) o bien usando una tabla de palabras reservadas. Si las palabras clave no est´ an reservadas , entonces el analizador l´exico las reconoce como identificadores , y la tarea de distinguirlas de ´estos queda relegada al analizador sint´ actico. Por ejemplo, en PL/1 las palabras clave no son reservadas, y por lo tanto una sentencia de este tipo tiene sentido:
IF THEN THEN THEN = ELSE; ELSE ELSE = THEN;
Los comentarios deben ser reconocidos y eliminados. 71
Los blancos pueden actuar como delimitadores, en cuyo caso el AL debe eliminarlos sin m´ as, o pueden no tener este papel. En este caso, adem´ as de eliminarlos, el AL debe agrupar lexemas. Por otro lado, en algunos lenguajes con formato de l´ınea, como FORTRAN, se exige que ciertas construcciones aparezcan en posiciones fijas de la l´ınea de entrada (por ejemplo, que se comience en la columna 7). As´ı, la alineaci´ on de un lexema puede ser importante para determinar si es correcto o no. En este caso, la definici´ on de un token cuyo lexema est´ a formado por seis blancos, podr´ıa facilitar esta labor. Hoy en d´ıa, se tiende a dise˜ nar lenguajes de programaci´ on independientes del formato. La definici´ on del token EOF (End Of File) puede facilitar el an´alisis sint´ actico posterior, pues permitir´ıa comprobar si despu´ es del final del programa aparecen m´ as s´ımbolos, o bien si el fichero termina antes de que termine la escritura de un programa completo.
9.2.
Dise˜ no de un analizador l´ exico
El proceso que se sigue para la implementaci´on del analizador l´exico puede resumirse en los siguientes pasos: Identificar los tokens del lenguaje, y definirlos utilizando ERs como herramientas expresivas de descripci´on. Obtener el AF correspondiente a las ERs que ha de reconocer el AL. Minimizar el n´umero de estados del AF. Se ha de programar el aut´ omata, simulando su ejecuci´ on con la t´ecnica que se considere oportuna. Se ha de dise˜ nar el interface entre la entrada est´ andar, de donde proviene el programa fuente, y el AL. Una vez que se ha conseguido simular el aut´omata, los tokens reconocidos van a ser utilizados por el analizador sint´ actico. Por lo tanto se hace necesario el dise˜ n o de una interface adecuada, entre el AS y el aut´omata que simula el reconocedor. Normalmente se incluye el AL como una subrutina del AS, devolvi´ endole un token cada vez que el AS lo requiera, as´ı como la informaci´ on asociada a ´el. Con respecto a esto, es importante definir el TAD (Tipo Abstracto de Datos) que servir´ a como soporte a la tabla de s´ımbolos necesaria en este proceso de interacci´ on. Especificar qu´e tipo de manejo de errores va a seguir el AL. Ejemplo 3.13 Vamos a ver un ejemplo sencillo. El token que podemos llamar real representa las constantes reales en Fortran y se puede describir mediante la siguiente expresi´ on regular real = D + (λ + .) + (D∗ .D+ )
donde D a su vez describe la expresi´ on regular D = (0 + 1 + 2 + 3 + 4 + 5 + 6 + 7 + 8 + 9) Para simplificar, vamos a suponer que tenemos un c´ odigo fuente donde deben aparecer constantes reales separadas por blancos (denotado por B). El AFND-λ que reconoce una constante real seg´ un la expresi´ on regular anterior e ignora los blancos que pueda haber antes, es el de la figura 3.10. La nueva funci´ on de transici´ on ∆′ del AFND equivalente es: ∆′ (q 0 , 0 − 9) = { q 1 , q 4 } ∆′ (q 0 , ·) = {q 2 } ∆′ (q 0 , b) = { q 0 } ∆′ (q 1 , ·) = {q 2 } ∆′ (q 1 , 0 − 9) = { q 1 } 72
∆′ (q 2 , 0 − 9) = { q 3 } ∆′ (q 3 , 0 − 9) = { q 3 } ∆′ (q 4 , 0 − 9) = { q 4 } ∆′ (q 4 , ·) = { q 5 }
λ
0-9
q 1
0-9
0-9
q 2
·
0-9 q 3
q 0 B
·
q 4
q 5
0-9
Figura 3.10: AFN D-λ para real
Finalmente se obtiene un AF D cuya funci´ on de transici´ on δ se refleja en el diagrama de transici´ on de la figura 3.11
0-9
B
{q 0 }
0-9
{q 1 , q 4 }
· resto
resto
∅ {q 2 } resto V
·
{q 2 , q 5 }
resto
resto
0-9
0-9
{q 3 }
0-9
Figura 3.11: AF D para real
El AF D no es m´ınimo. Se puede comprobar que los estados { q 3 } y { q 2 , q 5 } son equivalentes. Si minimizamos el AF D y renombramos los estados que quedan, tenemos el diagrama de transici´ on del AF D m´ınimo en la figura 3.12. Ahora simulamos el AF D m´ınimo a partir de su diagrama de transici´ on , implementando en lenguaje C una funci´ on real1 que al ser l lamada nos dice si se ha le´ıdo una constante real correcta o no. Se supone que lee los caracteres de la entrada est´ andar. 73
0-9 B p0
0-9
p1
·
resto resto
·
resto 0-9 p4 p3 V resto 0-9 p2
Figura 3.12: AFD m´ınimo para real real1() {
int car;
1. while (isspace(car=getchar())); /* se mantiene en p0 */ 2. ungetchar(car); 3. if (isdigit(car=getchar())) { /* pasa a p1 */ for (car=getchar(); isdigit(car); car=getchar()); 4. if (car==’.’) { /* pasa a p3 */ 5. for (car=getchar(); isdigit(car); car=getchar()); 6. comprueba fin(); } /* puede acabar en p3 */ 7. else comprueba fin(); } 8. 9. else if (car==’.’) /* pasa a p2 */ if (isdigit(car=getchar())) { /* pasa a p3 */ 10. for (car=getchar(); isdigit(car); car=getchar()); 11. comprueba fin(); } 12. else puts(’’constante real incorrecta’’); 13. 14. else puts(’’constante real incorrecta’’); } comprueba fin()
15. 16. 17.
if (car==’\ n’) /* se ha leido toda la cte sin error*/ puts(’’constante real correcta’’); else puts(’’constante real incorrecta’’); }
Otra forma de simular el AF D es a partir de su tabla de transici´ on . A continuaci´ on mostramos la tabla y en lugar de poner una columna para cada s´ımbolo del alfabeto, utilizamos una de las columnas para todos los d´ıgitos y otra para los dem´ as caracteres que no sean un d´ıgito, el punto decimal o un car´ acter blanco. δ p0 p1 p2 p3 p4
b p0 p4 p4 p4 p4
0−9 p1 p1 p3 p3 p4
· p2 p3 p4 p4 p4
V − {0 − 9, ·, B } p4 p4 p4 p4 p4
A continuaci´ on mostramos el c´ odigo para simular el AF D a partir de esta tabla, que se corresponde con la funci´ on real2. 74
#define ERROR 4 real2() {
int estado, car, colum;
1.
int tabla[5][4]= {0,1,2,4,4,1,3,4,4,3,4,4,4,3,4,4,4,4,4,4}; /* asignaci´ on por filas y usamos colum 0 −→ para car´ acter blanco colum 1 −→ para d´ ıgitos colum 2 −→ para el punto decimal colum 3 −→ para el resto de caracteres */
2. estado=0; 3. While ((car=getchar())!= \ n’) { if (isspace(car)) colum=0; 4. else if (isdigit(car)) colum=1; 5. else if (car == ’.’) colum=2 ; else colum=3; 6. 7. estado=tabla[estado][colum]; } 8. if ((estado==1) (estado==3)) puts(’’constante real correcta’’); 9. 10. else puts(’’constante real incorrecta’’); }
9.3.
Manejo de errores l´ exicos
No son muchos los errores que puede detectar un scanner; sin embargo, puede darse la situaci´on de encontrar una cadena que no concuerde con ninguno de los patrones correspondientes a los tokens del lengua je. ¿Qu´e hacer entonces? El AL detectar´ a un error cuando no exista transici´ on v´ alida en el aut´ omata finito para el car´ acter de entrada. En este caso, el AL debe de informar del error, pero adem´ as, ser´ıa deseable que intentara recuperarse para seguir buscando otros errores. Aunque no existen m´etodos generales que funcionen bien en todos los casos, algunos de ellos se comportan de forma aceptable y son bastante eficientes. Por ejemplo: Recuperaci´on en modo p´ anico: este tipo de estrategia es la m´ as com´ un. Consiste en ignorar caracteres extra˜ nos hasta encontrar un car´ acter v´alido para un nuevo token. Borrar un car´ acter extra˜ no. Insertar un car´ acter que falta (e.g. reemplazar 2C por 2*C). Reemplazar un car´ acter incorrecto por otro correcto (e.g. reemplazar INTAGER por INTEGER si el lugar en donde aparece el primer lexema no es el indicado para un identificador). Intercambiar dos caracteres adyacentes. Se suele utilizar el modo p´ anico, pues las otras t´ecnicas, aunque m´ as sofisticadas, tambi´en son m´ as costosas de implementar. La recuperaci´ on de errores durante el AL puede producir otros en las siguientes fases. Por ejemplo, con el siguiente programa var numero : integer; begin num?ero:=10; end
el compilador podr´ıa producir los siguientes mensajes de error: ´ ERROR LEXICO: car´ acter no reconocido (?) 75
´ ERROR SEMANTICO: identificador no declarado (num) ´ ERROR SINTACTICO: falta operador entre identificadores ´ ERROR SEMANTICO: identificador no declarado (ero) En otras ocasiones, sin embargo, la recuperaci´ on en modo p´ anico no conlleva efectos en otros ´ambitos, como ser´ıa el caso del siguiente programa, en el se generar´ıa un s´ olo aviso de error l´exico (semejante al primero del ejemplo anterior): var i,j: integer; begin i:=1; ? j:=2; end
Finalmente, hay que tener en cuenta que existen errores que no son recuperables, como ocurrir´ıa por ejemplo, si se nos olvidara cerrar un comentario.
EJERCICIOS RESUELTOS 1. Dado un AFND que cumple | ∆(q, a)| ≤ 1 para todo estado y todo s´ımbolo del alfabeto ¿C´ omo se puede pasar de forma sencilla a un AF D equivalente? Este aut´ omata es “casi determinista”, lo u´nico que puede ocurrir es que la funci´o n de transici´ on no est´e definida para alguna pareja (estado, s´ımbolo). En este caso lo que hacemos es incluir un estado nuevo que act´ ua como estado de error , de forma que a ´el van a parar las transiciones no definidas y todos los arcos que salen del estado de error vuelven a ´el. De esta forma, si en un c´ alculo llegamos a una configuraci´ on con el estado de error, podemos estar seguros de que la palabra no ser´ a aceptada. Como ejemplo, podemos ver los siguientes diagramas de transici´ on: a
q 0
a
q 0
b q 1
b
q 1
a,b q err
AFND
a,b
AF D equivalente
La palabra abab no es aceptada por el AFN D ya que el u ´ nico c´ alculo posible es el siguiente: (q 0 ,abab) ⊢ (q 0 ,bab) ⊢ (q 1 , ab) ⊢ (no puede seguir) Con el AF D tenemos el siguiente c´alculo, donde se procesa toda la palabra, pero no acaba en configuraci´ on de aceptaci´ on: (q 0 , abab) ⊢ (q 0 ,bab) ⊢ (q 1 , ab) ⊢ (q err , b) ⊢ (q err , λ) 76
2. ¿Cual es la expresi´ on regular que describe el lenguaje aceptado por los aut´ omatas anteriores? Parece sencillo ver a simple vista que L(M ) = { an b | n ≥ 0 }, o lo que es lo mismo, L(M ) = L(a∗ b). Para estar seguros podemos aplicar el m´etodo de las ecuaciones caracter´ısticas. Se pueden obtener las ecuaciones para el AFND o el AF D indistintamente. Mejor obtener las correspondientes al AFN D que tiene menos estados: q 0 = aq 0 + bq 1 q 1 = λ
q 0 = aq 0 + b
q 0 = a ∗ b
Si obtenemos las ecuaciones para el AF D el resultado es el mismo: q 0 = aq 0 + bq 1 q 1 = (a + b)q err + λ q err = (a + b)q err
q 0 = aq 0 + bq 1 q 1 = (a + b) · ∅ + λ = λ q err = (a + b)∗ · ∅ = ∅
q 0 = aq 0 +b
q 0 = a ∗ b
3. Demostrar formalmente que L(M ) = {(aaa)n aa | n ≥ 0 }, donde M es el siguiente aut´omata finito:
q 0
a a
q 1
a
q 2
Si probamos que (q i , am ) ⊢∗ (q j , λ), donde j = (m + i) mod 3, entonces la palabra am ser´ a aceptada si (i = 0) y ( j = 2), siendo 2 = m mod 3. Luego debe ser m = 3n+2, n ≥ 0, y en este caso am = (aaa)n aa, que es lo que se indica en la descripci´o n de L(M ) en el enunciado. Por tanto tenemos que probar la siguiente hip´ otesis: HIP. : ∀ 0 ≤ i ≤ 2 se cumple (q i , am ) ⊢ ∗ (q j , λ) , donde j = (m + i) mod 3 Dem.- Lo demostramos por inducci´ on sobre m. Base.- (m = 0) Entonces j = i mod 3 = i y por ser la relaci´on de c´ alculo ⊢ ∗ reflexiva se tiene trivialmente que (q i , λ) ⊢ ∗ (q i , λ). Inducci´ on.- Supongamos que se cumple la hip´ otesis ∀ m ≤ k y vamos a demostrar que se cumple tambi´en para m = k + 1. Como m > 0 podemos afirmar que:
(q i , am ) ⊢ q i , am−1 ⊢ ∗ (q j , λ) ′
para alg´ un i ′ , j. Por definici´ on de la relaci´ on de c´ alculo y seg´ un el diagrama de transici´ on, ′ tenemos que i = (i + 1) mod 3. Por hip´otesis de inducci´ on podemos decir que j = (m − ′ ′ 1 + i ) mod 3. Sustituyendo el valor de i tenemos: j = (m − 1 + (i + 1) mod 3) mod 3 y por propiedades del m´odulo se tiene j = (m + i) mod 3, como quer´ıamos demostrar. Por tanto el lenguaje acepta las palabras de la forma am donde m = 3n + 2, ∀ n ≥ 0, condici´ on n que podemos expresar como L(M ) = { (aaa) aa | n ≥ 0 }. El ejemplo anterior nos muestra como un AF se puede usar para “contar” s´ımbolos o 77
verificar si se cumplen algunas propiedades aritm´eticas, como por ejemplo, un lengua je formado por palabras que tienen un n´ umero par de a′ s. Pero los AF s son bastante limitados en este sentido. Ya veremos en el tema siguiente que no se pueden reconocer con AF s lenguajes m´ as complicados como L = {an bn | n ≥ 0}, o el lenguaje L = { an | n es un cuadrado perfecto}.
4. Probar la hip´ otesis del teorema 3.1 que muestra la validez del m´ etodo para pasar de un AFND M N a un AFD M D equivalente. La hip´ otesis es: HIP. :
(S, w) ⊢ ∗M D (S ′ , λ) ⇔ S ′ = p ∈ Q | (q, w) ⊢∗M N ( p, λ) ∧ q ∈ S (1)
(2)
Dem.- Vamos a demostrarlo por inducci´ on sobre | w|. Base.- (|w| = 0). Entonces w = λ. Por (1) tenemos que (S, λ) ⊢∗M D (S ′ , λ) sii (por definici´ on de ⊢ ∗M D ) S = S ′ . Pero esto es as´ı ya que:
S ′ = p ∈ Q | (q, λ) ⊢ ∗M N ( p, λ) ∧ q ∈ S = S puesto que para que se de (q, λ) ⊢ ∗M N ( p, λ) debe ser p = q . Queda demostrado pues que (1) sii (2) para | w| = 0. Inducci´ on.- Supongamos que se cumple la hip´ otesis para palabras de longitud < n y vamos a demostrar que se cumple tambi´ en para |w| = n. Sea w = az con a ∈ V y |z | = n − 1. Por (1) y por definici´on de la relaci´on de c´alculo tenemos que: (S,az) ⊢ M D (S 1 , z) ⊢∗M D (i)
⇔
(S ′ , λ) (ii)
(i) S 1 = δ (S, a) = { r ∈ Q | r ∈ ∆(q, a) ∧ q ∈ S } por definici´ on de δ (ii)
S ′
=
p ∈ Q | (r, z) ⊢∗
M N
( p, λ) ∧ r ∈ S 1 por hip´ otesis
⇔ (por pertenecer r a S 1 ) S ′ = p ∈ Q | (r, z) ⊢∗M N ( p, λ) ∧ r ∈ ∆(q, a) ∧ q ∈ S ⇔
S ′ = p ∈ Q | (r, z) ⊢ ∗M N ( p, λ) ∧ (q,az) ⊢ M N (r, z) ∧ q ∈ S
⇔ (por ser ⊢ ∗M N la clausura reflexiva y transitiva de ⊢ M N ):
S ′ = p ∈ Q | (q, w) ⊢ ∗M N ( p, λ) ∧ q ∈ S ≡ (2), c.q.d Probada ya la hip´ otesis y en particular para S = { q 0 } podemos decir que se cumple:
({q 0 } , w) ⊢ ∗M D S ′ , λ ⇔ S ′ = p ∈ Q | (q 0 , w) ⊢ ∗M N ( p, λ)
Luego tenemos que w ∈ L(M D ) ⇔ S ′ ∈ F ′ ⇔ S ′ ∩ F = ∅ ⇔ ∃ pF ∈ F ∧ p F ∈ S ′ ⇔ (q 0 , w) ⊢ ∗M N ( pF , λ) ⇔ w ∈ L(M N ). As´ı que los dos aut´ omatas aceptan los mismos lenguajes, luego el m´etodo es v´ alido.
78
5. Escribir la tabla de transici´ on y el diagrama de transici´ on de un AF D tal que
L(M ) = w ∈ {a, b}∗ | b′ s(w) es par y encontrar un c´alculo que acepte la palabra aabba
Podemos dise˜ nar el AF D directamente, cuyas transiciones vienen dadas por:
a
b a q 0 q 1 b
a
b
0 #q
q 0
q 1
q 1
q 1
q 0
El c´ alculo para aabba es: (q 0 , aabba) ⊢ (q 0 , abba) ⊢ (q 0 ,bba) ⊢ (q 1 , ba) ⊢ (q 0 , a) ⊢ (q 0 , λ) Luego aabba ∈ L(M ).
6. Dado el AFD de la figura 3.13 se puede comprobar que los estados q 0 y q 1 son equivalentes y lo mismo pasa con los estados q 2 , q 3 , q 4 . Por tanto el aut´ omata m´ınimo es el que se refleja
q 1 0
1 q 3
1 0
0 1 1 q 2 q 0
0,1 q 5 1 0 q 4 0
Figura 3.13: AF D que acepta L(0∗ 10∗ ) en el siguiente diagrama: 0 [q 0 ]
0 1 [q 2 ]
1 [q 5 ]
0,1
7. Dada la gram´ atica con reglas de producci´ on P = { S → bA | λ, A → bB | λ, B → aA }. Obtener un AF D que acepte el lenguaje generado por la gram´atica y una expresi´ on regular que describa el lenguaje. 79
Este ejercicio podemos resolverlo de varias formas. Una de ellas ser´ıa obtener la expresi´ on regular a partir de la gram´ atica (seg´ un el m´etodo del tema 2) y luego obtener el aut´ omata a partir de la expresi´on regular, seg´ un el teorema de s´ıntesis de Kleene. En este caso es m´ as sencillo obtener el aut´ omata a partir de la gram´ atica, seg´ un el m´etodo que hemos mostrado en este tema. A continuaci´ on mostramos los diagramas del AFND-λ que se obtiene a partir de la gram´ atica y el AF D equivalente:
S λ q F b λ A B a
a
b A, q F
S a
a
b
B b
∅
a,b
Ahora podemos obtener el sistema de ecuaciones de expresiones regulares a partir de la gram´ atica o del aut´ omata. Lo hacemos a partir de la gram´ atica, ya que se obtienen menos ecuaciones: S = bA + λ A = bB + λ B = aA
S = bA + λ A = baA + λ
S = bA + λ A = (ba)∗ · λ
S = b(ba)∗ + λ
8. Minimizar el siguiente AFD
q 1
1 q 3
0,1
0
q 0 1
0
q 2 1 q 4 1 q 5 0 0,1 0
Aplicamos el algoritmo de minimizaci´ on y lo primero que hacemos es eliminar el estado inaccesible q 5 . Construimos y marcamos la tabla triangular de la figura 3.14. Podemos observar que q 1 ≈ q 2 y q 3 ≈ q 4 . Por tanto el aut´ omata m´ınimo M ≈ es el que se muestra en la figura 3.15. 9. Vamos a dise˜ nar un analizador l´exico para un sencillo lenguaje de programaci´ on denominado MICRO, cuyas especificaciones b´asicas son las siguientes: Tipo de dato: entero. No se declaran variables . Los identificadores empiezan por letra y se componen de letras, d´ıgitos y s´ımbolos de subrayado. 80
q 1
X
q 2
q 3 q 4
X
X
(q 2 , q 1 )
q 1
q 2
q 3
X
X
q 0
X
X
X
Figura 3.14: Marcado de la tabla
[q 0 ]
0 0,1 [q 1 ]
0,1 1 [q 3 ]
Figura 3.15: Aut´ omata m´ınimo Solo hay constantes enteras. Los comentarios comienzan por −− y terminan con EOL. Sentencias :
• ID:=expresi´on; • read ( lista de ID´s); • write ( lista de expresiones entre comas ); Palabras reservadas : begin, end, read, write. Las sentencias se separan con ”;”. El cuerpo del programa est´ a delimitado por begin/end. Separadores de tokens : espacios en blanco, tabuladores y new-line. Expresiones regulares ID : L(L+D+‘-´)* INTLITERAL : D+ LPAREN : ( RPAREN : ) SEMICOLON : ; COMMA : , ASSIGNOP : := PLUSOP : + 81
MINUSOP : SCANEOF : EOF BLANCOS : (’ ’+ ’\n’ + ’\t’)* COMMENT : −− C*EOL Aut´ omata finito En la figura 3.16 aparece el aut´ omata asociado a las expresiones regulares anteriores. Implementaci´ on El c´ odigo que implemente el aut´ omata finito anterior po dr´ıa ser el que aparece a continuaci´on, contenido en los archivos lexico.h y lexico.c .
/* * lexico.h */ typedef enum token_types { BEGIN, END, READ, WRITE, ID, INTLITERAL, LPAREN, RPAREN, SEMICOLON,COMMA, ASSIGNOP, PLUSOP, MINUSOP, SCANEOF }token; extern token scanner(void); extern char token_buffer[] /* * lexico.c */ #include "lexico.h" #include #include void buffer_char(char c); void clear_buffer(void); token check_reserved(void); void lexical_error(char c); char token_buffer[30]; token scanner(void) { int in_char,c; clear_buffer(); if (feof(stdin)) return SCANEOF; while ((in_char = getchar())!= EOF) { if (isspace(in_char)) continue; /*do nothing*/ else if (isalpha(in_char)) { /* * ID::= LETTER |ID LETTER
82
A...Z, 0...9,−
Q2
Q4
Q5
A...Z Q3
(
)
0...9 b,’\n’,’\t’
; Q1
Q6 , Q7 : Q8
Q9
=
+ Q10
char<>eol
−
Q11
−
Q12
eol
eof
Q14
Figura 3.16: Aut´ omata finito para reconocer las ER del lenguaje MICRO
83
Q13
* |ID DIGIT * |ID UNDERSCORE */ buffer_char(in_char); for(c=getchar();isalnum(c) || c==‘=‘;c=getchar()) buffer_char(c); ungetc(c,stdin); return check_reserved(); } else if (isdigit(in_char)){ /* * INTLITERAL::= DIGIT * | INTLITERAL DIGIT */ buffer_char(in_char); for(c=getchar();isdigit(c);c=getchar()) buffer_char(c); ungetc(c,stdin); return INTLITERAL; } else if (in_char == ’(’) return LPAREN; else if (in_char == ’)’) return RPAREN; else if (in_char == ’;’) return SEMICOLON; else if (in_char == ’,’) return COMMA; else if (in_char == ’+’) return PLUSOP; else if (in_char == ’:’) /*looking for ":="*/ c = getchar(); if ( c==‘=´) return ASSIGNOP; else { ungetc(c,stdin); lexical_error(in_char);} } else if (in_char == ’-’) { /* is it --, comment start */ c= getchar(); if ( c == ‘-´) { do in_char = getchar(); while (in_char !=‘\n´); } else { ungetc(c,stdin); return MINUSOP;} }else lexical_error(in_char); }}
Las palabras clave son reservadas, pero no se reconocen en el aut´ omata. La funci´ on check reserved() comprueba si el lexema del identificador corresponde a una de ellas. 84
La interfaz entre el programa fuente y el AL se resuelve usando la entrada est´andar (stdin) mediante las funciones getchar() para leer caracteres y ungetc(c,stdin) para devolver los caracteres de anticipaci´ on. La interfaz entre el AL y el AS se realiza mediante la devoluci´ on de un token cada vez que el AS lo necesita (funci´ on scanner()). Por otro lado, a trav´es de la variable global token buffer , se pasan al AS los caracteres que forman parte de un identificador o constante entera. La funci´ on buffer char(c) se encarga de a˜nadir un car´acter al buffer, y clear buffer() borra todos sus caracteres. El manejo de errores lo realiza la funci´ on lexical error(c), que informa de dicho error, continuando el an´ alisis por el siguiente car´ acter.
EJERCICIOS PROPUESTOS Se proponen los siguientes ejercicios para resolver en pizarra. 1. Construir AFDs para los siguientes lenguajes: L1 = { w ∈ {a, b}∗ | abab es subcadena de w } L2 = { w ∈ {a, b}∗ | ni aa ni bb es subcadena de w} L3 = { w ∈ {a, b}∗ | ab y ba son subcadenas de w } L4 = { w ∈ {a, b}∗ | bbb no es subcadena de w} 2. Encontrar un AF D equivalente al AFN D M N = ({q 0 , q 1 } , {0, 1} , ∆, q 0, {q 1 }) donde ∆(q 0 , 0) = {q 0 , q 1 } , ∆(q 0 , 1) = { q 1 } , ∆(q 1 , 0) = ∅, ∆(q 1 , 1) = { q 0 , q 1 } 3. Obtener el AF D equivalente al siguiente aut´ omata a λ
q 0
λ
q 1
q 3
a
λ b q 2
a
λ
b
q 4
4. Construir un AF D y obtener la expresi´on regular asociada al lenguaje L = { w ∈ {a, b}∗ | cada a en w est´ a precedida y seguida por una b } 5. Obtener la expresi´ on regular asociada al lenguaje aceptado por el aut´ omata
q 0
a q 1
a
q 2
b
a b
85
q 3
a
b
q 4
b
6. Demostrar la hip´ otesis del teorema 3.2 para probar que w ∈ L(M λ ) ⇔ w ∈ L(M N ), para |w| ≥ 1. 7. Dada la expresi´ on regular α = a(bc)∗ (b + bc) + a: obtener un AFN D-λ, un AFN D y un AF D que reconozcan L(α) y un c´alculo para reconocer la palabra abcb con cada uno de los aut´ omatas. 8. Indicar un m´etodo para obtener un AF que reconozca LR a partir del AF que reconoce L. 9. Obtener un AF D que reconozca el lenguaje formado por palabras sobre el alfabeto V = {0, 1} que tienen un n´ umero par de ceros o un n´ umero de unos que sea m´ ultiplo de tres. Resolver las ecuaciones caracter´ısticas para obtener la expresi´ on regular correspondiente. 10. Obtener la expresi´ on regular que describe el lenguaje aceptado por el aut´ omata: a q 0
b a b λ q 1 q 2 λ a
11. Obtener un AF D que reconozca el lenguaje descrito por la expresi´ on regular (d(ab)∗ )∗ da(ba)∗ . 12. Dada la expresi´ on regular (ab)∗ (ba)∗ + aa∗ : a ) Obtener el AFD m´ınimo equivalente. b) Aplicar el m´etodo AF D-m´ınimo −→ GR. c ) Obtener la gram´ atica G con el m´etodo de las derivadas. 13. Dado el siguiente AF que llamaremos M 1 :
0
q 0
λ q 1
q 2 λ
q 4 1 0 q 3 λ
0
q 5
λ
a ) Mostrar el c´ alculo por el que M 1 acepta la palabra 0101 y todas las configuraciones de parada posibles ¿Existen c´ alculos infinitos? b) Modificar el diagrama de transici´ on para obtener el AFN D equivalente M 2 . c ) ¿Cuantos pasos de c´ alculo se necesitan en M 2 para aceptar la palabra 0101? En este sentido ¿es m´ as eficiente M 2 que M 1 ? ¿Por qu´e? d ) Mostrar la gram´ atica G 2 a partir de M 2 . Obtener una gram´ atica equivalente G 3 sin λ-producciones. e ) Obtener el AF D m´ınimo equivalente. 14. Dado el siguiente AF D: 86
0 1 B 0
0
A
15.
1
D 0 1
C
1 1 0 E
a )
Minimizar el aut´ omata.
b)
Obtener la gram´ atica regular correspondiente.
0
F
0 1
1 G
Dada la expresi´ on regular 0(0 + 1)∗ 0 + 10∗ (1(0 + 1)∗ 0 + λ) + λ: a )
Obtener el AF D m´ınimo M .
b)
Obtener la GR que corresponde a la expresi´on regular por el m´etodo de las derivadas.
CUESTIONES BREVES 1.
Sea M Q,V el conjunto de todos los AFDs con conjunto de estados Q, alfabeto V , el mismo estado inicial y cada uno de ellos con un s´olo estado final. ¿Cu´ al es el cardinal de M Q,V ?
2.
Sea M un AF (de cualquier tipo) con estado inicial q 0 . Si q 0 no es un estado final, ¿podemos asegurar que λ no pertenece a L(M )?
3.
Si dos AF s tienen distinta funci´ on de transici´ on, ¿podemos asegurar que reconocen distintos lenguajes? ¿Y si los dos aut´ omatas fueran deterministas?
4.
Dado un AFND M y una palabra w ∈ L(M ), ¿es posible que exista un c´alculo para w cuya configuraci´ on de parada no sea de aceptaci´ on?
5. Explicar c´ omo se obtendr´ıa el AF que reconoce L(α) ∪ L(β ), siendo α y β expresiones regulares.
´ NOTAS BIBLIOGRAFICAS 1. Respecto a los distintos tipos de aut´ omatas que hemos visto, nosotros hemos diferenciado entre AFN D y AFN D-λ, siguiendo el ejemplo de autores como [Hop79] (cap´ıtulo 2, que recomendamos para las secciones 1,2,3,4 y 7). 2. En cuanto a la definici´ on de lenguaje aceptado por un aut´ omata, hemos usado el concepto de configuraci´ on y relaci´on de c´ alculo , como en el libro de [Lew81] (cap´ıtulo 2) (consultar para las secciones 5 y 6). Hemos preferido usar este enfoque porque consideramos m´ as intuitivo el definir una relaci´ o n de c´ alculo, que definir el lenguaje en t´erminos m´ as abstractos mediante el uso de la extensi´ on de la funci´ on de transici´ on (como hacen otros autores). Adem´ as los conceptos de configuraci´o n y c´alculo y el uso que se hace de ellos para definir el lenguaje aceptado por una m´ aquina abstracta, seguiremos us´ andolos para el resto de m´aquinas que estudiaremos en el curso. 87
3.
Por u ´ltimo, en relaci´ o n a los teoremas de Kleene, s´ olo existen diferencias sustanciales en la demostraci´ on del teorema de an´ alisis. Nosotros hemos optado por el algoritmo de resoluci´ on de sistemas de ecuaciones de expresiones regulares (ver [Isa97], cap´ıtulo 3), que se aplica tambi´ en en el tema anterior para obtener una expresi´ on regular a partir de una gram´ atica regular. Para el teorema de s´ıntesis de Kleene se puede consultar el libro de [Hop79] (cap´ıtulo 2).
88
CAP´ITULO 4: ´ GRAMATICAS LIBRES DEL CONTEXTO
Contenidos Te´oricos 1. Definiciones b´ asicas 2. Transformaciones en gram´ aticas libres del contexto 3. Formas normales
1. 1.1.
Definiciones b´ asicas Gram´ aticas libres del contexto
De entre las cuatro clases de gram´ aticas de la clasificaci´ on de Chomsky, el grupo m´as importante, desde el punto de vista de la aplicabilidad en teor´ıa de compiladores, es el de las gram´ aticas independientes o libres del contexto. Las gram´ aticas de este tipo se pueden usar para expresar la mayor´ıa de estructuras sint´ acticas de un lenguaje de programaci´ on. En este apartado vamos a sentar las bases para el estudio del parsing . Recordemos que las gram´ aticas libres del contexto ten´ıan la siguiente definici´ on: Definici´ on 4.1 Una gram´ atica libre del contexto G = (V N , V t , S , P ) es aquella cuyas producciones tienen la forma A → α, siendo A ∈ V N y α ∈ (V N V T )∗ .
A continuaci´ on, se resumen algunas de las definiciones fundamentales, relacionadas con las gram´ aticas libres de contexto, que tendr´an inter´ es en el estudio de los m´etodos de an´ alisis sint´ actico, hasta llegar a la definici´ on de arbol ´ de derivaci´ on : Definici´ on 4.2 Sea una gram´ atica G = (V N , V T , P , S ) . Se dice que la cadena α produce directamente a la cadena β , denot´ andolo α ⇒ β , si se puede escribir α = δAµ y β = δγµ para alguna cadena δ y µ ∈ (V T ∪ V N )∗ , y adem´as existe A → γ ∈ P . Si aplicamos repetidamente el concepto de derivaci´ on directa, con p.ej: α ⇒ γ 0 ⇒ γ 1 ⇒ . . . ⇒ γ n = β, n > 0 entonces se dice que la secuencia anterior es una derivaci´on de longitud n. Esta derivaci´ on se + ∗ puede expresar α ⇒ β . Para incluir el caso de la identidad, α ⇒ β . Definici´ on 4.3 Sea una gram´ atica G = (V N , V T , P , S ) . Para cualquier A ∈ V N y α ∈ (V N ∪ V T )∗ se dice que A ⇒∗ α si α se deriva del axioma, con una cadena de derivaciones de longitud cualquiera, incluso nula. 89
Definici´ on 4.4 El lenguaje definido por una gram´ atica G, denotado L(G) es el conjunto de cadenas de s´ımbolos terminales, que se pueden derivar partiendo del axioma de la gram´ atica, y empleando para las derivaciones las reglas de producci´ on de P . Es decir: L(G) = {x/S ⇒ ∗ x , y x ∈ T ∗ } Definici´ on 4.5 Sea una gram´atica G = (V N , V T , P , S ) . Las formas sentenciales de G vienen dadas por el conjunto D(G) = {α / S ⇒ ∗ α y α ∈ (V N ∪ V T )∗ } Definici´ on 4.6 Una forma sentencial x, tal que x ∈ V T ∗ se dice que es una sentencia. Definici´ on 4.7 Sea una gram´atica G = (V N , V T , P , S ) . Sea una forma sentencial αβγ en donde ∗ α ∈ V T , β ∈ V N y γ ∈ (V T ∪ V N )∗ . Una derivaci´ on izquierda se obtiene sustituyendo β por alguna de las partes derechas que la definen. Definici´ on 4.8 Sea una gram´atica G = (V N , V T , P , S ) . Sea una forma sentencial αβγ en donde α ∈ (V T ∪ V N )∗ , β ∈ V N y γ ∈ V T ∗ . Una derivaci´ on derecha se obtiene sustituyendo β por alguna de las partes derechas que la definen. Es decir, una derivaci´on m´ as a la izquierda (resp. derecha) para una forma sentencial, es una derivaci´on que, comenzando con el s´ımbolo inicial, acaba en esa forma sentencial, y en cada derivaci´on directa, siempre se aplica una regla de producci´on correspondiente a la variable m´ as a la izquierda (resp. derecha) de la cadena que se est´a derivando. Se dice entonces que la forma sentencial es una forma sentencial izquierda (resp. derecha). Un ejemplo de este tipo de derivaciones, para la gram´ atica A → BF B → EC E → a C → b F → c puede verse en la figura 4.1. Definici´ on 4.9 Sea G una GLC y α ≡ γ 1 βγ 2 una de sus formas sentenciales. Se dice que β es una frase de la forma sentencial α respecto de la variable A sii: S ⇒ ∗ γ 1 Aγ 2 A ⇒ + β Definici´ on 4.10 Se dice que β es una frase simple sii: S ⇒ ∗ γ 1 Aγ 2 A ⇒ β Definici´ on 4.11 A una derivaci´ on m´ as a la derecha S ⇒ md γ 1 ⇒ md γ 2 ⇒ md ...γ n−1 ⇒ md γ n de longitud n, le corresponde una reducci´on por la izquierda 90
A D Derivación derecha I Derivación izquierda BF I
D
ECF
Bc
I D aCF
EbF
ECc
ECc
I abF
D aCc
abF
Ebc
aCc
Ebc
aCc
Ebc
I
D abc
abc
abc
abc
abc
abc
abc
abc
Figura 4.1: Ejemplo de derivaciones izquierda y derecha
R R γ n ⇒ R mi γ n−1 ⇒ mi ... ⇒ mi S
d´onde en cada paso γ i ⇒R on por mi γ i−1 se sustituye la parte derecha de una regla de producci´ su parte izquierda. Si γ i = α 1 βα 2 y γ i−1 = α 1 Aα2 entonces A → β ∈ P . β es una frase simple, respecto de A, de γ i , y adem´as es el pivote de la forma sentencial. Definici´ on 4.12 Se llama pivote de una forma sentencial α a la frase simple situada m´ a s a la izquierda de α. El pivote de una forma sentencial derecha α se calcula obteniendo una derivaci´o n m´ a s a la derecha hasta llegar a α, y luego, se observa qu´e frase simple de α se corresponde con la parte derecha de una regla de producci´on, tal que al aplicarla, se reduzca a la forma sentencial anterior. Por ejemplo, consideremos la gram´ atica generada por las siguientes producciones: S → zABz B → CD C → c D → d A → a α ≡ zAcdz es forma sentencial derecha, porque 91
S ⇒ zABz ⇒ zACDz ⇒ zACdz ⇒ zAcdz c es frase simple de α respecto de C . d es frase simple de α respecto de D. El pivote es c, pues es la frase simple situada m´ as a la izquierda. Definici´ on 4.13 Un ´arbol ordenado y etiquetado D es un ´arbol de derivaci´on para una gram´ atica libre de contexto G(A) = (V N , V T , P , A) si: 1.
La ra´ız de D est´ a etiquetada con A.
2.
Si D 1 , . . . , Dk son los sub´ arboles de los descendientes directos de la ra´ız, y la ra´ız de cada Di est´ a etiquetada con X i , entonces A → X 1 · · · X 2 ∈ P . Adem´ as D i debe ser un ´arbol de derivaci´on en G(X i ) = (V N , V T , P , Xi ) si X i ∈ N , o bien un nodo hoja con etiqueta X i si X i ∈ T .
3. Alternativamente, si D1 es el u ´ nico sub´ arbol de la ra´ız de D, y la ra´ız de D1 tiene como etiqueta λ, entonces A → λ ∈ P . Los ´arboles que aparecen en la figura 4.2 son ´arboles de derivaci´on para la gram´ atica G siguiente: S → aSbS |bSaS |λ S
S S
e
a b
S S e
b a
a
S S
e
S e
b a
e
S S e
b
S e
´ Figura 4.2: Arboles de derivaci´on En una gram´ atica libre de contexto, una secuencia de derivaciones directas S ⇒ γ 1 ⇒ γ 2 ⇒ ...γ n−1 ⇒ γ n ≡ w que conduzcan del s´ımbolo inicial a una sentencia de la gram´ atica, puede representarse mediante un arbol ´ de derivaci´ on . A un mismo a´rbol pueden corresponderle derivaciones distintas, pero a una derivaci´ on le corresponde un u ´ nico a´rbol.
1.2.
Aut´ omatas de pila (pushdown automata )
Si para las expresiones regulares ten´ıamos a nuestra disposici´ on ciertas m´ aquinas abstractas, aut´ omatas finitos, que las reconoc´ıan, para las CFG vamos a usar otro tipo de m´ aquina reconocedora denominada aut´ omata de pila. Estas se diferencian de los aut´ omatas finitos en que se ayudan para sus transiciones de una memoria con estructura de pila. Como en los anteriores, la transici´ on entre estados depende del s´ımbolo le´ıdo y del estado actual. Cada transici´ on implica la modificaci´ on de la pila. 92
Definici´ on 4.14 Un aut´ omata de pila se define como una 7-tupla AP = (Q,V, Σ, δ , q0 , z0 , F ) en donde: Q es un conjunto finito de estados. V es el alfabeto de entrada. Σ es el alfabeto de la pila. q 0 es el estado inicial. z0 es el s´ımbolo inicial de la pila. F ⊆ Q es el conjunto de estados finales. δ es la funci´ on de transici´ on: ∗
δ : Q × (V ∪ {λ}) × Σ → 2 Q×Σ
Observar que el aut´omata es no determinista ya que dado un estado, un s´ımbolo del alfabeto de entrada y otro del alfabeto de la pila, puede pasar a distintos estados y reemplazar el tope de la pila por distintas cadenas γ i , avanzando o no la cabeza lectora una posici´ on: δ (q,a,z) = { (q 1 , γ 1 ), (q 2 , γ 2 ), . . . , (q m , γ m )} Definici´ on 4.15 Se entiende por configuraci´ on de un aut´omata con pila a su situaci´ on en un instante considerado expresada formalmente por medio de una tripla (q,w,α) ∈ (Q × V ∗ × Σ∗ ) en d´onde: q ∈ Q es el estado actual del aut´ omata. w ∈ V ∗ es la subcadena de entrada que aun no se ha analizado. α ∈ Σ ∗ es el contenido actual de la pila. Si w = λ no queda nada por analizar. Si α = λ se ha reconocido la cadena. Definici´ on 4.16 Un movimiento de un AP es una transici´ on entre configuraciones. Por ej. el movimiento (q,aw,Zα) ⊢ (q ′ ,w,βα) es un movimiento v´ alido siempre y cuando ′ ′ ∗ ∗ (q , β ) ∈ δ (q,a,Z ) con q ∈ Q, a ∈ (V ∪ λ), w ∈ V , α, β ∈ Σ . Se debe se˜ nalar que un AP no puede realizar ning´un movimiento si la pila est´ a vac´ıa. Entonces, un aut´ omata de pila reconocer´ a una cadena de entrada por estado final sii partiendo de su configuraci´on inicial, (q 0 , t , Z0 ), llega a una configuraci´ o n final (q f , λ , α) empleando movimientos v´ alidos y lo expresamos: (q 0 , t , Z0 ) ⊢∗ (q f , λ , α), q f ∈ F, α ∈ Σ ∗ La cadena ser´a aceptada por vaciado de pila si despu´es de leerse toda la cadena se llega a un estado con la pila vac´ıa, independientemente del tipo de estado en el que se encuentre el AP. Veamos un ejemplo. A continuaci´ on se presenta la gram´ atica cl´ asica de expresiones aritm´eticas de suma y producto: 93
S → S + A S → A A → A ∗ B A → B B → (S ) B → a Sea el aut´ omata AP = (Q,V, Σ,δ,q,s, ∅) en donde Q = {q }. y δ se define como: δ (q,λ,S ) = {(q, S + A), (q, A)} δ (q,λ,A) = { (q, A ∗ B), (q, B)} δ (q,λ,B) = {(q, (S )), (q, a)} δ (q,OP,OP ) = {(q, λ)} siendo OP = {a, +, ∗, (, )}. Una parte del a´rbol generado para la sentencia a + a ∗ a aparece en la figura 4.3. Vamos a presentar otro ejemplo: el del reconocimiento de un pal´ındromo impar restringido. Sea el lenguaje formado por las cadenas del conjunto L = {tctr |siendo t = (a + b)∗ } Con tr indicamos la cadena inversa a t. La estrategia a seguir es la de ir apilando la cadena t conforme se va leyendo hasta que aparezca el s´ımbolo c, y despu´es se va comparando s´ımbolo a s´ımbolo, el de entrada con la cabeza de la pila. Si la cadena se reconoce, se agotar´ an a la vez la entrada y la pila. El aut´ omata ser´ a: AP = {{ q 0 , q 1 , q 2 .q 3 }, {a,b,c}, {a,b,c}, δ , q0 , z0 , {q 3 }} La funci´on δ ser´a: δ (q 0 , a , z0 ) = (q 1 , az0 ) δ (q 0 , b , z0 ) = (q 1 , bz0 ) δ (q 1 , a , λ) = (q 1 , a) δ (q 1 , b , λ) = (q 1 , b) δ (q 1 , c , λ) = (q 2 , λ) δ (q 2 , a , a) = (q 2 , λ) δ (q 2 , b , b) = (q 2 , λ) δ (q 2 , $, z0 ) = (q 3 , λ) La representaci´on gr´ afica es m´ as compleja, y m´ a s a´ un si el aut´ omata es no determinista, que la de los AF, pero tambi´en se puede construir una representaci´ on basada en tablas, solo que ahora habr´ a una tabla que determine la transici´on de los estados, y otra tabla que determine la evoluci´ on en la pila. En las siguientes tablas aparece especificado el ejemplo anterior: En la tabla 4.1 se muestran los cambios de estado, y en la tabla 4.2 se muestran los cambios de pila. Vamos a verlo con un ejemplo. Veamos como el AP reconoce la cadena abcba que efectivamente es un pal´ındromo. La secuencia de movimientos ser´ıa: (q 0 ,abcba,z0 ) ⊢ (q 1 ,bcba,az0 ) (q 1 ,bcba,az0 ) ⊢ (q 1 ,cba,baz0 ) (q 1 ,cba,baz0 ) ⊢ (q 2 ,ba,baz0 ) 94
Q q 0 q 1 q 1 q 2 q 2 q 2
P z0 a b a b z0
a q 1 q 1 q 1 q 2
b q 1 q 1 q 1
c
$
q 2 q 2
q 2 q 3
Cuadro 4.1: Cambios de estados Q q 0 q 1 q 2 q 2 q 2
P z0 α aα bα z0
a az0 aα α
b bz0 bα
c
$
α
α λ
Cuadro 4.2: Cambios de pila
(q 2 ,ba,baz0 ) ⊢ (q 2 ,a,az0 ) (q 2 ,a,az0 ) ⊢ (q 2 , λ , z0 ) (q 2 , λ , z0 ) ⊢ (q 3 , λ , λ) Un ejemplo de una cadena que no es un pal´ındromo podr´ıa ser el de reconocimiento de la cadena abcca, con el que la secuencia de movimientos ser´ıa la siguiente: (q 0 ,abcca,z0 ) ⊢ (q 1 ,bcca,az0 ) (q 1 ,bcca,az0 ) ⊢ (q 1 ,cca,baz0 ) (q 1 ,cca,baz0 ) ⊢ (q 2 ,ca,baz0 ) (q 2 ,ca,baz0 ) ⊢ (!error, ca, baz0 )
2. 2.1.
Transformaciones en gram´ aticas libres del contexto Factorizaci´ on
A veces no est´a claro qu´e dos producciones alternativas utilizar para derivar con un no-terminal A, puesto que ambas comienzan por la misma cadena de s´ımbolos. En algunos m´ etodos de an´ alisis sint´ actico esto supone un problema. En estos casos, se deber´ıa reescribir la gram´ atica para retrasar lo m´ as posible esa decisi´ on. Esto lo hacemos factorizando la gram´ atica. El algoritmo formal para realizar la operaci´ on anterior gen´ericamente es el que se presenta a continuaci´ on.
95
(q,a+a*a,S)
. ..
(q,a+a*a,A) (q,a+a*a,S+A) (q,a+a*a,A+A)
(a,a+a*a,B+A) (q,a+a*a,(S)+A)
. ..
. .. (q,a+a*a,A*B+A) . ..
(q,a+a*a,S+A+A)
(q,a+a*a,a+A) (q,+a*a,+A)
(q,a*a,A)
. ..
(q,a*a,B) (q,a*a,A*B) (q,a*a,B*B) (q,a*a,(S)*B) (q,a*a,a*B)
. ..
(q,*a,*B) (q,a,B) (q,a,a) (q,\,\)
´ Figura 4.3: Arbol resultado del reconocimiento de a + a ∗ a
96
Algoritmo 4.1 Factorizaci´on por la izquierda de una gram´ atica. Entrada: La gram´ atica G. Salida: Una gram´ atica equivalente y factorizada por la izquierda. M´etodo: Para cada no-terminal A, sea α el prefijo m´as largo com´ un a dos o m´ as de sus alternativas. Si α = λ, o lo que es lo mismo, existe un prefijo com´ un no trivial, se han de sustituir todas las producciones de A, A → αβ 1 |αβ 2 | · · · |αβ n |γ donde γ representa a todas las partes derechas que no comienzan con α, por A → αA ′ |γ A′ → β 1 |β 2 | · · · |β n Aplicar la transformaci´ on hasta que no haya dos alternativas para un noterminal con un prefijo com´ un no trivial.
2.2.
Eliminaci´ on de S´ımbolos in´ utiles
Definici´ on 4.17 Sea G = (V N , V T , S , P ) una gram´ atica libre de contexto. Decimos que un s´ımbolo X ∈ V N V T es u ´ til si existe una derivaci´ on de la forma:
d´onde w ∈ V T ∗ , α , β ∈ (V N
S ⇒ ∗ αXβ ⇒ ∗ w
V T )+ .
Pasos para eliminar los s´ımbolos no u ´tiles de una gram´ atica 1. Eliminaci´ on de variables improductivas. 2. Eliminaci´ on de s´ımbolos inaccesibles. Para que el proceso sea correcto, el orden debe ser el anterior. Definici´ on 4.18 Una variable A ∈ V N es improductiva si no existe ninguna derivaci´on tal que ∗ A ⇒ w con w ∈ V T ∗ . Definici´ on 4.19 Un s´ımbolo X es inaccesible si no aparece en ninguna forma sentencial de la gram´ atica, es decir, ¬∃ α, β ∈ (V N V T )∗ tal que S ⇒ ∗ αXβ .
Eliminaci´ on de variables improductivas Teorema 4.1 Dada una g.l.c. G = (V N , V T , S , P ), con L(G) = ∅ , existe una g.l.c. equivalente ′ , V , S , P ′ ) tal que A ′ se cumple que existe una serie de derivaciones tal que G′ = (V N ∀ ∈ V N T A ⇒ ∗ w, w ∈ V T ∗ , es decir, existe una gram´atica equivalente sin variables improductivas. ′ y P ′ ) es el siguiente: El algoritmo para el c´ alculo de G ′ (V N
97
Algoritmo 4.2
begin
OLDV := ∅ NEWV := {A ∈ V N |A → w ∈ P , w ∈ V T ∗ } = NEWV do while OLDV begin OLDV := NEWV NEWV := OLDV {A ∈ V N |A → α, α ∈ (V T end ′ V N := NEWV ′ ′ , α (V ′ P = {A → α ∈ P |A ∈ V N ∈ N V T )∗ }
OLDV )∗ }
end
Eliminaci´ on de s´ımbolos inaccesibles Teorema 4.2 Dada una g.l.c. G = (V N , V T , S , P ), con L(G) = ∅, existe una g.l.c. equivalente ′ , V , S , P ′ ) sin s´ G′ = (V N ımbolos inaccesibles. T ′ , V ′ y P ′ ) es el siguiente: El algoritmo para el c´ alculo de G′ (V N T
begin
Algoritmo 4.3
′ V N := {S }; V T ′ := ∅; P ′ := ∅;
repeat ′ , A → α |α | · · · |α for A ∈ V N un 1 2 n , no procesada a´ ′ {a~ n adir todas las variables de αi a V N a~ nadir todos los terminales de αi a V T ′ } ′ until V N no var´ ıe ′ ′ ∧ α ∈ (V ′ P = {A → α ∈ P |A ∈ V N V T ′ )∗ } N end
Teorema 4.3 Dada una gram´atica libre de contexto G, con L(G) = ∅, existe una GLC G’ equivalente sin s´ımbolos in´ utiles. Los pasos a seguir ser´ıan: Pasamos de G a G1 seg´ un el algoritmo 4.2. Pasamos de G1 a G’ seg´ un el algoritmo 4.3. G’ no contiene s´ımbolo in´ utiles, es decir, todo s´ımbolo X ∈ (V N ∪ V T ) es tal que S ⇒ ∗ αXβ ⇒ ∗ w.
2.3.
Conversi´ o n de una gr´ amatica a λ-libre
Definici´ on 4.20 Decimos que una gram´atica l.c. G = (V N , V T , S , P ) es λ-libre si cumple que en sus reglas de producci´on no aparece ninguna de la forma A → λ, excepto a los sumo S → λ, con la condici´ on de que S no aparezca en la parte derecha de ninguna otra regla de producci´on. ′ , V , S ′ , P ′ ) Teorema 4.4 Dada una g.l.c. G = (V N , V T , S , P ), existe una g.l.c. equivalente G′ = (V N T que es λ-libre.
98
′ , S ′ y P ′ ) es el siguiente: El algoritmo para calcular G’ (V (V N
Algoritmo 4.4 ∗ 1. Obte Obtene nemo moss V λ = { A ∈ V N N |A ⇒ λ}: Conjunto de variables anulables Inicialmente V λ contiene A contiene A si A → λ. λ . Luego, si tenemos B tenemos B → x 1 x2 . . . xn y xi ∈ V λ ∀i, a˜ nadir nadir B.
2. Obte Obtene nemo moss P ′ del siguiente modo: Por cada producci´ on A on A → x 1 x2 . . . xk (k > 0) a˜ nadimos: nadimos: A → Y 1 Y 2 . . . Yn , d´ onde onde cada Y i es: a ) Si x Si x i no es anulable entonces Y entonces Y i = x = x i b ) Si x Si x ∈ V λ , entonces se toma Y toma Y i como xi y como λ como λ c ) No anadir n ˜adir ninguna producci´ producci´ on A on A → λ 3.
′ = V y S ′ = S . ∈ L( Si λ L (G) entonces V entonces V N N N En otro caso,
si S si S no no aparece en la parte derecha • A˜ nadir nadir la producci´ on S on S → λ ′ = V y S ′ = S • V N N N en otro caso ′ = V ′ siendo S ′ el nuevo s´ ımbolo ımbol o inicial inicia l • V N N N {S }, siendo S nadir a P a P ′ S ′ → S |λ • A˜nadir
Es import i mportante ante observar o bservar que G’ podr´ p odr´ıa ıa quedar con s´ımbolos ımbol os in´ i n´ utiles. utiles.
2.4. 2.4.
Elim Elimin inac aci´ i´ on de producciones unitarias on
Definici´ on on 4.21 Llamamos Llamamos produccio producciones nes unitar unitarias ias a las que tienen la forma forma A → B , con A, B ∈ V N N . ′ Teorem eorema a 4.5 4.5 Dada una g.l.c. G = (V N equivalente G′ = (V N N , V T T , S , P ) existe una g.l.c. equivalente G N , V T T , S , P ) que no contiene contiene producciones producciones unitarias. unitarias.
El algoritmo para calcular G’ es el siguiente:
Algoritmo 4.5 1. Supon Suponem emos os que que G es λ-libre; λ -libre; si no es as´ as´ı, se transforma seg´ segun u´n el algoritmo 4.4. + 2. Para ara cada cada A ∈ V N N se calcula V V V = { B ∈ V N N |A ⇒ B }.
3. P ′ = Producciones no unitarias de P . P . 4. Para ara cada cada A ∈ V N (A) = ∅ . N tal que V V V (A Para cada B cada B ∈ V V (A) V (A Para cada B cada B → β ∈ P ′ (no unitaria) A˜nadir nadir A → β a P ′
En este caso tambi´en en pueden aparecer s´ımbolos ımbol os in´ utiles. utiles. 99
Definici´ on on 4.22 Una gram´ atica libre de ciclos es aquella que no contiene derivaciones de la atica ∗ forma A ⇒ A. Definici´ on on 4.23 Una gram´ atica atica es propia propia si no tiene s´ımbolos ımbolos in´ utiles, utiles, es λ-libre y libre de ciclos. Para convertir una gram´ atica en otra equivalente propia, podemos seguir los siguientes pasos: atica 1. Pasar asar la gram gram´ atica a´tica a una equivalente λ equivalente λ-libre. -libre. 2. Eliminar Eliminar las producci producciones ones unitari unitarias as (no hay hay ciclos) ciclos).. 3. Eliminar s´ s´ımbolos in´ utiles. No debemos olvidar que una gram´ atica puede tener producciones unitarias y ser propia. atica
2.5. 2.5.
Elim Elimin inac aci´ i´ on de la recursividad por la izquierda on
Definici´ on on 4.24 Una g.l.c. G g.l.c. G = = (V N N , V T T , S , P ) se dice que es: a) Recursiva por la izquierda si izquierda si existe A A ∈ V N A ⇒ + Aα. Aα. N tal que A En este caso A es una variable variable recursiva por la izquierda. izquierda. + αA. b) Recursiva por la derecha si derecha si existe A ∈ V N N tal que A ⇒ αA. En este caso A es una variable variable recursiva por la derecha. derecha.
c) Recursiva si Recursiva si existe A A ∈ V N A ⇒ + αAβ . N tal que A Definici´ on on 4.25 Una regla de producci´on on es a) Recursiva por la izquierda si izquierda si es de la forma A A → Aα. Aα. b) Recursiva por la derecha si derecha si es de la forma A → αA. αA. c) Recursiva si Recursiva si es de la forma A A → αAβ . Algunos m´etodos eto dos de an´ alisis alisis sint´ actico (LL) no pueden manejar gram´ actico aticas aticas recursivas por la izquierda. A continuaci´ on on veremos c´omo omo eliminarla. eliminarla. El m´etodo, etodo, con algunas restricciones, puede usarse para eliminar la recursividad por la derecha. Estudiaremos la eliminaci´ on de la recursividad por la izquierda en dos pasos: on (1) Eliminaci´ Eliminaci´ on de reglas recursivas por la izquierda. on (2) Eliminaci´ Eliminaci´ on de la recursividad por la izquierda de la gram´ on atica. atica.
100
(1) Eliminaci´ on de la recursividad inmediata por la izquierda on El algoritmo es el siguiente:
Algoritmo 4.6 Eliminaci´ on de la recursividad inmediata por la izquierda. on Entrada: Entrada: Un conjunto de producciones { pi /pi ∈ P } con el no terminal A ∈ V N N como parte derecha de una gram´atica atica G CFG sin λ-producciones. Salida: Un nuevo conjunto de producciones sin recursividad inmediata por la izquierda. 1.
Ord´ enense enense las A-producciones en la forma A → Aα1 |Aα2 | · · · |Aαm |β 1 |β 2 | · · · |β n en donde ninguna β ninguna β i comienza con A con A..
2. Sustitu Sustituir ir todas todas las las producc produccion iones es de A de A por p or ′ ′ ′ A → β 1 A |β 2 A | · · · |β n A A′ → α1 A′ |α2 A′ | · · · |αm A′ |λ 3. La salida es el conjunt conjunto o de nuevas nuevas producciones producciones obtenidas obtenidas en el paso anterior anterior..
(2) Eliminaci´ on de la recursividad por la izquierda de la gram´ on atica atica El algoritmo anterior elimina la recursividad de un paso, pero no la de dos pasos o m´ as. as. Esta se elimina con el siguiente algoritmo:
Algoritmo 4.7 Eliminaci´ on de la recursividad por la izquierda. on Entrada: Una Entrada: Una gram´ atica propia (si no lo es, se transforma). atica Salida: Una Salida: Una gram´ atica atica equivalen equivalente, te, sin recursivid recursividad ad por la izquierda. izquierda. 1.
Ord´ enense enense los Ai ∈ V N orden A 1 , A2 , . . . , An . N en un orden A
2. for i:=1 for i:=1 to to n do begin for j:= 1 to i − 1 do d o a) for j:= sustituir cada producci´ on on de la forma Ai → A j γ por γ por las producciones Ai → δ 1 γ |δ 2 γ | · · · |δ k γ , en donde A j → δ 1 |δ 2 | · · · |δ k es el conjunto de producciones actuales del no terminal A j ; b) Adem´ as, eliminar la recursividad inmediata por la izquierda de las as, producciones de A de A i . end
3. 3.1. 3.1.
Formas ormas Normal Normales es Forma orma Norma Normall de Greiba Greibach ch
Definici´ on on 4.26 Una g.l.c. G = (V N a en FNG sii N , V T T , S , P ) est´ 101
1.
Es λ-libre.
2. Todas las producciones (excepto a lo sumo S → λ) son de la forma: A → aΩ con Ω ∈ (V N )∗ y a ∈ V T . ′ , V , S , P ′ ) que Teorema 4.6 Dada una g.l.c. G = (V N , V T , S , P ) existe otra g.l.c. G′ = (V N T est´ a en FNG. ′ y P ′ ) es el siguiente: El algoritmo para construir la gram´ atica G′ (V N
Algoritmo 4.8 1. Suponemos que G es propia y no es recursiva por la izquierda. Si no, se transforma. 2. Si V N = {A1 , A2 , . . . , An } con A1 = S , establecemos un orden total en el conjunto V N , de forma que A1 < A2 < .. . < An y si Ai → A j α ∈ P , debe ser Ai < A j (esto es posible, pues no es recursiva por la izquierda). ′ ← V ; P ′ ← P . 3. V N N 4. for i=n-1 to 1 for j=n to i+1 Para cada Ai → A j α ∈ P ′ , sustituirla por Ai → γ 1 α|γ 2 α| · · · |γ p α ∈ P ′ , d´ onde A j → γ 1 |γ 2 | · · · |γ p ∈
P ′ 5. Para cada producci´ on A → aX 1 X 2 . . . Xk , X i ∈ (V N V T ), k ≥ 1, sustituirla ′ ′ por A → aX 1 X 2 . . . Xk′ , d´ onde: ′ = V ′ Si X i ∈ V T , entonces X i′ es una variable nueva, V N N {X i } Si X i ∈ V N , entonces X i′ = X i . 6. Para cada variable nueva X i′ (a˜nadida en 5), se a˜ nade a P ′ la producci´ on X i′ → X i .
3.2.
Forma Normal de Chomsky
Definici´ on 4.27 Sea una CFG G = (V N , V T , P , S ) . Se dice que G est´ a en Forma Normal de Chomsky (FNC), si es λ-libre y toda producci´ on de P tiene una de las formas siguientes: 1. A → BC , en donde A, B y C est´ an en V N , 2. A → a, en donde A ∈ V N y a ∈ V T , Teorema 4.7 Toda gram´ atica libre de contexto puede transformarse en una gram´atica equivalente en FNC. Veamos el algoritmo:
Algoritmo 4.9 Conversi´on a Forma Normal de Chomsky. Entrada: Una gram´ atica CFG G = (V N , V T , P , S ) λ-libre y sin producciones unita1 rias . Salida: Una gram´ atica G ′ en forma FNC, tal que L(G) = L(G′ ). M´ etodo: Sea el conjunto P ′ formado por las producciones siguientes: 1
single productions
102
1.
A˜ nadir toda producci´ on en la forma A → a ∈ P
2.
A˜ nadir toda producci´ on en la forma A → AB ∈ P
3.
Si S → λ ∈ P entonces a˜ nadirla tambi´en.
4. Para cada producci´ on en la forma A → X 1 · · · X k con k > 2, a˜ nadir las produc′ ciones resultantes a continuaci´ on: asumimos que X i representa a X i si X i ∈ V N , ′ y X i es un nuevo no-terminal si X i ∈ V T . Las nuevas producciones ser´ an las siguientes: A → X 1′ < X 2 · · · X k > < X 2 · · · X k >→ X 2′ < X 3 · · · X k > ··· < X k−2 · · · X k >→ X k′ −2 < X k−1 X k > < X k−1 X k >→ X k′ −1 X k′ en donde cada < X i · · · X k > es un nuevo s´ımbolo no-terminal. 5. Para cada producci´ on de la forma A → X 1 X 2 en donde bien X 1 o X 2 o´ los dos est´ an en V T , a˜ nadir A → X 1′ X 2′ a P ′ ′ igual 6. Para cada X i′ ∈ V N a˜ nadido en los pasos 4 y 5, a˜ nadir X i′ → X i . Sea V N a V N m´ as todos los nuevos no-terminales introducidos en los pasos anteriores. ′ , V , P ′ , S ) es la deseada. La nueva gram´atica G = (V N T
103
104
CAP´ITULO 5: ´ AL ANALISIS ´ ´ INTRODUCCION SINT ACTICO
Contenidos Te´oricos 1. Objetivo del analizador sint´ actico 2. Problema de la ambig¨ uedad en el an´alisis sint´ actico
1.
3.
An´ alisis sint´ actico ascendente y descendente
4.
M´etodo de an´ alisis CYK
5.
An´ alisis sint´ actico determinista
Objetivo del analizador sint´ actico
El papel principal del analizador sint´ actico es el de producir una salida, a partir de una cadena de componentes l´exicos, que consistir´ a en: Un ´arbol sint´ actico con el que se continuar´a la siguiente etapa, si la cadena es una frase o conjunto de frases correspondiente a la gram´ atica reconocida por el analizador. Un informe con la lista de errores detectados, si la cadena contiene errores sint´acticos, e.d. alguna frase o frases que no se ajustan a la estructura sint´actica definida por la gram´ atica correspondiente. Este informe deber´a ser lo m´ as claro y exacto posible. Otras tareas, complementarias a las de generar bien un a´rbol sint´ actico, bien un informe de error, pueden ser las de completar la tabla de s´ımbolos, con informaci´ on sobre los tokens, tareas correspondientes al an´ alisis sem´ antico como la verificaci´ on de tipos, e incluso generaci´ o n de c´odigo. Manejo de errores en un analizador sint´ actico Los objetivos en el manejo de errores para el AS est´ an bien definidos: Debe informar de una forma clara y exacta acerca de los errores sint´acticos producidos en el programa fuente. Se debe de recuperar de un error, con la suficiente habilidad como para poder seguir detectando en una forma precisa errores posteriores. La gesti´ on de errores sint´acticos no debe significar un retraso notable en el an´ alisis de programas sint´ acticamente correctos. Para seguir profundizando en el tema, veamos la clasificaci´ on de respuestas de error que puede encontrarse en [Tre85], debida a Horning (en [Hor76]): 1. Respuestas inaceptables: 105
a ) Respuestas incorrectas (los errores no son comunicados): 1) El compilador se ’cuelga’. 2) El compilador cae en un bucle infinito en el an´ alisis. 3) El compilador contin´ ua con el an´alisis, produciendo c´ odigo objeto incorrecto. b) Respuestas correctas, pero poco u´tiles: 1) El compilador informa del primer error y luego termina su ejecuci´ on. 2. Respuestas v´ alidas: a ) Respuestas factibles: 1) El compilador informa de un error, se recupera del mismo y contin´ ua intentando encontrar errores posteriores, si existen. 2) El compilador informa de un error, lo repara y contin´ ua la traducci´ on, produciendo al final un programa objeto v´ alido. b) Respuestas no factibles en la actualidad: 1) El compilador informa de un error, lo repara y contin´ ua la traducci´ on, produciendo al final un programa objeto que hace exactamente lo que el programador quer´ıa. El caso de las respuestas 1.(a) corresponde a compiladores en cuyo dise˜no nunca se tuvo en cuenta como entrada al compilador programas fuente incorrectos. Por lo tanto puede haber situaciones como la de ausencia de respuesta o´ c´ odigo objeto en apariencia correcto pero que en realidad no se comporta como se esperaba. El caso de las respuestas 1.(b) corresponde a compiladores en los que se considera que la probabilidad de aparici´ on de un error es ´ınfima, y por lo tanto unicamente ´ es necesario la detecci´ on de un error cada vez. Dentro de las respuestas v´alidas y factibles, la menos ambiciosa es la que representa la t´ecnica de recuperaci´ o n de errores (error recovery ). Cuando el compilador encuentra un error sint´actico se ajusta de tal forma que puede seguir con el an´ alisis, como si nada incorrecto hubiera ocurrido. A partir de aqu´ı pueden pasar dos cosas: Idealmente, el compilador puede haberse recuperado totalmente, de tal forma que el error reconocido no va a afectar a la aparici´ on de errores subsiguientes. Si se tiene una estrategia de recuperaci´on de errores pobre, se producir´a una avalancha de mensajes de error que tienen su origen en un error anterior, y que f´acilmente se pod´ıa haber aprovechado para descartar muchos errores posteriores. Pi´ensese en el ejemplo del uso de una variable i como ´ındice de varios bucles for en un mismo programa C. Si esa variable no se ha declarado, o si su declaraci´ on se ha hecho de forma incorrecta, todas las apariciones de la misma en el resto del programa generar´an el mismo mensaje de error, algo as´ı como Undefined variable: i. El otro caso dentro de las respuestas del tipo 2.(a) es el correspondiente a la t´ ecnica de correcci´ o n de errores (error repair ) en la que el contenido del programa fuente se modifica con el objeto de hacerlo sint´ acticamente correcto. En estos casos resulta u´til como salida el programa fuente reparado, como apoyo para el diagn´ ostico posterior. A lo peor la correcci´on no es v´alida sem´ anticamente (el programa no hace lo que el programador esperaba) pero sugiere una forma de correcci´on de error desde un punto de vista sint´actico. El caso ideal es el del compilador que realiza una correcci´ on de errores correcta. Aqu´ı existe una paradoja y es que si somos capaces de realizar un programa traductor que entiende qu´e es lo que queremos realizar, entonces, ¿para qu´ e usar un lenguaje de alto nivel para volver a dec´ırselo? 106
¿C´ omo facilitar la detecci´ on de errores? Podemos facilitar la detecci´ on de errores cuando estamos dise˜ nando la gram´ atica. Para manejar errores adecuadamente primero hay que detectarlos. Si diferenciamos los compiladores actuales en dos tipos: aquellos que se han producido a partir de una rigurosa especificaci´ o n de su gram´ atica (libre de contexto), y usan an´ alisis dirigido por la sintaxis y aquellos que se han producido ad-hoc o lo que es lo mismo, sin seguir un m´etodo formal de especificaci´ on del lenguaje y de desarrollo del programa. Estos compiladores existen por razones de eficiencia, podemos asegurar que los errores en una gram´atica libre de contexto se detectan en una forma m´ as efectiva y metodol´ ogica. Por ejemplo, los m´etodos de an´ alisis LL y LR detectan un error lo antes posible, bas´ andose en la propiedad denominada de prefijo viable , es decir, que detectan un error en cuanto se encuentra una cadena que no es prefijo de ninguna cadena del lenguaje. Algunas t´ ecnicas concretas de recuperaci´ on de errores La t´ecnica de recuperaci´ on de errores m´a s sencilla y conocida es la de recuperaci´ on en modo p´ anico. Cuando se descubre un token que no concuerda con la especificaci´on sint´ actica del lenguaje, se siguen admitiendo tokens hasta que se encuentra uno que es de un conjunto especial denominado de sincronizaci´ on como por ejemplo un ’;’ ´o un end. El inconveniente principal que presenta es que pasa por alto una gran cantidad de tokens en la entrada, de los cuales no comprueba m´ as errores, antes de encontrar uno de sincronizaci´on; por contra es muy sencillo de implementar y est´a libre de bucles infinitos. Otra t´ecnica es la de recuperaci´ o n a nivel de frase. En esta, cuando se descubre el error, se realiza una correcci´on local insertando una cadena que permita continuar con el an´ alisis sint´ actico. Por ejemplo, podr´ıa sustituir un ’;’ cuando encuentra un ’.’. Sin embargo, tiene como desventaja su dificultad para afrontar situaciones en las que el error se produjo antes del punto de detecci´ on. Por otro lado, se corre el riesgo de caer en bucles infinitos. Una t´ ecnica muy atractiva desde el punto de vista formal es la de producciones de error. Si la especificaci´ o n de la gram´ atica se ha hecho de forma correcta, y se conoce en qu´ e puntos suelen estar los errores m´ as frecuentes, se puede ampliar la gram´ atica con reglas de producci´ on que simulen la producci´ on de errores. As´ı, si se produce un error contemplado por la gram´ atica ampliada, el an´ alisis podr´ıa seguir y el diagn´ ostico producido ser´ıa el adecuado. on global se asienta en algoritmos que calculan la distancia m´ınima La t´ecnica de correcci´ de una cadena incorrecta a una cadena correcta en t´erminos de cambios en la primera para convertirla en la segunda. Estos m´ etodos son demasiado costosos aunque tienen mucho inter´es te´orico. Por ejemplo, pueden utilizarse para realizar una evaluaci´ on de otras t´ecnicas de recuperaci´on de errores, o bien pueden ser usados localmente para encontrar cadenas de sustituci´ on o´ptimas en una recuperaci´ on a nivel de frase.
2.
Problema de la ambig¨ uedad en el an´ alisis sint´ actico
Definici´ on 5.1 Decimos que una sentencia w de una GLC es ambigua , si podemos encontrar para ella dos o m´ as a´rboles de derivaci´ on distintos, o bien, si podemos derivar la sentencia 107
mediante dos o m´ as derivaciones m´ as a la izquierda (o m´ as a la derecha) distintas. Definici´ on 5.2 Una gram´ atica es ambigua si tiene al menos una sentencia ambigua. El hecho de que una gram´atica sea ambigua es una situaci´ on indeseable. Si la gram´ atica se usa para definir la sintaxis de un lenguaje de programaci´ on, la ambig¨ uedad de una sentencia puede implicar significados distintos para ella. Esto implicar´ıa una ejecuci´ on distinta de la misma sentencia, y, por lo tanto, la posibilidad de producir resultados distintos. En el ejemplo siguiente, no est´a clara la precedencia de los operadores + y ∗ , y por lo tanto es posible generar, a partir de la sentencia a+a ∗ a, dos a´rboles de derivaci´ on distintos, dependiendo de si se calcula antes la suma o´ el producto. La gram´ atica posee un conjunto P con las reglas de producci´on E → E + E |E ∗ E |a. Para esa cadena se generar´ an dos ´arboles (figura 5.1). E
E
E
+
E
a
E
*
a
E
E
E
a
a
+
*
E
E
a
a
Figura 5.1: Ejemplo de distintas precedencias El a´rbol de la izquierda representa un an´ alisis en el que se ha concedido m´ as precedencia al producto que a la suma. En el ´arbol de la derecha se concede una precedencia m´a s alta a la suma, que se calcula antes. Por otro lado, la sentencia a + a + a tambi´en ser´ıa ambigua, pues a partir de ella podr´ıan generarse dos a´rboles distintos, seg´ un que se considerara la asociatividad por la izquierda o por la derecha. El proceso de decidir si una gram´ atica es ambigua no es algor´ıtmico. Por otro lado, es importante hacer notar que cuando una gram´ atica es ambigua, el pivote de una forma sentencial derecha no tiene por qu´e ser u´nico. Por ejemplo, si consideramos la forma sentencial E + E ∗ a, generada por la gram´ atica ambigua anterior, podemos considerar los pivotes a y E + E , puesto que podemos considerar las dos sigientes derivaciones m´ as a la derecha: E ⇒ md E + E ⇒ md E + E ∗ E ⇒ md E + E ∗ a E ⇒ md E ∗ E ⇒ md E ∗ a ⇒ md E + E ∗ a En algunos casos la ambig¨ uedad puede eliminarse encontrando una gram´ atica equivalente no ambigua. Es decir, el lenguaje ser´ıa no ambiguo. Por ejemplo, si transformamos la gram´ atica anterior en esta otra: E → E + T |T T → T ∗ F |F F → a
108
se retrasa una derivaci´ on con la regla de producci´on que produce expresiones de producto. Lo que hacemos con esto es conseguir dotarla de m´ as precedencia. Con esto resolvemos el problema de la precedencia, e incluimos asociatividad por la izquierda. En otros casos, sin embargo, podemos encontrarnos con un lenguaje inherentemente ambiguo, como el siguiente: L = {an bn cm dm /m,n ≥ 1 } ∪ {an bm cm dn /n,m ≥ 1 } Este lenguaje es generado por la gram´ atica con las siguientes producciones: S → X Y |V X → aX b|ab Y → cY d|cd V → aV d|aZd Z → bZc|bc Las sentencias de la forma ai bi ci di son ambiguas. En la p´ agina 100 de [Hop79] puede encontrarse la demostraci´ on de que L es inherentemente ambiguo. El problema del else ambiguo Otro ejemplo cl´ asico de este tipo de problemas es el de las gram´ aticas que incluyen sentencias del tipo if-then/if-then-else. Sup´ ongase la gram´ atica prop
expr
→ | | →
if expr then prop if expr then prop else prop S 1 | S 2 E 1 | E 2
De acuerdo con ella, la sentencia if E 1 then S 1 else if E 2 then S 2 else S 3 no es ambigua, ya que el ´arbol de derivaci´ on correspondiente ser´ıa el de la figura 5.2. prop
if
expr E1
then
prop
else
prop
S1
if
expr
then
E2
prop
else
S2
Figura 5.2: Ejemplo de derivaci´ on
109
prop S3
Sin embargo, la sentencia if E 1 then if E 2 then S 1 else S 2 si lo ser´ıa, ya que dar´ıa lugar a la pareja de a´rboles de derivaci´on distintos de la figura 5.3. prop
prop
if
expr E1 if
expr E2
then
then
prop
if
prop S1
else
expr E1
prop S2
then
if
expr E2
prop
then
else
prop S1
prop S2
Figura 5.3: Ejemplo de derivaci´ on En el a´rbol de la derecha, el else se asocia al primer if . En el de la izquierda la asociaci´ on del else se hace con el segundo. Esta suele ser la interpretaci´on v´ alida, por convenio, en la mayor´ıa de los lenguajes de programaci´ on: asociar el else al if m´as pr´oximo. Hay dos enfoques distintos usados para solucionar este problema. El primero es el de transformar la gram´atica, y la definici´ on del lenguaje mismo para que las construcciones if-then-else tengan delimitadores de bloque, y los else se asocian con los if expl´ıcitamente. La segunda es transformar la gram´ atica en otra equivalente (e.d. que reconozca exactamente el mismo lenguaje) y que no sea ambigua. Esto resulta particularmente u ´til para el an´ alisis predictivo. Resulta evidente que la m´as dr´ astica, en t´ erminos de influir incluso en el dise˜ no del propio lenguaje de programaci´ on es la primera soluci´on. Por ejemplo, si usamos la nueva gram´ atica prop
expr
→ | | →
if expr then prop endif if expr then prop else prop endif S 1 | S 2 E 1 | E 2
entonces, para escribir una sentencia como la del ejemplo, y en la que se asocie el else al segundo if quedar´ıa if E 1 then if E 2 then S 1 else S 2 endif endif Una sentencia que ahora asociara el else con el primer if ser´ıa if E 1 then if E 2 then S 1 endif else S 2 endif La soluci´ on menos dr´ astica es la segunda. Para acometerla es necesario decir que se prefiere el a´ rbol de la izquierda, o lo que es lo mismo emparejar el else con el then anterior y sin emparejar m´ as cercano. La idea es dividir las proposiciones entre emparejadas y no emparejadas, y toda proposici´ on que aparezca entre un then y un else debe estar emparejada, e.d. no debe terminar con un then sin emparejar porque entonces el else estar´ıa obligado a concordar con ella. Una proposici´ on emparejada es o una proposici´ on if-then-else que no contenga proposiciones sin emparejar o cualquier otra clase de proposici´ on no condicional. 110
prop
→ |
prop emparejada prop no emparejada
prop emparejada
→ |
if expr then prop emparejada else prop emparejada S 1 | S 2
prop no emparejada
→ | →
if expr then prop if expr then prop emparejada else prop no emparejada E 1 | E 2
expr
3.
An´ alisis sint´ actico ascendente y descendente
Primero comenzaremos con una definici´ on del t´ermino parsing (an´ alisis sint´ actico). Definici´ on 5.3 Una sentencia w ∈ L(G), para alguna CFG ( Context Free Grammar) ha sido reconocida cuando conocemos alguno de (o quiz´ a todos) sus ´arboles de derivaci´on. Podr´ıamos pensar que en un traductor, ese ´arbol podr´ıa estar almacenado f´ısicamente en memoria. Sin embargo, por lo general, la representaci´ on del a´rbol es m´ as sutil. La mayor´ıa de los compiladores realizan el parsing simulando un AP que reconoce la entrada, bien usando un enfoque top-down o´ bottom-up. Por lo tanto, existen dos grandes grupos de m´ etodos de an´ alisis sint´ actico, dependiendo de la direcci´ on en la que se vaya creando el ´arbol sint´ actico. Descendente: en este tipo de an´alisis, se va recorriendo el ´arbol sint´ actico desde la ra´ız hasta las hojas, llegando a generar la sentencia que se est´ a analizando. La ra´ız representa al s´ımbolo inicial de la gram´ atica. Ascendente: se parte de las hojas y se intenta construir el ´arbol hacia arriba, hasta llegar al s´ımbolo inicial de la gram´ atica. Se puede clarificar un poco el concepto a˜ nadiendo que la habilidad de un AP para realizar un an´ alisis top-down est´ a asociado con la habilidad de un traductor basado en ese tipo de aut´ omata para hacer corresponder cadenas de entrada con sus derivaciones izquierdas. As´ımismo, la habilidad de un AP para realizar un an´alisis sint´ actico bottom-up est´ a asociada con la habilidad de un traductor de este tipo para hacer corresponder cadenas de entrada con las inversas de sus derivaciones derechas. Entre los m´ etodos generales, aparte de la simulaci´ on con retroceso (tanto ascendente como descendente) que veremos en los pr´oximos temas, los algoritmos de Cocke-Younger-Kasami (CYK) y el m´etodo de Early son los m´ as conocidos. Sin embargo, estos m´etodos son bastante ineficientes desde un punto de vista computacional. Los estudiaremos en este tema. Afortunadamente, para la mayor´ıa de lenguajes de programaci´ on es suficiente con trabajar un subconjunto de CFG, como las LL y LR que permiten algoritmos de parsing m´as eficientes. En el caso de las gram´aticas LL, el m´ etodo que se aplica es descendente, mientras que en las LR se trata de un m´etodo ascendente. Estudiaremos estos m´etodos en los temas dedicados al an´ alisis descendente y ascendente, respectivamente. De igual forma, tambi´ en es ascendente un m´etodo quiz´ a m´ as restrictivo (aplicable s´ o lo a las llamadas gram´ aticas de operador), pero extremadamente simple, denominado m´etodo por precedencia de operadores , que estudiaremos en el tema dedicado al an´ alisis ascendente. 111
4.
M´ etodo de an´ alisis CYK
El m´etodo que se va a ver en esta secci´ on, CYK (Cocke-Younger-Kasami), es aplicable a cualquier gram´ atica libre de contexto. El algoritmo requiere una complejidad espacial de n2 y de tiempo de n 3 . Supongamos que la cadena a reconocer es w = a1 a2 . . . an . El algoritmo trabaja construyendo una tabla T que va a ser triangular, y que va a estar formada por elementos t ij , con 1 ≤ i ≤ n y 1 ≤ j ≤ n − i +1. Cada t ij va a contener un subconjunto de V N . As´ı, el no-terminal A va a estar en tij sii A ⇒ + ai ai+1 . . . ai+ j −1 , o lo que es lo mismo, si de A se derivan los correspondientes j s´ımbolos de w comenzando en la i-´esima posici´ on. Por lo tanto, la cadena w ser´a reconocida por la gram´ atica si en t1n est´ a el s´ımbolo inicial S . Veamos el algoritmo que construye la tabla T .
Algoritmo 5.1 Algoritmo de an´ alisis sint´ actico de Cocke-Younger-Kasami. Entrada: Una gram´ atica G = (V N , V T , P , S ) en CNF y sin λ-producciones, junto con una cadena de entrada w = a 1 a2 · · · an ∈ V T ∗ . Salida: La tabla T en la que cada t i,j contiene a A ∈ V N sii A ⇒ + ai ai+1 · · · ai+ j −1 . M´ etodo: 1. Hacer ti,j = { A|A → ai ∈ P } para todo i. 2. Una vez que ti,j se ha calculado para todo i, 1 ≤ i ≤ n, y para todo j ′ , 1 ≤ j ′ < j. H´ agase ti,j = {A| para alg´ un k , 1 ≤ k < j, A → BC ∈ P, B ∈ ti,k , y C ∈ t i+k,j −k } Dado que i ≤ k < j, tanto k como j − k son menores que j. Por lo tanto, t i,k y t i+k,j −k han sido calculados antes de t i,j . Despu´es de este paso, si t i,j contiene a A, entonces A ⇒ BC ⇒ + ai · · · ai+k−1 C ⇒ + ai · · · ai+k−1 ai+k · · · ai+ j −1 3. Realizar el paso anterior, hasta que ti,j haya quedado calculado para todo 1 ≤ i ≤ n y 1 ≤ j ≤ n − i + 1. Despu´ es de haber ejecutado el paso 1, en t1,1 vamos a tener los no-terminales que producen directamente a1 . En t2,1 vamos a tener los no-terminales que producen directamente a2 , y as´ı sucesivamente. Ahora, se deben ir rellenando columnas, y sus correspondientes filas de forma incremental. Sea j = 2. Entramos en el paso 2, y ahora calculamos todos los ti,2 en base a los ti,1 . Por lo tanto, despu´es de haber ejecutado este paso en la primera iteraci´ on, en cada t k,2 , con 1 ≤ k ≤ i tendremos el no-terminal A tal que A → ak ak+1 . Debido a que la gram´ atica est´ a en formato CNF esto solo podemos hacerlo con las producciones del tipo A → BC , porque no existen producciones del tipo A → ab, con a, b ∈ V T . Sea ahora j = 3. Volvemos a ejecutar el paso 2. Ahora se van a calcular todos los t i,3 . Es decir, aquellos no-terminales que produzcan cadenas de longitud 3, ak ak+1 ak+2 con 1 ≤ k ≤ n − 2. Vamos a calcular t1,3 . O dicho de otro modo, vamos a calcular el conjunto de no-terminales a partir de los cuales podemos obtener la cadena a 1 a2 a3 . Tendremos que encontrar producciones del tipo A → BC tales que: o bien B est´ a en t1,1 , y por lo tanto tendr´ıa producciones de la forma B → a 11 , y por lo tanto C debe estar forzosamente en t2,2 , con lo que tendr´ıa una producci´ on C → DE y a su vez D estar´ıa en t2,1 , con una producci´on D → a2 y E en t3,1 con una producci´ on D → a 3 , 112
o bien B est´ a en t 1,2 , y por lo tanto tendr´ıa una producci´ on del tipo B → DE , con D en t1,1 , y D → a1 ∈ P y E en t2,1 con E → a2 ∈ P , y finalmente C estar´ıa en t3,1 con una producci´on C → a3 ∈ P . Calculemos ahora t 2,3 . O dicho de otro modo, el conjunto de no-terminales a partir de los cuales podemos obtener la cadena a2 a3 a4 . Volvemos a ejecutar el paso 2. Ahora se han de calcular todos los ti,3 . Es decir, aquellos no-terminales que produzcan cadenas de longitud 3, y que comiencen a partir de a 2 . Tendremos que encontrar producciones del tipo A → BC tales que: o bien B est´ a en t 2,1 , y por lo tanto tendr´ıa producciones de la forma B → a 2 , y C est´ a en t3,2 , con lo que tendr´ıa una producci´ on C → DE , y a su vez, D estar´ıa en t3,1 , con una producci´on D → a 3 y E en t4,1 con una producci´on D → a4 , o bien B est´ a en t 2,2 , con una producci´ on de la forma B → DE , con D en t 2,1 y D → a 2 , y E ∈ t 3,1 con una producci´on E → a3 , y C estar´ıa en t 4,1 , con una producci´ on C → a 4 . El mismo razonamiento seguir´ıa desde t3,3 , y hasta tn−3+1,3 . Despu´es volver´ıamos a variar j para hacerla j = 4, y as´ı hasta que todos los tij con 1 ≤ i ≤ n, y 1 ≤ j ≤ n − i + 1 se hayan calculado. Un ejemplo pr´ actico Ve´ amos la aplicaci´ on del algoritmo con un ejemplo en el que el conjunto P de nuestra gram´atica viene dado por el conjunto de producciones S → AA|AS |b A → SA|AS |a Sea w = abaab la cadena de entrada. Aplicando el algoritmo, la tabla resultante ser´ a una triangular de 5 × 5. Aplicando el paso 1, para t11 = { A}, ya que A → a ∈ P . t21 = { S }, ya que S → b ∈ P . t31 = { A}, ya que A → a ∈ P . t41 = { A}, ya que S → a ∈ P . t51 = { S }, ya que A → b ∈ P . Ahora, hacemos j = 2. Tenemos que ti,j se ha calculado para j ′ = 1. Tenemos que encontrar no-terminales que produzcan subcadenas de w, longitud 2. ′
t1,2 = { S, A}, ya que 1 ≤ k < 2, y la regla ha de ser tal que el primer no-terminal de la parte derecha est´e en t1,1 y el segundo no-terminal en t2,1 . Por lo tanto la parte derecha ha de ser AS . Tanto S como A tienen reglas con esa parte derecha. t22 = {A}, ya que 1 ≤ k < 2, y la regla ha de ser tal que el primer no-terminal de la parte derecha est´e en t2,1 y el segundo no-terminal en t3,1 . La parte derecha ser´ıa SA. ´ Unicamente A tiene partes derechas de ese tipo. t3,2 = {S }, ya que 1 ≤ k < 2, y la regla ha de ser tal que el primer no-terminal de la parte derecha est´e en t3,1 , y el segundo en t4,1 . Por lo tanto, la parte derecha ser´ıa AA. Solamente S tiene reglas de producci´on con esa parte derecha. 113
1 2 3 4 5
1 {A} {S } {A} {A} {S }
2 {S, A} {A} {S } {A, S }
3
4
5
Cuadro 5.1: T despu´ es de hacer el paso 2, con j = 2
1 2 3 4 5
1 {A} {S } {A} {A} {S }
2 {S, A} {A} {S } {A, S }
3 {A, S } {S } {A, S }
4
5
Cuadro 5.2: T despu´ es de hacer el paso 2, con j = 3
t4,2 = { A, S }, ya que 1 ≤ k < 2, y la regla ha de ser tal que el primer no-terminal de la parte derecha est´e en t4,1 , y el segundo en t 5,1 . Por lo tanto, la parte derecha ser´ıa AS . Despu´es de hacer el paso 2, con j = 2 queda la tabla que se muestra en 5.1 Ahora, hacemos j = 3. Tenemos que ti,j se ha calculado para 1 ≤ j ′ < 3. Tenemos que encontrar no-terminales que produzcan subcadenas de w, de longitud 3. ′
t1,3 = { A, S }, ya que 1 ≤ k < 3, y la regla ha de ser tal que el primer no-terminal de la parte derecha est´e en t1,1 (o en t1,2 ) y el segundo no-terminal en t2,2 (o en t3,1 ). Por lo tanto la parte derecha ha de ser AA (o S A). t2,3 = {S }, ya que 1 ≤ k < 3, y la regla ha de ser tal que el primer no-terminal de la parte derecha est´e en t 2,1 (o en t 2,2 ) y el segundo no-terminal en t 3,2 (o en t 4,1 ). La parte ´ derecha ser´ıa SS (o AA). Unicamente S tiene una producci´ on S → AA. t3,3 = { A, S }, ya que 1 ≤ k < 3, y la regla ha de ser tal que el primer no-terminal de la parte derecha est´e en t 3,1 (o en t 3,2 ), y el segundo en t 4,2 (o en t 5,1 ). Con t 3,1 y t 4,2 tenemos dos posibles partes derechas que son AA y AS , y por ello tanto S como A deben estar en t3,3 . Con t3,2 y t5,1 tenemos como parte derecha SS , que no es generada por ning´un no-terminal. Despu´es de hacer el paso 2, con j = 3 queda la tabla que se muestra en 5.2 Ahora, hacemos j = 4. Tenemos que ti,j se ha calculado para 1 ≤ j ′ < 4. Tenemos que encontrar no-terminales que produzcan subcadenas de w, de longitud 4. ′
t1,4 = { A, S }, ya que 1 ≤ k < 4, y la regla ha de ser tal que el primer no-terminal de la parte derecha est´e en t 1,1 , k = 1, o en t 1,2 , k = 2, o en t 1,3 , k = 3 y el segundo no-terminal en t 2,3 , k = 1, o en t 3,2 , k = 2 o en t 4,1 . El conjunto de no-terminales que podr´ıan formar el primer no-terminal de la parte derecha es { A, S } y el de no-terminales que po dr´ıan formar el segundo no-terminal de la parte derecha es { A, S }. Por lo tanto la parte derecha va a estar en { AA,AS,SA,SS }. t2,4 = { A, S }, ya que 1 ≤ k < 4, y la regla ha de ser tal que el primer no-terminal de la parte derecha est´e en t2,1 , k = 1, o en t2,2 , k = 2 o en t2,3 , k = 3 y el segundo no-terminal 114
1 2 3 4 5
1 {A} {S } {A} {A} {S }
2 {S, A} {A} {S } {A, S }
3 {A, S } {S } {A, S }
4 {A,S} {A, S }
5
Cuadro 5.3: T despu´ es de hacer el paso 2, con j = 4
en t 3,3 , k = 1, o en t4,2 , k = 2, o en t5,1 . El conjunto de no-terminales que podr´ıan formar el primer no-terminal de la parte derecha es {A, S }, y el de no-terminales que podr´ıan formar el segundo no-terminal de la parte derecha es { A, S }. Por lo tanto la parte derecha va a estar en { AA,AS,SA,SS }. Despu´ es de hacer el paso 2, con j = 4 queda la tabla que se muestra en 5.3 Hacer el paso 2, con j = 5 en clase, y completar la tabla T con t 1,5 . Obtenci´ on de una derivaci´ on m´ as a la izquierda Una vez comprobado que la cadena w pertenece a L(G), ¿c´ omo podemos obtener una secuencia de derivaciones que nos digan como producir la sentencia a partir de las producciones de P ? Para ello est´ a el algoritmo 5.2.
Algoritmo 5.2 Derivaci´on m´ as a la izquierda a partir de la tabla T de parsing. Entrada: una gram´ atica G = (V N , V T , P , S ) en formato CNF, y en la que las producciones de P est´ an numeradas de 1 a n, una cadena de entrada w = a 1 a2 · · · an , y la tabla T generada por el algoritmo CYK. Salida: una derivaci´on izquierda de w o un error. M´etodo: se va a basar en el uso de una rutina recursiva gen(i,j,A) que va a generar la derivaci´ on A ⇒ + ai ai+1 · · · ai+ j −1 . Se comienza ejecutando gen(1, n , S ) si S ∈ t 1n . En otro caso, se da salida de error. gen(i,j,A) se define como sigue: 1.
Si j = 1 y la producci´on m-´esima es A → a i , entonces la salida de gen(i, 1, A) es m.
2.
Si j > 1, sea k el entero m´ as peque˜ no, 1 ≤ k < j, tal que para alg´ un B ∈ t i,k y C ∈ t i+k,j −k se tiene que A → BC ∈ P . Si hay varias, elegimos la que tenga el ´ındice m´as peque˜ no, digamos m. La salida de gen(i,j,A) es m, m´ as las salidas de gen(i,k,B) y gen(i + k, j − k, C ) (en este orden).
Un ejemplo Tomemos la gram´ atica del ejemplo anterior y dispong´ amosla en el orden siguiente: (1)S → AA (2)S → AS 115
(3)S → b (4)A → SA (5)A → AS (6)A → a
Sea la cadena de entrada w = abaab, la misma que en el ejemplo del c´alculo de T . Por lo tanto esa tabla nos va a servir. Para obtener una derivaci´ on m´ as a la izquierda, llamamos a gen(1, 5, S ), habiendo comprobado que S ∈ t 1,5 y que por lo tanto, w ∈ L(G). Ahora la evoluci´ on, con el k y m correspondientes puede verse en la figura 5.4. k=1 gen(1,5,S) m=1 k=1 gen(1,1,A) m=6
k=1 gen(2,4,A) m=4
k=1 gen(2,1,S) m=3
k=1 gen(3,3,A) m=5
k=1 gen(3,1,A) m=6
k=1 gen(4,2,5) m=2
k=1 gen(4,1,A) m=6
k=1 gen(5,1,S) m=3
Figura 5.4: Ejemplo de generaci´ on de una derivaci´on izquierda En esa figura puede verse que la secuencia de derivaciones obtenida es la siguiente S ⇒ 1 AA ⇒ 6 aA ⇒ 4 aSA ⇒ 3 abA ⇒ 5 abAS ⇒ 6 abaS ⇒ 2 abaAS ⇒ 6 abaaS ⇒ 3 abaab.
5. 5.1.
An´ alisis sint´ actico determinista Introducci´ on
A partir de ahora vamos a estudiar un conjunto especial de gram´ aticas libres de contexto a las cuales se les puede aplicar un an´alisis con complejidad espacial y temporal c1 n y c2 n, respectivamente. Para conseguir estos t´erminos de eficiencia, un gran n´ umero de gram´ aticas han de quedarse en el camino, ante la imposibilidad de aplicarles el tipo de an´ alisis que vamos a ver; sin embargo esto no resulta una restricci´ on muy importante si nos ce˜ nimos a los lenguajes de programaci´ on. Los algoritmos de an´ alisis que vamos a estudiar se caracterizan por ser completamente deterministas. Esto quiere decir que u ´ nicamente es necesaria una pasada, de izquierda a derecha, a trav´ es de la cadena de entrada w, para encontrar una a´rbol de derivaci´ on que represente su an´ alisis. Con las gram´ aticas que nos ocupan, (i.e. de tipo LL(k), concretamente las LL(1)), va a ser suficiente mirar el siguiente token en la cadena de entrada para determinar la regla de 116
producci´on a aplicar en la construcci´ o n del a´rbol de derivaci´ on. Por esto, este tipo de an´ alisis tambi´en se denomina de una pasada. En ´el se incluyen las gram´ aticas: Tipo LL(k) Aquellas para las que el algoritmo de an´ alisis descendente puede trabajar determin´ısticamente si se le permite mirar hasta k s´ımbolos por delante de la posici´ on de entrada actual. Tipo LR(k) Aquellas para las que el algoritmo de an´ alisis ascendente puede trabajar determin´ısticamente si se le permite mirar hasta k s´ımbolos por delante de la posici´ on de entrada actual. Gram´ aticas de Precedencia Aquellas para las que el algoritmo de an´alisis ascendente puede encontrar la siguiente producci´ on a aplicar en una forma sentencial derecha observando ciertas relaciones entre pares de s´ımbolos adyacentes de esa forma sentencial.
5.2.
An´ alisis LL (recursivo y no-recursivo)
5.2.1. Gram´ aticas LL(1) Para introducir formalmente el concepto de gram´ atica LL(1) primero necesitamos definir el concepto de FIRST k (α). Definici´ on 5.4 Sea una CFG G = (V N , V T , S , P ). Se define el conjunto ∗
∗
FIRST k (α) = { x|α ⇒lm xβ y | x| = k o bien α ⇒ x y | x| < k} en donde k ∈ N y α ∈ (V N ∪ V T )∗ . O, lo que es lo mismo, FIRST k (α) consiste en todos los prefijos terminales de longitud k (o menores si α deriva una cadena de terminales de longitud menor que k) de las cadenas terminales que se pueden derivar de α. Ahora podemos definir el concepto de gram´ atica LL(k). Definici´ on 5.5 Sea una CFG G = (V N , V T , S , P ). Decimos que G es LL(k) para alg´ un entero fijo k, cuando siempre que existen dos derivaciones m´as a la izquierda ∗
∗
∗
∗
1. S ⇒lm wAα ⇒ lm wβα ⇒ wx, y 2. S ⇒lm wAα ⇒ lm wγα ⇒ wy tales que FIRST k (x) = FI RST k (y), entonces se tiene que β = γ . Si lo decimos de una manera informal, G es LL(k) si dada una cadena wAα ∈ (V N ∪ V T )∗ y los primeros k s´ımbolos que se van a derivar a partir de Aα, existe a lo sumo una producci´ on que se pueda aplicar a A y que lleve a la derivaci´on de cualquier cadena de terminales que comience con w seguida de esos k s´ımbolos. Lo vemos con un ejemplo. Sea G1 la gram´ atica con conjunto P = { S → aAS |b, A → a|bSA }. Vamos a ver que esta gram´atica es LL(1). Entonces, si ∗
∗
∗
∗
S ⇒lm wSα ⇒ lm wβα ⇒lm wx y
S ⇒lm wSα ⇒ lm wγα ⇒lm wy 117
Si x e y comienzan con el mismo s´ımbolo, se tiene que dar β = γ . Por casos, si x = y = a, entonces se ha usado la producci´ on S → aAS . Como u ´nicamente se ha usado una producci´ on, entonces β = γ = aAS . Si x = y = b, se ha usado S → b, y entonces β = γ = b. Si se consideran las derivaciones ∗
∗
∗
∗
S ⇒lm wAα ⇒ lm wβα ⇒lm wx y
S ⇒lm wAα ⇒lm wγα ⇒lm wy se produce el mismo razonamiento. Sin embargo, determinar si un lenguaje es LL(1) es un problema indecidible. Definici´ on 5.6 Sea una CFG G = (V N , V T , S , P ). Decimos que G es LL(1) cuando siempre que existen dos derivaciones m´as a la izquierda ∗
∗
∗
∗
1. S ⇒lm wAα ⇒ lm wβα ⇒ wx y 2. S ⇒lm wAα ⇒ lm wγα ⇒ wy tales que FIRST 1 (x) = FIRST 1 (y), entonces se tiene que β = γ . De manera informal, G es LL(1) si dada una cadena wAα ∈ (V N ∪ V T )∗ y un s´ımbolo terminal b ∈ FI RST 1 (wAα), existe a lo sumo una producci´on aplicable a A que conduzca a la derivaci´ on ∗ de la cadena wbβ , para alg´ un β ∈ (V N ∪ V T ) . Entonces, para poder construir un analizador sint´ actico predictivo, con k = 1, se debe conocer, dado el s´ımbolo de entrada actual a i y el no terminal A a expandir, cu´al de las alternativas de la producci´ on A → α1 | · · · |αn es la u ´ nica que va a dar lugar a una subcadena que comience con ai . Pi´ensese, por ejemplo, en el conjunto de producciones siguiente: prop
→ | |
if expr then prop else prop while expr do prop begin lista props end
Las palabras clave if , while y begin indican la alternativa u´nica con posibilidad de ´exito para encontrar una proposici´ on. Si se tiene cuidado al escribir la gram´ atica, eliminando la ambig¨ uedad, la recursi´ o n por la izquierda, y factoriz´ andola por la izquierda, es posible, aunque no seguro, que se obtenga una gram´ atica LL(1).
5.2.2. Construcci´ on de los Conjuntos FIRST y FOLLOW Estos conjuntos van a servir de apoyo para la construcci´ on del analizador sint´ actico descendente predictivo. Como veremos, son necesarios para completar, posteriormente, la tabla que va a guiar el an´ alisis. Esta tabla indicar´ a, para un s´ımbolo de entrada, y un no-terminal a reducir, la alternativa derecha que se ha de aplicar. Sea α una forma sentencial de una gram´ atica determinada. Pues bien, se considera el conjunto FIRST (α) como el conjunto de terminales que inician las cadenas derivadas de α. Por supuesto, ∗ si α ⇒ λ, entonces λ ∈ FIRST (α). Este conjunto ya se defini´ o formalmente para gram´ aticas de tipo LL(k). Ahora, vamos a introducir el conjunto FOLLOW k (β ) formalmente, y luego lo particularizaremos para las gram´ aticas LL(1). 118
Definici´ on 5.7 Sea G = (V N , V T , S , P ) una gram´ atica CFG. Definimos FOLLOW kG (β ), en donde k es un entero, β ∈ (V N ∪ V T )∗ , como el conjunto ∗
{w|S ⇒ αβγ junto con w ∈ FIRST kG (γ )} Dicho de otro modo, y particularizandolo para FOLLOW 1 ≡ F OLLOW , sea A un no terminal de una gram´ atica determinada. Definimos FOLLOW (A) como el conjunto de terminales a que pueden aparecer inmediatamente a la derecha de A en alguna forma sentencial de la gram´ atica. ∗ Es decir, el conjunto de terminales a tal que haya una derivaci´ o n de la forma S ⇒ αAaβ , para alg´ un α y β . Si A es el s´ımbolo m´ as a la derecha en determinada forma sentencial de la gram´ atica, entonces el s´ımbolo $ ∈ F OLLOW (A).
Algoritmo para el c´ alculo del conjunto FIRST
Algoritmo 5.3 C´ alculo del conjunto FIRST para todos los s´ımbolos no terminales y terminales de la gram´ atica de entrada. Entrada: Una gram´ atica G = (V N , V T , S , P ) de tipo CFG. Salida: Los conjuntos FIRST (X ) para todo X ∈ (V N ∪ V T ). M´etodo: Ejecutar el siguiente m´etodo para todo X ∈ (V N ∪ V T ). 1. Si X ∈ V T , entonces FIRST (X ) = {X }. 2. Si no, si X ∈ V N y X → λ ∈ P , entonces a˜ nadir λ a FIRST (X ). 3. Si no, si X ∈ V N y X → Y 1 Y 2 · · · Y k ∈ P a˜ nadir todo a ∈ V T tal que para alg´ un i, con 1 ≤ i ≤ k, λ ∈ FIRST (Y 1 ), λ ∈ FIRST (Y 2 ), . . . , λ ∈ ∗ FIRST (Y i−1 ), o lo que es lo mismo, Y 1 Y 2 . . . Yi −1 ⇒ λ y a ∈ FIRST (Y i ). Adem´ as, si λ ∈ FI RST (Y j ) para todo j = 1, 2, . . . , k, a˜nadir λ a FIRST (X ).
Observar que se puede calcular FIRST para cualquier cadena X 1 X 2 · · · X n , a˜ nadiendo todo s´ımbolo Y ∈ FIRST (X 1 ) con Y = λ a FIRST (X 1 X 2 · · · X n ). Adem´ as, si λ ∈ FIRST (X 1 ) a˜ nadir tambi´en Y ∈ FIRST (X 2 ) con Y = λ y as´ı sucesivamente. Se a˜ nadir´ a λ si esta estaba en todos los conjuntos FIRST (X i ), i = 1, . . . , n.
Algoritmo para el c´ alculo del conjunto FOLLOW
Algoritmo 5.4 C´ alculo del conjunto F OLLOW para todos los s´ımbolos no terminales de la gram´ atica de entrada. Entrada: Una gram´ atica G = (V N , V T , S , P ) de tipo CFG. Salida: Los conjuntos FOLLOW (X ) para todo X ∈ V N . M´etodo: Ejecutar el siguiente m´etodo para todo X ∈ V N hasta que no se pueda a˜ nadir nada m´ as a ning´ un conjunto FOLLOW. 119
1.
A˜ n adir $ a FOLLOW (S ) , en donde $ es el delimitador derecho de la entrada. 2. Si existe una producci´ on A → αBβ ∈ P a˜ nadir todo FIRST (β ) − {λ} a FOLLOW (B). 3. Si existen una producci´ on A → αB ∈ P , o´ A → αBβ ∈ P tal que λ ∈ FIRST (β ), entonces a˜ nadir FOLLOW (A) a FOLLOW (B).
5.2.3.
Ejemplo de construcci´ on de FIRST y FOLLOW .
Vamos a plantear un ejemplo de construcci´ on de los conjuntos FIRST y FOLLOW , con la siguiente gram´ atica: Gram´ atica 5.1 E E ′ T T ′ F
→ → → → →
T E ′ +T E ′ |λ F T ′ ∗F T ′ |λ (E )|id
Los conjuntos FIRST para todos los s´ımbolos terminales de V T = {(, ), +, ∗} son ellos mismos. Para el no terminal F , aplicando el paso 3 introducimos al conjunto FIRST los s´ımbolos ( y id. Para el no terminal T ′ , aplicando el paso 2 introducimos a FIRST λ, y por el paso 3, el s´ımbolo λ. Para el no terminal T , por el paso tres, con la regla de producci´ on T → F T ′ , a˜ nadimos FIRST (F ) a FIRST (T ). Para E ′ , con el paso 2 se a˜ nade λ y con el tres se a˜nade +. Para E , FIRST (E ) queda con el contenido {(, id} al darse la producci´ on E → T E ′ , aplicando el paso 3. Los conjuntos FIRST quedan como sigue: FIRST (F ) = { (, id} FIRST (T ′ ) = {∗ , λ} FIRST (T ) = { (, id} FIRST (E ′ ) = {+, λ} FIRST (E ) = { (, id} Pasamos ahora a calcular los conjuntos FOLLOW . Para el s´ımbolo E , el conjunto FOLLOW (E ) = {$, )}, a˜ nadiendo el $ por el paso 1, y el par´ entesis derecho por el paso 3 y la producci´ on F → (E ). Al conjunto FOLLOW (E ′ ) a˜ nadimos el contenido de FOLLOW (E ) por el paso 3, y la ′ producci´ on E → T E . 120
Al conjunto FOLLOW (T ) se a˜ nade + por el paso 2 y la producci´ on E → T E ′ . Adem´ as, ′ ′ como E → λ ∈ P , a˜ nadimos el contenido de FOLLOW (E ). Como tenemos que T → F T ′ ∈ P , a˜ nadimos FOLLOW (T ) a FOLLOW (T ′ ). Por el paso 2, y las producciones T → F T ′ y T ′ → ∗F T ′ a˜ nadimos el contenido de ′ ′ FIRST (T ) − λ a FOLLOW (F ). Adem´ as, como T → λ a˜ nadimos FOLLOW (T ′ ). Y obtenemos los conjuntos FOLLOW siguientes: FOLLOW (E ) = { $, )} FOLLOW (E ′ ) = {$, )} FOLLOW (T ) = { +, $, )} FOLLOW (T ′ ) = {+, $, )} FOLLOW (F ) = {∗ , +, $, )}
5.2.4. Construcci´ on de la tabla de an´ alisis sint´ actico Ahora ya tenemos todo lo necesario para construir una tabla de an´ alisis sint´ actico que dos diga en todo momento las posibles producciones a aplicar, dado un no-terminal a reducir y un s´ımbolo de la entrada ai . Esta tabla de an´ alisis va a venir definida, algebraicamente, como: M : V N × V T ∪ {$} → 2 P El contenido de la tabla se obtiene con el algoritmo que aparece a continuaci´ on.
Algoritmo 5.5 Construcci´ on de una tabla de an´ alisis sint´ actico predictivo. Entrada: Una gram´ atica G = (V N , V T , S , P ), CFG. Salida: La tabla de an´ alisis sint´ actico M . M´etodo: 1. 2. 3. 4. 5.
Cr´eese una tabla M |V N |×(|V T |+1) , con una fila para cada no-terminal y una columna para cada terminal m´ as el $. Para cada A → α ∈ P , ejecutar los pasos 2 y 3. Para cada a ∈ FIRST (α), a˜ nadir A → α a M [A, a]. Si λ ∈ FIRST (α), a˜ nadir A → α a M [A, b], para cada terminal b ∈ FOLLOW (A). Si adem´ as, $ ∈ F OLLOW (A), a˜ nadir A → α a M [A, $]. Introducir, en cada entrada de M vac´ıa un identificador de error.
La tabla nos va a indicar la producci´ on que debe usarse en una paso de derivaci´on en el que tiene que expandirse el s´ımbolo no terminal A, y el token de entrada actual es a. Una observaci´ on importante es que si alguna casilla de M contiene m´ as de una producci´ on de P , la gram´ atica no es LL(1), ya que no es suficiente con observar el siguiente token para decidir qu´e producci´ on coger, al encontrar m´ as de una. Esta condici´ on podemos expresarla algebraicamente, usando una funci´ on Predict , la cual, aplicada a una producci´ on de la gram´ atica, nos dir´ a el conjunto de terminales que predicen su uso. Predict(A → α)
=
if λ ∈ FI RST (α) then (FIRST (α) − {λ} ∪ FOLLOW (A)) else FIRST (α) 121
E E ′ T T ′ F
id E → T E ′
+
* E → T E ′
(
E ′ → +T E ′ T → F T ′
)
$
E ′ → λ
E ′ → λ
T ′ → λ
T ′ → λ
T → F T ′ T ′ → λ
T ′ → ∗ F T ′
F → id
F → (E )
Cuadro 5.4: Tabla de an´ alisis sint´ actico para la gram´ atica del ejemplo. Por lo tanto, cada casilla de la tabla podr´ıa formarse a partir de esta funci´ on, tal que M [A, a] = {A → α/a ∈ Predict(A → α)}∀A ∈ V N , a ∈ V T } Teorema 5.1 Una GLC, G = (V N , V T , S , P ) es de tipo LL(1) si, y solo si, en caso de que existan producciones A → α y A → γ , entonces Predict(A → α) ∩ Predict(A → γ ) = ∅ . Para la gram´ atica 5.1, la tabla de an´ alisis sint´ actico predictivo queda como se ve en la tabla 5.4. Ahora vamos a ver un ejemplo, en el que alguna de las celdas de la tabla M contiene m´ as de una producci´ on. prop
exp
→ | | | → |
if exp then prop if exp then prop else prop a b p q
Si eliminamos la ambig¨ uedad, como ya hab´ıamos visto en otro tema, la gram´ atica queda: prop prop1
prop2 exp
→ | → | | → | → |
prop1 prop2 if exp then prop1 else prop1 a b if exp then prop if exp then prop1 else prop2 p q
Si factorizamos la gram´ atica por la izquierda, tenemos prop prop1
prop2 prop2’ exp
→ | → | | → → | → |
prop1 prop2 if exp then prop1 else prop1 a b if exp then prop2’ prop prop1 else prop2 p q 122
El alumno deber´ıa comprobar que se obtiene la tabla de an´ alisis siguiente:
p p1 p2
if p → p 1 | p2 p1 → if exp then p 1 else p 1 p2 → if exp then p 2 p2 → p p2 → p 1 else p 2
then
′
exp
b p1 → b
p2 → p p2 → p1 else p 2
p2 → p p2 → p 1 else p 2
p
q
exp → p
exp → q
′
′
p2
a p → p 1 p1 → a
else
′
′
′
′ ′
Como se puede ver, no es LL(1). Comprobar que modificando el lenguaje, a˜ nadiendo delimitadores de bloque (e.g. endif) la gram´ atica producida es LL(1). Una manera ad-hoc de solucionar el problema es adoptando la convenci´ on de determinar, de antemano, la producci´ on a elegir de entre las disponibles en una celda determinada de M . Si en el ejemplo de la gram´ atica anterior, factorizamos la gram´ atica original, sin eliminar la ambig¨ uedad tenemos: prop
prop’ exp
→ if exp then prop prop’ | a | b → else prop | λ → p | q
Si construimos la tabla de an´ alisis para esta gram´ atica, nos queda:
p p′
if p → if exp then p p′
then
else p′ → else p p′ → λ
a p → a
b p → b
p
$ p′ → λ
exp → p
exp
q
exp → q
Se observa que en M [ p′ ,else] hay dos producciones. Si, por convenio, determinamos elegir siempre p′ → else p, lo que estamos haciendo el escoger el ´arbol de derivaci´ on que asociaba el else con el if m´ as pr´oximo. En cualquier caso, no existe un criterio general para elegir una sola regla de producci´on cuando hay varias en una misma casilla.
5.2.5.
An´ alisis Descendente Predictivo No Recursivo
Para el dise˜ no de un analizador sint´ actico, descendente y no recursivo es claro que necesitamos una estructura de pila. Adem´ as vamos a usar la tabla que se ha estudiado anteriormente, para determinar qu´e producci´on aplicar en cada momento, junto con la cadena de entrada para el an´ alisis. El modelo de parser de este tipo aparece en la figura 5.5. Como se ve en la figura, el analizador usa un buffer de entrada, una pila, una tabla de an´ alisis sint´ actico y genera una cadena de salida. El final del buffer de entrada est´ a delimitado con el signo $, as´ı como el fondo de la pila. Esta podr´ a albergar tanto s´ımbolos terminales como no-terminales. Y estar´ a vac´ıa cuando el elemento que aparezca en la cabeza de la misma sea $. 123
$
a
+
b
$
Pila X
Analizador
Y
Sintáctico
Z
Predictivo
$
No Recursivo
Salida
Tabla M
Figura 5.5: Modelo de analizador sint´ actico predictivo, no recursivo El control de la manipulaci´ on de todos esos elementos se describe f´acilmente. Siempre se tiene en cuenta la cabeza de la pila, en la figura 5.5 el s´ımbolo X , y el siguiente car´acter a la entrada, llam´emosle a, el s´ımbolo + en la figura 5.5. Dependiendo de si X es no-terminal ´o terminal tendremos: Si X = a = $ el an´ alisis finaliza con ´exito. Si a ∈ V T y X = a, el analizador sint´ actico saca X de la pila, y desplaza el apuntador de la entrada un lugar a la derecha. No hay mensaje de salida. Si X ∈ V N , es hora de usar M . Para ello, el control del an´ alisis consulta la entrada M [X, a].
• Si M [X, a] = { X → UV W }, por ejemplo, se realiza una operaci´ on pop, con lo que sacamos X de la cima, y una operaci´ on push(U V W ), estando U en la cima. La salida, tras esa operaci´ on, es precisamente la producci´ on utilizada, X → U V W . • Si M [X, a] = ∅, el an´alisis es incorrecto, y la cadena de entrada no pertenece al lenguaje generado por la gram´ atica. La salida es error. Posiblemente se llame a una rutina de recuperaci´ on de errores. Pasamos ahora a especificar el algoritmo formalmente.
Algoritmo 5.6 An´ alisis Sint´ actico Predictivo No Recursivo. Entrada: Una tabla de an´ alisis sint´ actico M para una gram´ atica G = (V N , V T , S , P ), CFG y una cadena de entrada w. Salida: Si w ∈ L(G), una derivaci´ on por la izquierda de w; si no una indicaci´ on de error. M´etodo: Sea la configuraci´ on inicial de la pila, $S . Sea w$ el buffer de entrada.
• Hacer que ap(apuntador) apunte al primer s´ımbolo de w$. • Repetir ◦ Sea X el s´ımbolo a la cabeza de la pila, y a el s´ımbolo apuntado por ap. 124
◦ Si X ∈ V T o X = $ Entonces ⋄ Si X = a Entonces extraer X de la pila y avanzar ap. ⋄ Si no error(); Si No ⋄ Si M [X, a] = X → Y 1 Y 2 · · · Y k entonces ⋄ Begin 1. Extraer X de la pila 2. Meter Y k Y k−1 · · · Y 1 en la pila, con Y 1 en la cima 3. Emitir a la salida la producci´ on X → Y 1 Y 2 · · · Y k ⋄ End ⋄ Si no error() • Hasta que (X = $).
Para hacer un seguimiento de las sucesivas configuraciones que va adquiriendo el algoritmo, se usa una tabla de tres columnas: en la primera se muestra, para cada movimiento el contenido de la pila, en la segunda la entrada que aun queda por analizar, y en la tercera la salida que va emitiendo el algoritmo. Veamos un ejemplo, con la gram´ atica 5.1 y la correspondiente tabla 5.4. La evoluci´ on es la que aparece en la tabla 5.5: Pila $E $E ′ T $E ′ T ′ F $E ′ T ′ id $E ′ T ′ $E ′ $E ′ T + $E ′ T $E ′ T ′ F $E ′ T ′ id $E ′ T ′ $E ′ T ′ F ∗ $E ′ T ′ F $E ′ T ′ id $E ′ T ′ $E ′ $
Entrada id + id ∗ id$ id + id ∗ id$ id + id ∗ id$ id + id ∗ id$ +id ∗ id$ +id ∗ id$ +id ∗ id$ id ∗ id$ id ∗ id$ id ∗ id$ ∗id$ ∗id$ id$ id$ $ $ $
Salida E → T ′ E T → F T ′ F → id T → λ E ′ → +T E ′ T → F T ′ F → id T ′ → ∗ F T ′ F → id T ′ → λ E ′ → λ
Cuadro 5.5: Evoluci´ on de la pila para la gram´ atica 5.1 con la palabra id + id ∗ id$
5.2.6. Recuperaci´ on de Errores en el an´ alisis descendente predictivo En el contexto del an´ alisis sint´ actico predictivo, los errores pueden darse por dos situaciones bien diferentes: Cuando el terminal de la cabeza de la pila no concuerda con el siguiente terminal a la entrada. 125
Cuando se tiene un no-terminal A en la cima de la pila, y un s´ımbolo a a la entrada, y el contenido de M [A, a] = ∅ . Recuperaci´ on en Modo P´ anico Como ya sabemos, la recuperaci´ on de errores en modo p´anico consiste, grosso modo, en que cuando se detecta un token no esperado, se siguen consumiendo tokens, procedentes del an´ alisis l´exico, hasta que llega un determinado token denominado de sincronizaci´ on. Los tokens de sincronizaci´ on forman un conjunto que debe ser elegido cuidadosamente pues la eficiencia del manejo de errores en modo p´anico va a depender de c´omo de bien se elijan esos tokens. Adem´ as se deber´a prestar m´as atenci´ on a aquellos errores que ocurren con m´as frecuencia en la pr´actica. Las siguientes son algunas heur´ısticas que nos van a ayudar a decidir cuales van a ser los tokens de sincronizaci´ on para nuestra gram´ atica: a) Para cada s´ımbolo A ∈ V N , los tokens de sincronizaci´on podr´ıan ser aquellos pertenecientes a F OLLOW (A). Con esto estamos atacando aquellos errores que se cometen en la porci´on de forma sentencial producida por ese A. As´ı, cuando la cabeza de la pila es A y M [A, a] = ∅, podemos extraer A de la cima de la pila una vez que hayamos encontrado un token perteneciente a este conjunto de sincronizaci´ on. A partir de ah´ı se contin´ ua el an´ alisis. b) Sin embargo ese conjunto de sincronizaci´ on resulta insuficiente. Pi´ensese en un lenguaje cuyas sentencias terminen por el car´acter ’;’, por ejemplo. Si el error ha sido omitir ese car´ acter, a continuaci´ on, seguramente, encontraremos una palabra clave que inicia una sentencia. Esta palabra clave no pertenecer´a a FOLLOW (A), obviamente. Por lo tanto toda la sentencia siguiente quedar´ a invalidada. Una soluci´ on para eso ser´ıa incluir las palabras claves en el conjunto de sincronizaci´ on para A. Esto nos lleva a un esquema m´ as general. Si el lenguaje est´ a formado por construcciones organizadas en una forma jer´ arquica, e.g. en donde los bloques contienen otros bloques y sentencias, y a su vez estas contienen expresiones, ... una buena aproximaci´ on es incluir en los conjuntos de sincronizaci´ on de no-terminales inferiores, los terminales que inician las construcciones superiores. c) Si consideramos un tipo de error muy com´ un, que consiste en colocar caracteres extra˜ nos, con estructura de token (e.g. identificador), en una sentencia, es claro que la estructura de frase se ve alterada. Podemos evitar ese tipo de tokens incluyendo, en el conjunto de sincronizaci´ on de los correspondientes A, el contenido de FIRST (A). En este caso se continuar´ıa el an´ alisis al encontrar el token de sincronizaci´ on, sin sacar A de la pila. d) Una soluci´ on, poco elegante, aunque definitiva podr´ıa ser esta: si no se puede emparejar un terminal en la cabeza de la pila, extraerlo de la pila, emitir un mensaje que indique que se insert´ o un terminal en la entrada, y continuar el an´alisis (i.e. es equivalente a considerar como componentes de sincronizaci´ on el resto de componentes l´exicos). En resumen, y como estrategia general , podemos actuar de la siguiente forma: Si el teminal de la pila no coincide con el de la entrada , se act´ u a como en el caso d) anterior. Si M [A, a] = ∅ se saltan tokens de la entrada hasta encontrar un token de sincronizaci´ on que cumpla una de estas condiciones y en este orden:
• Que pertenezca al conjunto FIRST (A) y se act´ ua como en el caso c). • Que pertenezca al conjunto FOLLOW (A) y se act´ ua como en a), o que pertenezca al conjunto de sincronizaci´ on definido seg´ un b) ajustando la pila de forma adecuada. 126
Lo vemos mejor con un ejemplo. Observemos la tabla 5.4 y supongamos que estamos utilizando los tokens de sincronizaci´ on de los conjuntos FIRST (A) y FOLLOW (A) para cada no terminal A. Seg´ un la estrategia general, el algoritmo se comportar´ıa de la siguiente forma, para la entrada +id ∗ id+: Pila $E $E $E ′ T $E ′ T ′ F $E ′ T ′ id $E ′ T ′ $E ′ T ′ F ∗ $E ′ T ′ F $E ′ T ′ id $E ′ T ′ $E ′ $E ′ T + $E ′ T $E ′ $
Entrada Comentario +id ∗ id + $ Error: ignorar + al no ser t.sincr. Como id ∈ FI RST (E ), continuar id ∗ id + $ id ∗ id + $ id ∗ id + $ id ∗ id + $ ∗id + $ ∗id + $ id + $ id + $ +$ +$ +$ $ Error: se extrae T de la pila, pues $ ∈ F OLLOW (T ) $ $
Observar que hay una primera secuencia de derivaciones m´ as a la izquierda, antes de la detecci´ on del segundo error: E ⇒ T E ′ ⇒ F T ′ E ′ ⇒ idT ′ E ′ ⇒ id ∗ F T ′ E ′ ⇒ id ∗ idT ′ E ′ ⇒ id ∗ idE ′ ⇒ id ∗ id + T E ′ A partir de ah´ı, no podr´ıamos seguir generando la cadena. Si eliminamos T de la cima de la pila podemos continuar aplicando la regla E ′ ⇒ λ obteniendo la u ´ltima derivaci´ on: id ∗ id + E ′ ⇒ id ∗ id+ Con lo que, al final somos capaces de simular la producci´ on de la cadena err´ onea. Otro ejemplo puede ser el de la entrada (id$, para la gram´ atica del ejemplo previo. La evoluci´ on del algoritmo ser´ a: Pila $E $E ′ T $E ′ T ′ F $E ′ T ′ )E (F $E ′ T ′ )E $E ′ T ′ )E ′ T $E ′ T ′ )E ′ T ′ F $E ′ T ′ )E ′ T ′ id $E ′ T ′ )E ′ T ′ $E ′ T ′ )E ′ $E ′ T ′ ) $E ′ T ′ $E ′ $ $
Entrada (id$ (id$ (id$ (id$ id$ id$ id$ id$ $ $ $ $ $ $ $
Acci´ on E → T E ′ T → F T ′ F → (E ) E → T E ′ T → F T ′ F → id T ′ → λ E ′ → λ Error. Sacamos ’)’ de la pila. T ′ → λ E ′ → λ
127
Lo que se ha interpretado, con este error, es que se hab´ıa omitido, por equivocaci´ on el par´entesis derecho. Esa interpretaci´ on va a dar la derivaci´ on izquierda siguiente: E ⇒ T E ′ ⇒ F T ′ E ′ ⇒ (E )T ′ E ′ ⇒ (T E ′ )T ′ E ′ ⇒ (F T ′ E ′ )T ′ E ′ ⇒ (idT ′ E ′ )T ′ E ′
⇒ (idE ′ )T ′ E ′ ⇒ (id)T ′ E ′ ⇒ (id)E ′ ⇒ (id) Recuperaci´ on a Nivel de Frase El esquema general de tratamiento de errores con esta t´ecnica consiste en introducir apuntadores a rutinas de error en las casillas en blanco de la tabla M . Dependiendo de cual sea la casilla de error, la rutina de tratamiento ejecutar´ a un tipo de operaci´ on u otro. Las operaciones habituales son las de cambiar, eliminar o´ a˜ nadir caracteres a la entrada emitiendo los pertinentes mensajes de error. Este enfoque puede resultar bastante complicado, pues habr´ıa que considerar los posibles s´ımbolos de entrada que pueden causar error, y luego dar un mensaje adem´ as de un tratamiento adecuado para cada tipo de error. Si consideramos de nuevo la tabla 5.4, y suponemos que en la pila aparece E y en la entrada ), esto puede deberse a dos situaciones diferentes, de las que deber´ıa informarnos e intentar recuperarse una rutina a la que se llamara cuando se intentara acceder a la casilla correspondiente en la tabla. Los mensajes y actuaciones correspondientes a cada una de estas situaciones podr´ıan ser: ”Se coloc´ o ) al principio del programa”. Saltar ) de la entrada. ”Falta expresi´ on entre par´entesis”. Sacar de la pila E ) y eliminar ) de la entrada.
5.2.7.
An´ alisis Descendente Predictivo Recursivo
Este m´etodo descendente de an´ alisis se basa en la ejecuci´on, en forma recursiva, de un conjunto de procedimientos que se encargan de procesar la entrada. Se asocia un procedimiento a cada no-terminal de la gram´ a tica, con lo que se tiene que codificar cada uno de ellos seg´ u n sus caracter´ısticas. Estas van a estar condicionadas por el hecho de usar el tipo de an´ alisis predictivo, y para gram´ aticas de tipo LL(1). Por lo tanto, los s´ımbolos de los respectivos conjuntos FIRST van a determinar, de forma no ambigua, el siguiente procedimiento que se deber´ a invocar. Precisamente esta secuencia es la que va a definir la derivaci´on izquierda que se est´ a aplicando de forma impl´ıcita. Vamos a introducir este an´alisis usando como gram´ atica de referencia una CFG, G = (V N , V T , S , P ) con el siguiente conjunto de producciones en P : Gram´ atica 5.2
tipo
simple
→ | | → | |
simple
↑ id array [simple] of tipo integer char num puntopunto num
Observar que la gram´atica 5.2 es de tipo LL(1), ya que los respectivos conjuntos FIRST (tipo) y FIRST (simple) son disjuntos. Por lo tanto, el primer s´ımbolo de entrada va a determinar qu´e producci´on aplicar para obtener toda la cadena. Con sus producciones se definen tipos 128
compuestos y tipos simples. Los compuestos son punteros a identificadores y arrays de tipos compuestos. Los simples son los enteros, caracteres simples y n´ umeros reales. Volviendo al an´ alisis recursivo de la gram´ atica 5.2 , vamos primero a introducir los tipos de procedimientos de los que se hablaba arriba. Vamos a tener dos procedimientos similares, uno para cada s´ımbolo perteneciente a V N . Cada uno de los procedimientos, correspondientes a los no terminales tipo y simple, junto con un procedimiento empareja para simplificar el c´ odigo de los dos anteriores aparecen en la figura del pseudoc´ odigo 5.1
Pseudo c´ odigo Pseudo c´ odigo 5.1 procedure empareja(t:complex); begin if (preanalisis == t) then preanalisis := sigcomplex
else error end; procedure tipo; begin if preanalisis is in {integer, char, num} then simple
else if preanalisis == ’↑’ then begin empareja(’↑’); empareja(id)
end else if preanalisis == array then begin empareja(array); empareja(’]’); simple; empareja(’]’); empareja(of ) ; tipo
end else error end; procedure simple; begin if preanalisis == integer then empareja(integer)
else if preanalisis == char then empareja(char)
else if preanalisis == num then begin empareja(num); empareja(puntopunto); empareja(numero);
end else error end;
129
tipo
empareja(array)
empareja(’[’)
simple
empareja(num)
empareja(puntopunto)
empareja(’]’)
empareja(of)
empareja(num)
tipo
simple
empareja(integer)
Figura 5.6: Ejemplo de a´rbol de llamadas del an´ alisis descendente recursivo predictivo N´ otese que el an´alisis sint´ actico debe comenzar con una llamada al no-terminal inicial, tipo. En este, se testea el contenido de la variable global preanalisis que contiene el car´ acter de anticipaci´ on de la cadena de entrada, que posibilita el an´alisis predictivo. Si tomamos como ejemplo la entrada que aparece en el pseudoc´odigo siguiente: array [num puntopunto num] of integer;
el contenido de preanalisis es, inicialmente, array. Por lo tanto, se generan las llamadas empareja(array); empareja(’[’); simple; empareja(’]’); empareja(of ) ; tipo
que precisamente corresponde con la producci´ on tipo
→ array [simple] of tipo
de la gram´ atica del ejemplo. Lo que hacemos es, simplemente, invocar al procedimiento empareja para cada s´ımbolo terminal, y a los correspondientes simple y tipo para el tama˜ n o y el tipo base del array, respectivamente. El orden de la invocaci´ on es importante, al estar realizando un an´ alisis descendente y, por lo tanto, obteniendo una derivaci´ on m´ as a la izquierda. Observar que el s´ımbolo de anticipaci´ on inicial (i.e. array) coincide con el argumento de acter a la empareja(array). Por lo tanto, se actualiza la variable preanalisis al siguiente car´ entrada, que es ’[’. La llamada empareja(’[’) tambi´en la actualiza la variable preanalisis pasando a ser ahora num. Ahora se invoca a simple, que compara el contenido de esta variable con to dos los s´ımbolos terminales que forman su correspondiente conjunto FIRST . Coincide con num y por lo tanto se hace la siguiente serie de invocaciones: empareja(num); empareja(puntopunto); empareja(num)
que resultan exitosas. Despu´ es de su ejecuci´ on, el contenido de preanalisis es of, y estamos en la llamada empareja(of). Resulta exitosa y nuevamente se actualiza el contenido de preanalisis a integer. Se llama ahora a tipo que genera su correspondiente llamada simple seg´ un dicta el s´ımbolo de preanalisis y el conjunto FIRST (tipo). Finalmente se genera la llamada empareja(integer), y como el siguiente s´ımbolo es $, finaliza con ´exito. La secuencia de llamadas puede seguirse con ayuda de la figura 5.6. Otro ejemplo podemos verlo con la gram´ atica 5.1, cuyas producciones volvemos a incluir a continuaci´ on: 130
E E ′ T T ′ F
→ → → → →
T E ′ +T E ′ |λ F T ′ ∗F T ′ |λ (E )|id
Vamos a escribir los procedimientos necesarios para el an´ alisis recursivo descendente predicitivo, para esta gram´ atica LL(1). Como ya hemos mencionado, se debe escribir un procedimiento para cada s´ımbolo no-terminal, que se encargue de analizar sus correspondientes partes derechas. El listado completo puede encontrarse en la figura de pseudoc´ odigo 5.2.
Pseudo c´ odigo Pseudo c´ odigo 5.2 procedure empareja(t:simbolo); begin if (preanalisis == t) then preanalisis := sigsimbolo
else error end; procedure No terminal E; begin No terminal T; No terminal E’
end; procedure No terminal E’; begin if preanalisis == ’+’ then empareja(’+’); No terminal T; No terminal E’
else begin end end; procedure No terminal T; begin No terminal F; No terminal T’
end; procedure No terminal T’; begin if preanalisis == ’*’ then begin empareja(’*’); No terminal F; No terminal T’
end end procedure No terminal F; begin if preanalisis == ’(’ then begin 131
empareja(’(’); No terminal E; empareja(’)’)
else if preanalisis == id then empareja(’id’);
end
Se ha de tener en cuenta que, en el caso especial de las λ−producciones, como ocurre para los no-terminales E ′ y T ′ , si la variable preanalisis no coincide con + o´ ∗, respectivamente, se interpreta que el correspondiente s´ımbolo no-terminal se ha reducido a la palabra vac´ıa y se continua el an´ alisis.
5.3.
An´ alisis LR
5.3.1. Introducci´ on Las t´ecnicas que utilizan el an´ alisis sint´ actico ascendente pueden ser vistas como totalmente opuestas a las t´ecnicas de la secci´ on anterior. En aqu´ellas se part´ıa del s´ımbolo inicial de la gram´ atica, hasta conseguir una derivaci´ on izquierda que produjera la cadena de entrada, si esta pertenec´ıa al lenguaje generado por la gram´ atica. Por el contrario, el an´ alisis ascendente parte de las hojas del correspondiente a´rbol de derivaci´ on derecho, o lo que es lo mismo, de la propia cadena de entrada, tratando de construir el a´rbol desde ´estas hasta la ra´ız. Se dice que el a´rbol se construye por desplazamiento-reducci´ on (o shift-reduce ). En este apartado vamos a estudiar el an´ alisis ascendente predictivo, en el cual se busca una derivaci´on derecha de la cadena de entrada de forma determinista. Este se sustenta en su aplicaci´ on a un grupo determinado de gram´ aticas: las gram´ aticas LR(k). La L viene del hecho de que la lectura de la cadena de entrada se realiza de izquierda a derecha. La R significa que se produce un ´arbol de derivaci´ on derecho. Finalmente, k indica el n´ umero de s´ımbolos que es necesario leer a la entrada para tomar la decisi´ on de qu´e producci´on emplear. Veamos c´ omo funciona. Un parser del tipo shift-reduce predictivo, puede verse como un aut´omata de pila determinista, extendido, que realiza el an´ alisis de abajo hacia arriba. Dada una cadena de entrada w, obtiene una derivaci´ on m´ as a la derecha, como S ⇒ rm α 0 ⇒ rm α 1 ⇒ rm · · · ⇒rm α m ≡ w Para seguir profundizando es necesaria una definici´ on previa. Definici´ on 5.8 Sea G = (V N , V T , S , P ) una CFG, y sup´ongase que ∗
∗
S ⇒rm αAw ⇒ rm αβw ⇒rm xw es una derivaci´ o n m´ as a la derecha. Podemos decir entonces que la forma sentencial derecha αβw puede ser reducida por la izquierda, mediante la producci´ on A → β a la forma sentencial derecha αAw. Adem´ as, la subcadena β , en la posici´ on en la que aparece se denomina manejador (o mango) de αβ w. El concepto de mango hace referencia a la porci´ on de la forma sentencial derecha considerada, que puede ser reducida por un no-terminal determinado, y que adem´as conduce a otra forma sentencial derecha en la cual se pueden seguir aplicando reducciones para llegar a S . Obs´ervese 132
que si la reducci´ on de β mediante un no-terminal no llevara a otra forma sentencial derecha que pudiera conducir al s´ımbolo inicial de la gram´ atica, no ser´ıa un mango de αβw. Estudiemos la definici´ on de mango con una gram´ atica que consta de las siguientes producciones: Gram´atica 5.3 S A B
→ Ac|Bd → aAb|ab → aBbb|abb
Esta gram´ atica genera el lenguaje {an bn c|n ≥ 1} ∪ {an b2n d|n ≥ 1}. Sea la forma sentencial derecha aabbbbd. El u ´ nico mango de esa cadena es abb, ya que aBbbd sigue siendo una forma sentencial derecha (i.e. una cadena que se puede obtener a partir del s´ımbolo inicial de la gram´ atica, mediante derivaciones m´ as a la derecha de cierta longitud). Observar que ab no lo es, ya que aunque se tiene A → ab, sin embargo aAbbbd no es una forma sentencial derecha para esa gram´ atica. Ahondando m´ as en el tema, sea ahora αx una forma sentencial derecha tal que α es λ o termina con un s´ımbolo no-terminal. Adem´ as, x ∈ V T ∗ . Entonces denominamos a α como la porci´ on abierta de αx, y a x como su porci´ on cerrada. El aut´ omata de pila determinista guarda cada forma sentencial αi con la porci´ on abierta a´ un en la pila, y la porci´ on cerrada en el resto de la cadena que queda por leer. Por ejemplo, si α i = αAx, entonces αA est´ a, en ese momento, en la pila, y x aun no se ha le´ıdo. Supongamos que αi−1 = γ Bz, y que se usa la producci´on B → β y en αi−1 ⇒rm αi , en donde γβ = αA es la porci´ on abierta de γβyz, e yz = x la porci´ on cerrada de αi . Por lo tanto γβ est´ a en la pila del aut´ omata. Lo que har´ a el aut´ omata es desplazar hacia la derecha, sobre algunos s´ımbolos de yz (posiblemente ninguno, si y = λ) hasta encontrar el mango de αi . As´ı, y tambi´en pasar´ a a la cabeza de la pila. Una vez que se ha delimitado el mango por la derecha, debe localizarse su l´ımite izquierdo. Cuando se haya localizado se sustituye todo el mango, βy, por B, emitiendo como salida B → βy. Ahora, en la cima de la pila est´ a γB, y la entrada es z. Estas son, respectivamente, la porci´ on abierta y cerrada de α i−1 . Recapitulando, un algoritmo de parsing shift-reduce debe tomar, a lo largo de su ejecuci´on, tres tipos de decisiones: 1. Antes de cada movimiento debe elegir entre desplazar un s´ımbolo de entrada, o reducir. O lo que es lo mismo, descubrir si ha encontrado el l´ımite derecho de un mango. 2.
Una vez que se ha determinado el l´ımite derecho del mango, se ha de encontrar el l´ımite izquierdo.
3.
Despu´es se ha de elegir qu´e no-terminal debe reemplazar a ´este.
Las gram´ aticas de tipo LR(k) definen un conjunto muy extenso de gram´aticas para las cuales siempre podemos encontrar, mediante un algoritmo de an´ alisis determinista, a´rboles de derivaci´ on derechos. De manera informal, decimos que una gram´ atica es LR(k) si, dada una derivaci´ o n m´ a s a la derecha como esta, S = α 0 ⇒ α 1 · · · ⇒ α m = z, podemos determinar el mango de cada forma sentencial derecha, y determinar tambi´ en qu´ e no-terminal va a reemplazar en la pila al mango, examinando α i de izquierda a derecha, pero no m´as de k s´ımbolos, a partir del final del mango. Ve´ amoslo m´ as en profundidad. Sea αi−1 = αAw y αi = αβw, en donde β es el mango de αi . Sea adem´ as, β = X 1 X 2 . . . Xr . Si la gram´ atica en cuesti´ o n es LR(k), podemos asegurar los siguientes tres hechos: 133
1. Si conocemos αX 1 X 2 . . . X j y los primeros k s´ımbolos de X j +1 . . . Xr w, podemos estar seguros de que el final derecho del mango no se alcanzar´ a hasta que j = r. 2. Conociendo αβ , y como mucho los primeros k s´ımbolos de w, podemos afirmar que β es el mango, y que β se va a reducir por A. 3.
Si α i−1 = S , podemos afirmar que la cadena de entrada va a ser aceptada.
Vamos a estudiar la comparaci´ on entre una gram´ atica LL(k) y una gram´ atica LR(k). Para que una gram´atica sea LR(k), debe ser posible reconocer la parte derecha de una producci´on, habiendo visto todo lo que se deriva de la misma, adem´ as de k s´ımbolos de anticipaci´ o n de la entrada. Por otro lado, para que una gram´ atica sea LL(k), debe ser posible elegir una producci´on a aplicar u ´nicamente mirando k s´ımbolos derivados de su correspondiente parte derecha. Como puede verse, esta u ´ ltima condici´ on es m´as restrictiva. La condici´ on de las gram´ aticas LR permite disponer de m´ as informaci´ on; esto es, toda la parte derecha de la producci´on correspondiente, y adem´ as k s´ımbolos a la derecha de la misma. Por lo tanto, el conjunto de gram´ aticas LR es m´ as amplio que el de las LL. De hecho, el conjunto de las gram´aticas LL es un subconjunto propio de las LR. Analizadores LR Vamos a comprobar, en esta secci´ on, las bondades de los analizadores LR. Estas son: Como hemos visto antes, el conjunto de gram´ aticas LL es un subconjunto propio de las gram´ aticas LR. No solo eso, sino que es posible construir un analizador sint´actico LR para reconocer pr´ acticamente la totalidad de las construcciones de los lenguajes de programaci´ on que se pueden definir mediante gram´ aticas CFG. El m´etodo de an´alisis LR es el m´etodo del tipo shift-reduce , sin retroceso, m´as general que se conoce pero, adem´as, su aplicaci´ on es tan eficiente como la de otros m´etodos shift-reduce menos generales. Los errores pueden detectarse tan pronto como sea posible hacerlo, en un examen de la entrada de izquierda a derecha. Sin embargo, como desventaja principal podemos indicar que, a veces, construir un analizador sint´actico de este tipo para una gram´ atica dada es demasiado complejo como para intentar hacerlo a mano. Para ello se deben usar generadores de analizadores autom´ aticos como YACC. Vamos a ver, en este cap´ıtulo, tres t´ecnicas diferentes para construir analizadores LR. Un primer m´etodo es el SLR (Simple LR), el m´ as sencillo de construir pero es el menos potente de los tres. Esta potencia ha de ser entendida en t´ erminos de la cantidad de gram´ aticas que puede abarcar. Por otro lado tenemos el m´etodo LR can´ onico, que es el m´ as costoso y potente de los tres. Por u ´ltimo, el m´etodo LALR (Look-Ahead LR) est´ a entre los otros dos, en t´erminos de su complejidad y potencia. El algoritmo gen´erico de an´ alisis LR Cada uno de los tres m´etodos se basa en un determinado tipo de tabla de an´ alisis, cuya construcci´ on depende totalmente del tipo de m´ etodo. Sin embargo, en los tres casos, el algoritmo de an´ alisis LR es siempre el mismo. Un diagrama estructural de lo que podr´ıa ser un sistema implementador del algoritmo aparece en la figura 5.7. En esta figura puede verse el buffer de entrada, y la pila. En ella se almacena una cadena en la forma s0 X 1 s1 · · · X m sm . El estado sm est´ a en la cima de la pila. Los s´ımbolos X i son s´ımbolos 134
Entrada
a1 ... ai ... an
$
Pila Sm
Programa para
Xm
Análisis sintáctico
S m-1
LR
SALIDA
X m-1 ... S0 acción ir_a
Figura 5.7: Diagrama estructural de un analizador sint´ actico LR
gramaticales (i.e. X i ∈ V T ∪ V N ), y los s i son estados. Para acceder a la tabla de an´alisis se usa, precisamente, el s´ımbolo de estado en la cima de la pila y el siguiente car´ acter a la entrada. Como puede verse, en la parte inferior de la figura 5.7, el algoritmo puede realizar dos tipos de movimientos (que dictar´ a la tabla de an´ alisis). El movimiento de tipo acci´ on puede ser, a su vez, uno entre cuatro posibles acciones, que son reducir, desplazar, aceptar y error. El otro movimiento, ir a, representa una transici´ on entre estados del aut´omata de pila. Nuevamente utilizaremos el concepto de configuraci´ on . En el analizador LR, una configuraci´ on constar´ a de un par formado por el contenido de la pila y la entrada aun sin procesar: (s0 X 1 s1 X 2 s2 · · · X msm , ai ai+1 · · · an $) Observar que una configuraci´on corresponde, si ignoramos los s´ımbolos de estado, con la forma sentencial derecha que se va construyendo, a medida que avanza el an´ alisis sint´ actico. Si la cadena es reconocida llegaremos a la forma sentencial $. La configuraci´on anterior corresponder´ aa la forma sentencial X 1 X 2 · · · X m ai ai+1 · · · an . Pasamos ahora a detallar los cuatro tipos de acciones. Para realizar un movimiento, se lee ai de la cadena de entrada, y sm en la cima de la pila. Nos vamos despu´es a consultar la parte de acciones de la tabla de an´ alisis, con accion[sm, ai ] y dependiendo del movimiento: Si accion[sm, ai ] = desplazar s, se ha de desplazar a la pila el s´ımbolo ai , junto con el siguiente estado, dado en la tabla, s, pas´ andose ahora a la configuraci´ on (s0 X 1 s1 X 2 s2 · · · X m sm ai s, ai+1 · · · an $) Si accion[sm , ai ] = reducirA → β , entonces, si |β | = r, se han de reducir los primeros r s´ımbolos X k de la pila, junto con los correspondientes r estados, por el no terminal A. Obs´ervese que β = X m−r+1 X m−r+2 · · · X m . Ahora la nueva configuraci´on es (s0 X 1 s1 X 2 s2 · · · X m−r sm−r As,ai ai+1 · · · an $) en donde el nuevo estado s se obtiene observando en la tabla el contenido de ir a[sm−r , A]. Si accion[sm , ai ] = aceptar, el an´ alisis sint´ actico termina con ´exito. Si accion[sm , ai ] = error, hay un error en la cadena de entrada, y se llama a una rutina de recuperaci´on de errores. 135
La especificaci´ on del algoritmo correspondiente a la figura 5.7, es la siguiente:
Algoritmo 5.7 Algoritmo de an´ alisis sint´ actico LR Entrada: Una cadena de entrada w y una tabla de an´ alisis sint´ actico LR, con las funciones accion e ir a para una gram´ atica G = (V N , V T , S , P ) de tipo CFG. Salida: si w ∈ L(G) entonces, una derivaci´ on derecha; si no una salida de error. M´etodo: la pila del analizador contiene, inicialmente, a s0 , en donde s0 es el estado inicial del aut´ omata correspondiente. w$ estar´ a completa en el buffer de entrada. Sea ap el apuntador al s´ımbolo de entrada actual. A partir de aqu´ı, ejecutar: Hacer que ap apunte al primer s´ımbolo de w$. Repeat forever Begin Sea s el estado en la cima de la pila, y a el s´ımbolo apuntado por ap if accion[s, a] = desplazar s ′ then begin Introducir a, y despu´es s′ en la cima de la pila Hacer que ap apunte al siguiente s´ımbolo a la entrada End else if accion[s, a] = reducir A → β then Begin Extraer 2 × |β | s´ımbolos de la pila Sea s ′ el estado que ahora est´ a en la cima de la pila Introducir A y despu´ es introducir el estado resultante de ′ ir a[s , A] Emitir la producci´ on A → β End else if accion[s, a] = aceptar then return else error() End
5.3.2.
Tabla de An´ alisis SLR
Como ya se ha mencionado en este cap´ıtulo, la construcci´ on de una tabla SLR es relativamente sencilla, si la comparamos con la construcci´ on de una LR can´onica, o´ una LALR. Sin embargo, el conjunto de gram´ aticas para las cuales se puede construir este tipo de tablas es el m´ as peque˜ no de los tres. La base para construir analizadores SLR la forman un grupo de conjuntos de items LR(0). Estos items LR(0), para una gram´ atica dada G, est´ an formados por una de las producciones de G, con un punto en cualquier posici´ on de su correspondiente parte derecha. Por ejemplo, a partir de la producci´on A → X Y Z se pueden construir los siguientes items LR(0): A A A A
→ → → →
•XY Z X • Y Z XY • Z XY Z • 136
A → • ser´ıa el u ´nico item asociado a la producci´ on A → λ. Los conjuntos formados por estos items, denominados colecci´ on can´ onica LR(0), van a constituir los estados de un aut´ omata de pila que se encargar´a de reconocer los prefijos viables de la gram´ atica.
∗ Definici´ on 5.9 Sea S ⇒ αAw ⇒ αβw una derivaci´on derecha para la gram´ atica G. Decimos rm
rm
que una cadena γ es un prefijo viable de G si γ es un prefijo de αβ . Esto es, γ es una cadena que es un prefijo de alguna forma sentencial derecha, pero que no abarca m´ as all´ a del l´ımite derecho del mango de esa forma sentencial. Para construir la colecci´ on can´ onica previamente mencionada, es necesario definir la gram´ atica aumentada, y dos funciones: cerradura e ir a . Definici´ on 5.10 Sea G = (V N , V T , P , S ) una CFG. Definimos la gram´ atica aumentada G′ derivada de G como G ′ = (V N ∪ {S ′ }, V T , P ∪ {S ′ → S }, S ′ ). Este concepto de gram´ atica aumentada es necesario para indicar mejor al analizador cuando determinar la aceptaci´ on de la cadena. Definici´ on 5.11 Sea I un conjunto de elementos del an´alisis sint´ actico LR(0) para G. Entonces cerradura(I ) es el conjunto de items construido a partir de I siguiendo las dos reglas siguientes: 1.
A˜ nadir todo item de I a cerradura(I ).
2.
Si A → α • Bβ ∈ cerradura(I ), y B → γ ∈ P , entonces a˜ nadir B → •γ a cerradura(I ), si a´ u n no se ha a˜ nadido. Repetir esta regla hasta que no se puedan a˜ nadir m´ as items.
La funci´on ir a est´ a definida en el dominio del producto cartesiano formado por los conjuntos de items I , y el conjunto de s´ımbolos de la gram´ atica en cuesti´ on, ({V N − S ′ } ∪ {V T − $}). Dicho de otra forma, el conjunto formado por parejas de la forma (estado actual,nueva entrada). El codominio es el de las funciones de cerradura. Definici´ on 5.12 Sea I X = { [A → αX • β ] tal que [A → α • Xβ ] ∈ I }. Entonces, ir a(I, X ) = cerradura(I X ). Esto es, si I es el conjunto de items v´alidos para alg´ un prefijo viable γ , la funci´on ir a(I, X ) nos dar´ a el conjunto de items v´ alidos para el prefijo viable γ X . Por lo tanto, dado un estado actual del aut´ omata, y un s´ımbolo de la gram´ atica a procesar, la funci´ on ir a nos llevar´a a un estado formado por los items en los que el meta-s´ımbolo aparece a la derecha del mismo, indicando que lo hemos reconocido. Ahora ya podemos construir la colecci´ on can´ onica de conjuntos de items LR(0), para una ′ gram´ atica aumentada G .
Algoritmo 5.8 Generaci´ o n de la colecci´ on can´ onica de conjuntos de items para una gram´ atica aumentada G’. Entrada: una gram´ atica aumentada G ′ , a partir de una CFG, G. Salida: C , la colecci´ on can´ onica de conjuntos de items. M´etodo: Begin 137
Inicializar C := {cerradura({[S ′ → • S ]})} Repetir Para cada conjunto de items I en C , y cada s´ımbolo gramatical X tal que ir a(I, X ) = ∅ e ir a(I, X ) ∈ / C hacer A˜ nadir ir a(I, X ) a C . Hasta que no se puedan a˜nadir m´ as conjuntos de items a C . End
Ejemplo Vamos a ver todos estos conceptos con un ejemplo. Lo introduciremos con la gram´atica 5.4. Si aumentamos esta gram´ atica, obtenemos la gram´ atica 5.5. Gram´atica 5.4 E → T → F →
Gram´atica 5.5 E ′ E T F
E + T |T T ∗ F |F (E )|id
→ → → →
E E + T |T T ∗ F |F (E )|id
Si empezamos aplicando el algoritmo 5.8, debemos inicializar C con la cerradura del conjunto formado por el item [E ′ → •E ] . Si le aplicamos la definici´ on 5.11, obtenemos el siguiente conjunto I 0 : E ′ E E T T F F
→ → → → → → →
•E •E + T •T •T ∗ F •F •(E ) •id
Ahora entramos en el bucle del algoritmo 5.8, de tal manera que para las combinaciones siguientes (I, simbolo), obtenemos los conjuntos de items indicados: Para (I 0 , E ) obtenemos un I 1 : E ′ E
→ →
E • E • +T
Para (I 0 , T ) obtenemos un I 2 : E → T →
T • T • ∗F
Para (I 0 , F ) obtenemos un I 3 : T
→
F •
Para (I 0 , () obtenemos un I 4 : 138
F E E T T F F
→ → → → → → →
(•E ) •E + T •T •T ∗ F •F •(E ) •id
Para (I 0 , id) obtenemos un I 5 : F
→
id•
Para (I 1 , +) obtenemos un I 6 : E T T F F
→ → → → →
E + •T •T ∗ F •F •(E ) •id
Para (I 2 , ∗) obtenemos un I 7 : T F F
→ → →
T ∗ •F •(E ) •id
Para (I 4 , E ) obtenemos un I 8 : F → E →
(E •) E • +T
Para (I 6 , T ) obtenemos un I 9 : E → T →
E + T • T • ∗F
Para (I 7 , F ) obtenemos un I 10 : T
→
T ∗ F •
Para (I 8 , )) obtenemos un I 11 : F
→
(E )•
Observar que po demos dise˜ nar un AFD, si hacemos que cada estado i se corresponda con cada I i . Las transiciones ser´ıan de dos tipos: De A → α • Xβ a A → αX • β , etiquetada con X , De A → α • Bβ a B → •γ etiquetada con λ. Una representaci´ on gr´ afica puede verse en la figura 5.8. Una vez que podemos calcular la colecci´ on can´ onica de items LR(0) de una gram´ atica, ya estamos listos para calcular la tabla de an´ alisis sint´ a ctico SLR. Como ya se ha visto, en el an´ alisis LR gen´ erico hay cuatro tipos de acciones, para aceptar y rechazar una cadena o para reducir un no terminal o´ avanzar en la lectura de w. El algoritmo 5.9 puede utilizarse para rellenar las partes accion e ir a de la tabla de an´ alisis. 139
I0
E
I
+
I6
1
T
I9 F (
*
I
7
I3
I id 4 I5
T *
I2
I
F
I 10
7 (
F
id I3
I5 (
(
E
I4
id
F
)
I8
T id
I4
I
11
+ I2 I6
I5 I3
Figura 5.8: AFD formado a partir de la colecci´ on can´ onica de items LR(0) de la gram´ atica 5.5.
Algoritmo 5.9 Tabla de an´ alisis sint´ actico S LR Entrada: Una gram´ atica aumentada G ′ . Salida: Las funciones accion e ir a de la tabla de an´ alisis sint´ actico SLR para ′ G. M´etodo: 1. Constr´ uyase C = { I 0 , I 1 , . . . , In }, la colecci´ on de conjuntos de items LR(0) ′ para G . 2. Para el AFD, el estado i se construye a partir del conjunto I i . Las acciones de an´ alisis sint´ actico para el estado i se construyen seg´ un: a ) Si [A → α • aβ ] est´ a en I i , y adem´ as ir a(I i , a) = I j , asignar shift j a accion[i, a], siendo a ∈ V T . b) Si [A → α•] ∈ I i , entonces asignar reduce A → α a accion[i, a], para todo a ∈ F OLLOW (A). c ) Si [S ′ → S •] ∈ I i , entonces asignar aceptar a accion[i, $]. 3. Las transiciones ir a para el estado i se construyen, para todos los A ∈ V N utilizando la regla si ir a(I i , A) = I j , entonces ir a[i, A] = j 4. Todas las entradas de la tabla no actualizadas por 2 y 3 son consideradas error. 5. El estado inicial es el construido a partir del conjunto I 0 . Observar que si los pasos 2.a. y 2.b. generan acciones contradictorias, para una misma celda accion[i, a], se dice entonces que la gram´ a tica no es SLR(1), y por lo tanto no es posible construir un analizador sint´ actico para la gram´ atica. Una tabla de an´ alisis generada mediante este algoritmo se denomina tabla de an´ alisis sint´ actico SLR(1). 140
Estado 0 1 2 3 4 5 6 7 8 9 10 11
id d5
+ d6 r2 r4
d5 r6 d5 d5 d6 r1 r3 r5
acci´ on * ( ) d4 d7 r2 r4 r4 d4 r6 r6 d4 d4 d11 d7 r1 r3 r3 r5 r5
$
ir a E T F 1 2 3
aceptar r2 r4 8
2
3
9
3 10
r6
r1 r3 r5
Figura 5.9: Tabla de an´ alisis sint´ actico SLR(1) de la gram´ atica 5.4 Vamos a utilizar nuevamente la gram´ atica 5.5 para desarrollar un ejemplo en el que construir la tabla de an´ alisis sint´ actico S LR(1). Los conjuntos FOLLOW son FOLLOW (E ′ ) = {$} FOLLOW (E ) = { $, ), +} FOLLOW (T ) = { $, ), +, ∗} FOLLOW (F ) = {$, ), +, ∗} Comencemos: Para el estado I 0 , por el paso 2.a. consideramos las producciones:
• F → • (E ) que da lugar a shift I 4 • F → • id que da lugar a shift I 5 Para el estado I 1 se tienen en cuenta, por 2.a. y 2.b. respectivamente,
• E → E • +T que da lugar a shift I 6 • E ′ → E •, que da lugar a aceptar, en accion[I 1 , $] Para I 2 , por 2.a. y 2.b. respectivamente,
• T → T • ∗F da lugar a shift I 7 • E → T • da lugar a reduce E → T para accion[I 2 , +], accion[I 2 , )], accion[I 2 , $]. Para I 3 , por 2.b. T → F • da lugar a reduce T → F en accion[I 3 , $], accion[I 3 , +], accion[I 3 , )], accion[I 3 , ∗].
··· En la figura 5.9 se muestra como queda la tabla de an´ alisis. 141
5.3.3.
Tabla de an´ alisis LR-can´ onica
El m´etodo SLR no es lo suficientemente bueno como para reconocer lenguajes generados por ciertas gram´ aticas, que aun sin ser ambiguas pueden producir resultados ambiguos en la tabla de an´ alisis sint´ actico SLR(1). Es el caso del grupo de producciones relativas al manejo de asignaciones siguiente: S S L L R
→ → → → →
L = R R ∗R id L
Al aplicar el algoritmo 5.8 conseguimos la siguiente colecci´ on de conjuntos de items: I 0 S ′ S S L L R
→ → → → → →
•S •L = R •R •∗R •id •L
I 5 L
→
id•
I 6 S R L L
→ → → →
L = • R •L •∗R •id
I 1 S ′
→
S •
I 2 S R
→ →
L• = R L•
I 7 L
→
∗ R•
•R
I 8 R
→
L•
I 9 S
→
L = R •
I 3 S I 4 L R L L
→
→ → → →
∗•R •L •∗R •id
Si se observa el conjunto de items I 2 , al estar en ese estado, y recibir un signo =, por el primer item se deber´ıa desplazar, e ir a I 6 . Por el segundo, y dado que =∈ F OLLOW (R), se deber´ıa reducir por R → L. Se produce una situaci´on de conflicto shift/reduce cuando en ese estado llega el signo =. Como ya se puede suponer, la gram´atica ejemplo anterior no es ambigua y el conflicto surge por las propias limitaciones del m´etodo SLR(1) para construir la tabla de an´ alisis. Obs´ervese que no existe en el lenguaje generado por la gram´atica, una sentencia que comience con R = · · · y por lo tanto la acci´ on reduce no deber´ıa considerarse ah´ı. Es, por tanto, una reducci´ on no v´ alida. El problema es que puede haber ciertos prefijos viables, para los cuales no sea correcta una reducci´ on. El m´etodo SLR(1) carece de la potencia necesaria para recordar el contexto a la izquierda. Para posibilitar esto, se debe dotar a los estados de informaci´ on adicional que permita detectar y prohibir esas reducciones no v´alidas. Esto es posible en el an´ alisis LR can´onico. 142
Incorporando informaci´ on adicional al m´ etodo de an´ alisis Para a˜ nadir m´ as informaci´ o n al an´ alisis se debe redefinir el concepto de item, a˜ nadiendo un segundo componente al mismo. Ahora la forma general de un item va a ser [A → α • β, a] en donde A → αβ es una producci´on de la gram´ atica, y a un terminal, o´ $. A este tipo de item se le denomina item del an´ alisis sint´ actico LR(1). El n´ umero 1 denota la longitud del s´ımbolo a, o s´ımbolo de anticipaci´ on del item. Este s´ımbolo no va a tener efecto en aquellos items en los cuales la cadena β = λ ya que no van a dictar una reducci´ on. Sin embargo, un item [A → α •, a] indica que se aplique una reducci´ on siempre que el siguiente s´ımbolo a la entrada sea a. Obviamente, las a’s van a formar un subconjunto de FOLLOW (A), y pueden formar un subconjunto propio de este, como deber´ıa ser en el ejemplo anterior. Definici´ on 5.13 Sea una gram´ atica G = (V N , V T , S , P ). Sea γ un prefijo viable de G. Sean A → αβ ∈ P y a ∈ V T ∪ {$}. Se dice que el item LR(1) [A → α • β, a] es v´alido para γ si existe ∗ una derivaci´ on S ⇒rm δAw ⇒ rm δαβw, en donde 1. γ = δα y 2. a es el primer s´ımbolo de w, o´ w = λ y a = $. Construcci´ on de la colecci´ on de conjuntos de elementos LR(1) v´ alidos El procedimiento de construcci´ on de la colecci´on de conjuntos de elementos LR(1) v´ alidos es muy similar al que hace lo propio con la colecci´ on de conjuntos de elementos LR(0). Se trata de modificar los procedimientos cerradura e ir a. Definici´ on 5.14 Sea I un conjunto de items. Se define la funci´ on cerradura(I ) como el con junto resultante de aplicar el siguiente procedimiento: begin repeat for cada elemento [A → α • Bβ, a] ∈ I , cada producci´ on B → ′ γ ∈ G y cada b ∈ V T tal que b ∈ FIRST (βa) y [B → •γ, b] ∈ / I , entonces A˜ nadir [B → γ, b] a I until no se puedan a˜ nadir m´ as elementos a I ; end; Esta definici´ on ha cambiado sensiblemente respecto de la definici´ on 5.11 en la que se describ´ıa la funci´ on cerradura para la colecci´ on de conjuntos de items SLR(1). Ahora hay que tener en cuenta los s´ımbolos terminales que pueden aparecer, en formas sentenciales derechas, inmediatamente a continuaci´ on del no terminal mediante el cual se podr´ıa aplicar una reducci´ on. La forma de trabajar del procedimiento es la siguiente: partiendo de un conjunto I con unos determinados items iniciales, se toma en consideraci´ on el item [A → α • Bβ,a]. Se supone que este item es v´alido para un prefijo viable δ concreto, en el cual se tiene como sufijo α, o dicho de otra forma δ = µα. Por lo tanto, existe una derivaci´ on derecha ∗
S ⇒rm µAay ⇒ rm µαBβay Ahora supongamos que, a partir de βay se deriva la cadena de terminales bt en donde t ∈ V T ∗ . Entonces, para cada producci´ on B → ϕ, se va a tener una derivaci´ on m´ as a la derecha ∗
S ⇒rm µαBbt ⇒ rm µαϕbt 143
por lo tanto, [B [B → •ϕ, b] ser´a un item v´ alido para el mismo prefijo viable δ alido viable δ .. Lo que se hace, al fin, es incluir todos los items formados por las producciones B → ϕ y los s´ımbolos ımbolo s terminales termina les que est´ an an en el conjunto FIRST conjunto FIRST (βa) βa ) ≡ FI RST RST (βay). βay ). Definici´ on on 5.15 Sea I I un conjunto de items, y X ∈ V N on on N ∪ V T T ∪ { $}. Se define la funci´ ir a(I , X ) como el conjunto de items resultante de aplicar el siguiente procedimiento: begin Sea J el J el conjunto de items [A [ A → αX • β, a] tal que [A [ A → α • Xβ,a] Xβ,a] est´a en I . El estado resultante es el que viene dado por cerradura( cerradura(J ) J ). end; La funci´on ir on ir a es id´entica entica a la anterior. Ahora la colecci´ on de conjuntos de items LR on items LR(1) (1) viene descrita en la siguiente definici´ on. on. ′ Definici´ on on 5.16 Sea G = (V N atica atica aumentada de G, en N , V T T , S , P ) una CFG. Sea G la gram´ ′ donde el s´ımbolo inicial es ahora S S . La colecci´ on de conjuntos de items LR(1) on LR(1) es es la resultante ′ de aplicar el siguiente procedimiento sobre G sobre G .
begin C = { cerradura( cerradura({[S ′ → • S, $]})}; repeat for cada for cada I I ∈ C , C , y cada X X ∈ V N ir a(I , X ) = ∅ N ∪ V T T ∪ {$} tal que ir y I I ∈ / C do a˜ nadir ir a(I, X ) a C a C until no until no se puedan a˜ nadir m´ as as conjuntos a C C end; end; Id´entica entica al algoritmo algor itmo 5.8. Ejemplo: construyendo la colecci´ on on de items LR(1) LR(1) Vamos a utilizar la gram´ atica aumentada 5.6 para calcular la colecci´ atica on de conjuntos de items LR(1). LR(1). Gram´ atica atica 5.6 S ′ S C C
→ → → →
S CC cC d
Primero se debe calcular cerradura calcular cerradura(({[S ′ → •S, $]}). Para ello, a partir del item [S [S ′ → •S, $], como FIRST como FIRST ($) ($) = { $}, introducimos en I 0 el nuevo item [S [S → •CC, CC , $]. A partir de este, con el conjunto FIRST conjunto FIRST (C $) $) ≡ FIRST (C ) ya que C que C no no genera la palabra vac´ vac´ıa, y las producciones → cC y C → → d generan C → d generan los nuevos items [C → → → [C → → [C → → [C →
cC,c] •cC,c] •cC,d] cC,d] •d, c] •d, d]
144
Ya tenemos el conjunto I conjunto I 0 : [S ′ → • S, $] → •CC, [S → CC , $] → •cC, [C → cC, c/d c/d] → •d, c/d [C → c/d] Observar que se ha tratado de simplificar la aparatosidad de los nuevos conjuntos, utilizando una notaci´ on reducida en la que se representan varios items por uno s´olo on olo cuando lo unico u ´nico que no coincide es el s´ımbolo terminal a la derecha. Ahora se ha de calcular la funci´ on ir on ir a(I 0 , S ) que nos da un nuevo estado I estado I 1 con el item inicial ′ [S → S •, $]. Al aplicar la cerradura a este nuevo item, vemos que ya no es posible generar m´as, as, as´ı que I 1 queda: [S ′ → S •, $]
→ C • • C, $]. Se obtiene un I 2 : Cuando se calcula ir a(I 0 , C ), ), se ha de aplicar la cerradura a [S [S → [S → → C • • C, $] [C → → •cC, $] → •d, $] [C → ya que ahora $ ∈ FIRST ($). ($). No se pueden a˜ nadir nadir m´ as as items. Al calcular ir a(I 0 , c), se cierra {[C → c • C, c/d c/d]}. Se tienen que a˜nadir nadir nuevos items para C → cC y C → d, d , siendo el segundo componente c/d ya c/d ya que c que c ∈ FIRST (c) y d ∈ FIRST (d). I 3 queda:
→ C • • C,c/d] [C → C,c/d] → •cC, [C → cC, c/d c/d] → •d, c/d [C → c/d] El ultimo u ´ltimo ir a para I para I 0 se hace con d con d,, cerrando cerrando { [C → ,c/d]}. Se obtiene un I 4 : → d •,c/d]
→ d •,c/d] [C → ,c/d] Ya no quedan m´ as as elementos gramaticales gramaticales que considerar considerar,, a partir de I de I 0 . Pasamos a I a I 1 . De este estado no salen transiciones. Pasamos a I a I 2 . En este se van a dar transiciones con { C,c,d}. Para C , ir a(I 2 , C ) se obtiene cerrando {[S → C C •, $]}. En el cierre no se a˜ nade nade ning´ un un elemento m´ as, as, con lo que I 5 es
→ C C •, $] [S → Para obtener ir a(I 2 , c), se debe hacer la cerradura de {[C → c • C, $]}. Se obtiene, ya que FIRST ($) ($) = {$}, los elementos para I para I 6 :
→ c • C, $] [C → → •cC, $] [C → → •d, $] [C →
145
I0
I1
S ′
→ • S, $ → •cC, $ S → C → • cC, cC, c/d c/d C → • d, c/d c/d
S
C
S ′ → S •, $ I5
→ C • • C, $ S → C → → •cC, $ → •d, $ C →
C
I6
I2
c
c c
→ C C •, $ S →
d
C → → c • C, $ → •cC, $ C → → •d, $ C → I7
I9 C
C → cC •, $
d
C → d •, $
d
→ c • C,c/d C → C → cC, c/d c/d → •cC, → •d,c/d C →
C
C → cC •,c/d I8
I3 d
C → → d •,c/d I4
Figura 5.10: Aut´ omata generado a partir de la colecci´ omata on on de items LR items LR(1), (1), y la funci´ on ir on ir a() del ejemplo para la gram´ atica atica 5.6 .
Para obtener ir a(I 2 , d), se hace la cerradura de {[C → •d, $]} que no a˜ nade nade m´ as as elementos a I 7 : [C → → d •, $] Pasamos al estado I 3 . En este va a haber tres transiciones, ir a(I 3 , C ), ), ir a(I 3 , c) e ir a(I 3 , d). La primera da lugar a un nuevo estado, I 8 :
→ cC •,c/d] [C → ,c/d] Las otras dos van a parar a los estados I 3 e I 4 , respectivamente. Ahora, de I 4 e I 5 no salen transiciones posibles. Sin embargo, para I para I 6 hay transiciones para C para C ,, c y c y d d.. La funci´ on ir on ir a(I 6 , C ) nos lleva a un nuevo estado, I estado, I 9 :
→ cC •, $] [C → La transici´ on ir on ir a(I 6 , c) nos lleva al propio I propio I 6 e ir a(I 6 , d) a I 7 . Ya no se generan nuevos estados ni transiciones. El aut´ omata omata as´ as´ı generado puede verse en la figura 5.10. 5 .10. La tabla de an´ alisis alisis LR can´ onico onico El algoritmo 5.10 construye las funciones accion funciones accion e e I r a del an´alisis LR alisis LR-can´ -can´ onico. onico. 146
Algoritmo 5.10 Construcci´ on de la tabla de an´alisis sint´ actico LR(1)-can´ onico. Entrada: una gram´ atica aumentada G ′ , a partir de una CFG, G. Salida: Las funciones accion e ir a de la tabla de an´ alisis sint´ actico LR-can´ oni′ co para G . M´etodo: 1. Constr´ uyase, mediante la funci´ on de la definici´on 5.16, la colecci´ on ′ de conjuntos LR(1) para G . 2. Los nuevos estados, i, del analizador sint´ actico se construyen a partir de los correspondientes I i . Adem´ as, las acciones de an´ alisis sint´ actico se construyen siguiendo los siguientes tres puntos: a ) Si [A → α • aβ,b] ∈ I i , e ir a(I i , a) = I j introducir shift j en accion[i, a], siendo a ∈ V T . b) Si [A → α •, a] ∈ I i , y A = S ′ , entonces introducir reduce A → α en accion[i, a]. c ) Si [S ′ → S •, $] ∈ I i , entonces introducir aceptar en accion[i, $]. 3. Las transiciones, para el estado i se determinan seg´ un la siguiente regla: Si ir a(I i , A) = I j , entonces ir a[i, A] = j 4. Todas las celdas vac´ıas de la tabla se consideran error 5. El estado inicial del analizador sint´ actico es el correspondiente i construido a partir del conjunto que contiene el item [S ′ → • S, $].
Al igual que ocurr´ıa en el algoritmo 5.9, si las reglas del paso 2 produjeran movimientos conflictivos en una misma celda de la tabla, esto significar´ıa que la gram´ atica no es LR(1), y por lo tanto el algoritmo no va a funcionar correctamente. La tabla construida por este algoritmo se denomina tabla de an´ alisis sint´ actico LR(1)-can´ onico. Asimismo, un analizador que utilice esta tabla se denomina analizador sint´ actico LR(1)-can´ onico. Ejemplo de construcci´ on de una tabla de an´ alisis LR(1)-can´ onico Si aplicamos el algoritmo 5.10 al conjunto de items obtenidos a partir de la gram´ atica 5.6, obtendremos la tabla de an´ alisis sint´ actico LR(1) can´ onico que se muestra en la figura 5.11
5.3.4.
Tabla de an´ alisis LALR
Ya hemos visto c´ omo construir una tabla de an´ alisis SLR, con un m´etodo relativamente sencillo, y que generaba un n´ umero de estados m´ as o menos manejable. Despu´es hemos visto el m´etodo de construcci´ on de una tabla de an´ alisis LR-can´onico. Se ha podido comprobar que el m´etodo era m´ as potente (i.e. abarcaba un n´ umero de gram´ aticas mayor) pero a cambio, tambi´en ganaba en complejidad, tanto en operaciones como en estados para el AFD generado. Esto es as´ı porque incorpora informaci´ on adicional en los items: el segundo componente que condiciona el poder realizar o no una reducci´ on. Ahora vamos a ver el m´etodo LALR (Look-Ahead LR). Su funcionamiento se basa en la idea de fusionar, de alguna forma, algunos de los estados que se producen al crear el conjunto de items LR(1) para el an´ alisis sint´ actico LR-can´ onico. 147
Estado 0 1 2 3 4 5 6 7 8 9
c d3 d6 d3 r3 d6 r2
acci´ on d $ d4 aceptar d7 d4 r3 r1 d7 r3 r2 r2
ir a S C 1 2 5 8
9
Figura 5.11: Tabla de an´ alisis sint´ actico LR(1) Si echamos un vistazo a los diferentes estados que aparecen en la figura 5.10, podemos ver que algunos estados se parecen. Es m´ as, son id´ enticos en los primeros componentes de los items correspondientes. Esto se explica si se observan los items de cada conjunto, sin los segundos componentes y se interpretan como conjuntos generados por el m´etodo LR(0). Por ejemplo, en ese mismo aut´ omata de la figura 5.10, los estados I 4 e I 7 son muy similares. Estos dos estados habr´ıan sido uno s´ olo en la generaci´ on LR(0) de la colecci´ on de conjuntos de items. El estado correspondiente no habr´ıa distinguido entre los terminales c y d frente a $ y en ciertas cadenas se habr´ıa cometido un error, como el que se vio en el apartado 5.3.3. La gram´ atica 5.6 genera el mismo lenguaje que la expresi´on regular c ∗ dc ∗ d. Por lo tanto, tiene sentido distinguir entre los estados I 4 e I 7 . Al estado I 4 se pasar´ıa si, habiendo le´ıdo en la entrada una d (y s´ olo una desde el principio), viniera despu´es una c, u otra d (corresponder´ıa a la subexpresi´on c ∗ d izquierda de la expresi´on regular). Sin embargo, al estado I 7 se pasar´ıa desde el I 2 , o desde el I 6 , siempre que, leyendo una d, el siguiente s´ımbolo a la entrada fuera el delimitador de la cadena. Si fusionamos los estados I 4 e I 7 en el estado I 4,7 , su contenido ser´ıa ahora { [C → d •, c/d/$]}. Pero, ¿qu´e pasar´ıa con las transiciones que van a parar a esos estados y las que salen de ellos? Si se comparan las funciones cerradura para los m´etodos S LR y LR-can´ onico que aparecen en las definiciones 5.12 y 5.15 respectivamente, se puede observar que el resultado de ´esta depende u ´ nicamente del primer componente de los items correspondientes. Por lo tanto, las transiciones de los estados originales pueden fundirse en el nuevo estado I 4,7 . No debemos olvidar, sin embargo, que en algunos casos se pierde informaci´ o n en la fusi´ on, cuando el segundo componente del item determina la reducci´on. Despu´ es de hacer todas las posibles fusiones, el nuevo aut´ omata queda como el que aparece en la figura 5.12. A continuaci´ on se introduce el algoritmo que construye la tabla LALR.
Algoritmo 5.11 Construcci´ on de la tabla de an´alisis sint´ actico LALR. Entrada: una gram´ atica aumentada G′ , a partir de una CFG, G. Salida: Las funciones accion e ir a de la tabla de an´ alisis sint´ actico LALR ′ para G . M´etodo: 148
I0
I1
S ′
→ • S, $ S → •cC, $ C → •cC, c/d C → •d,c/d
S
C
S ′ → S •, $ S → C • C, $ C → •cC, $ C → •d, $
d
I5 C
S → C C •, $ I6
I2
c
d c C → d •, c/d/$ c
C → c • C, c/d/$ C → •cC, c/d/$ C → •d,c/d/$
I4,7
c
C → cC •, c/d/$ I8,9
I3,6
c Figura 5.12: Aut´ omata generado a partir de la colecci´ on de items LR(1), y la funci´ on ir a() del ejemplo para la gram´ atica 5.6 .
149
1. Constr´ uyase, mediante la funci´ on de la definici´on 5.16, la colecci´ on ′ de conjuntos LR(1) para G . 2. Encu´entrense los conjuntos de items, en los que los primeros componentes de todos sus items coinciden y f´ u ndanse en un u ´ nico estado nuevo. 3. Sea C ′ = {J 0 , J 1 , . . . , Jm } los nuevos conjuntos de items LR(1) obtenidos. Construir las acciones para el estado i, a partir de el conjunto J i , como en el algoritmo 5.10. Si existe alg´ un conflicto en las acciones correspondientes al an´ alisis sint´ actico, el algoritmo resulta no eficaz y se dice que la gram´atica no es LALR(1). 4. Las transiciones, para el estado i se determinan seg´ un la siguiente regla: Si J es la uni´ on de uno o m´ as conjuntos de elementos LR(1), digamos J = I 1 ∪I 2 ∪···∪I k , entonces ir a(I 1 , X ), ir a(I 2 X ),. . . e ir a(I k , X ), van a estados LR(1) que coinciden en el con junto formado por el primer componente de todos sus items respectivos. Sea J t el estado resultante de la fusi´ on de todos esos estados. Entonces ir a(J, X ) = J t .
La tabla resultante de la aplicaci´ on del algoritmo 5.11 se denomina tabla de an´ alisis sint´ actico LALR para G. Si despu´ es de haber construido la tabla no existen conflictos en ella, entonces se puede asegurar que la gram´atica es de tipo LALR(1). Obs´ ervese que en el paso 3 del algoritmo se construye una nueva colecci´on de conjuntos de items. Esta se denomina colecci´ on de conjuntos de items LALR(1).
Ejemplo Si aplicamos este algoritmo a la gram´ atica 5.6, la colecci´ on de items LALR(1) obtenida es la que forma los estados del aut´ omata que aparece en la figura 5.12. La tabla de an´ alisis LALR(1) que se obtiene se muestra en la figura 5.13. Estado 0 1 2 36 47 5 89
c d36 d36 d36 r3 r2
acci´ on d $ d47 aceptar d47 d47 r3 r3 r1 r2 r2
ir a S C 1 2 5 89
Figura 5.13: Tabla de an´ alisis sint´ actico LALR(1) para gram´ atica 5.6 Obs´ervese que el tama˜no de la tabla ha disminuido considerablemente, al condensar, dos a dos, cada pareja de estados en los cuales hab´ıa coincidencia del primer componente en todos sus items, en uno solo. 150
Conflictos LALR Ya vimos como una gram´ atica pod´ıa no ser SLR y por lo tanto el m´etodo de construcci´ on de la tabla correspondiente produc´ıa conflictos. Ahora vamos a ver que, si la gram´ atica es LRcan´ onica, en el m´ etodo LALR no pueden originarse conflictos del tipo shift/reduce pero si del tipo reduce/reduce. Supongamos que, para una gram´ atica G, despu´es de la construcci´on de la colecci´ on de conjuntos de items LR(1) para el an´ alisis LALR se tiene un estado I i con el siguiente contenido: [A → α •, a] [B → β • aγ,b]
Como se ve, el primer item va a generar una entrada reduce, en la columna para a de la tabla de an´ alisis, y el segundo item va a generar un movimiento de desplazamiento para esa misma columna. Tenemos por tanto un conflicto shift/reduce. Pues bien, si esta situaci´ on se diera, implicar´ıa que alg´ un conjunto LR(1) del an´ alisis LR-can´ onico de entre los cuales procede el anterior tendr´ıa el contenido [A → α •, a] [B → β • aγ,c]
Con b no necesariamente igual que c. Por lo tanto la gram´ atica no ser´ıa LR-can´ oniga. Si, por otro lado, tuvi´eramos que [A → α •, a], [B → β •, b] ∈ I i [A → α •, c], [B → β •, a] ∈ I j en el an´alisis LR-can´ onico, esto implicar´ıa [A → α •,c/a], [B → β •,a/b] ∈ I i,j en el an´alisis LALR, por lo tanto pueden originarse conflictos reduce/reduce. Ambig¨ uedad en el an´ alisis LR Vamos a volver a estudiar el caso del else ambiguo. Aparec´ıa en la gram´ atica prop
→ if expr then prop | if expr then prop else prop | otra
Al estudiar las gram´ aticas LL(1) se pudo comprobar que esta gram´ atica era ambigua y por lo tanto no era LL(1). Tampoco va a ser LR. De hecho, ninguna gram´atica ambigua puede ser LR. Para hacer menos engorroso el manejo de los conjuntos de items vamos a cambiar la representaci´ on de la gram´ atica. Ahora i va a representar a if expr then y e a else. El s´ımbolo a representar´a al resto de producciones. La gram´atica queda: Gram´atica 5.7
151
Estado 0 1 2 3 4 5 6
accion o´n e a d3
i d2
ir a S 1
$ aceptar
d2
d3
4
r3 d5 d2
r3 r2 d3
6
r1
r1
Figura 5.14: Tabla de an´ alisis alisis SLR de la gram´ atica atica 5.7 I 0 S ′ S S S
→ → → →
•S •iSeS •iS •a
I 1 S ′
→
S •
I 2 S S S S S
→ → → → →
i • SeS i • SeS •iSeS •iS •a
I 3 S
→
•a
I 4 S S
→ →
• eS iS • iS •
I 5 S S S S
→ → → →
iSe • S •iSeS •iS •a
I 6 S
→ iSeS •
Figura 5.15: Conjunto de Items LR(0) LR(0) para la gram´ atica atica 5.7 S’ → S → | |
S iSeS iS a
Si calculamos la correspondiente colecci´ on on de items LR items LR(0) (0) para la gram´ atica 5.7, estos aparecen atica en la figura 5.15. En ella puede verse que en el estado I estado I 4 se produce un conflicto shif conflicto shif t/reduce t/reduce. Por lo tanto, cuando en la cabeza de la pila del analizador hay una iS (if if expr then expr then prop) prop) y el siguiente s´ımbolo ımbolo en la entrada es un else, ¿reducimos por S → iS • o´ desplazamos por • eS ?. S → iS • ?. Teniendo en mente la interpretaci´ on on sem´ antica antica usual, se deber´ deber´ıa desplazar el as cercano. Por lo tanto, else, puesto que por convenio se considera cada else asociado al if m´as la tabla de an´ alisis alisis sint´ actico actico SLR correspondiente queda como se muestra en la figura 5.14. Para la entrada w = iiaea = iiaea,, los movimientos se muestran en la figura 5.16 Recuperaci´ on on de errores en el an´ alisis alisis LR Si atendemos al algoritmo 5.7, y a las distintas tablas de an´ alisis alisis generadas seg´ un un las t´ecniecni cas SLR, SLR , LR-can´ LR-can´ onico onico y LALR y LALR mediante mediante los algoritmos 5.9, 5.10 y 5.11 respectivamente, los errores en el an´alisis alisis sint´ actico solo se van a detectar cuando se acceda a la parte de accion actico de la correspondiente tabla de an´ alisis alisis sint´ actico. actico. La parte de ir de ir a para los no terminales de la 152
Pila 0 0i2 0i2i2 0i2i2a3 0i2i2S 4 0i2i2S 4e5 0i2i2S 4e5a3 0i2i2S 4e5S 6 0i2S 4 0S 1
Entrada iiaea$ iaea$ aea$ ea$ ea$ a$ $ $ $ $
Accion o´n shift shift shift → a reducir S → shift shift → a reducir S → reducir S → → iSeS reducir S → → iS aceptar
Figura 5.16: Movimientos realizados por la m´ aquina SLR para la gram´ aquina atica atica 5.7 con la entrada iiaea gram´ atica atica nunca nunca producir´ producir´ a errores. Dicho de otra forma, nunca se acceder´a a una celda vac´ vac´ıa en las columnas correspondientes corresp ondientes a los s´ımbolos ımbolo s no terminales. termina les. Esto es as´ as´ı porque cuando cuando se aplica una reducci´ reducci´ on mediante una producci´ on on (e.g. A → β ), ), tenemos garant´ garant´ıa de que el nuevo nuevo conjunto de s´ımbolos de la pila (i.e. los anteriores y el nuevo nuevo s´ımbolo no terminal, termin al, A) forman un prefijo viable. Por tanto, mediante reducciones, podremos obtener el s´ımbolo inicial de la gram´ atica. atica. En otras palabras, cuando se accede a la casilla ir a[s, A] de tabla, despu´ es es de haber aplicado una reducci´on, on, y siendo s siendo s el estado que queda en el tope de la pila, encontraremos siempre una transici´ on on v´ alida, alida , y no n o una celda vac´ vac´ıa. Modo P´ anico anico En modo p´ anico, anico, la situaci´ on es ahora diferente a la que se presentaba en el an´alisis on alisis descendente. En este est e caso, caso , sab´ıamos ıamos en todo to do momento mo mento cu´ cual a´l era e ra el s´ımbolo ımb olo no termi t erminal nal A que hab´ıa ıa que qu e derivar. der ivar. Se necesitaba determinar, por tanto, la A-producci´ on on a aplicar. Ahora la situaci´ on es distinta; de alguna forma, lo unico on u´nico que conocemos es una parte derecha, y tenemos que encontrar un s´ımbolo no terminal que sea adecuado, para aplicar una reducci´ on y sustituirla sustit uirla por ´el. el. Por lo tanto, tanto, es, en cierto modo, arbitrario arbitrario el s´ımbolo no terminal, terminal, digamos digamos A a elegir para simular una reducci´on. on. Pues bien, una vez detectado detectado un error, error, se van extrayen extrayendo do s´ımbolos de la pila hasta encontrar encontrar ′ un estado s que tenga un valor ir [s, A] = s en la tabla de an´ alisis. Entonces, se comienzan alisis. a ignorar s´ımbolos a la entrada hasta que llegue uno considerado de sincronizaci´ on para A. A ′ continuaci´ on, on, se introducen introducen en la pila los s´ımbolos As y a partir de aqu´ aqu´ı se sigue el an´ alisis alisis normalmente. N´ otese otese que se est´a suponiendo un intento de A-reducci´on. on. Por lo tanto, cuando no se reciben los s´ımbolos que se esperan para formar el prefijo prefijo viable adecuado, adecuado, se intenta intenta simular que ha sido formando un prefijo viable incorrecto (i.e. falsamente (i.e. falsamente correcto) correcto) que llegar´ a hast h asta a el e l s´ımbolo ımb olo situado inmediatamente a la izquierda de A de A.. Por ejemplo, si retomamos la gram´ atica 5.5, observando su tabla SLR (figura 5.9), la simulaci´ atica on on del algoritmo de an´ alisis LR, para la cadena de entrada id alisis entrada id ∗ id(, id(, con la recuperaci´ on on de errores 153
en modo p´ anico, anico, ser´ ser´ıa como se muestra en la figura 5.17 5. 17 Pila 0 0id5 id5 0F 3 F 3 0T 2 T 2 0T 2 T 2 ∗ 7 0T 2 T 2 ∗ 7id5 id5 0T 2 T 2 ∗ 7F 1 F 10 0T 2 T 2 0E 1
Entrada id*id($ *id($ *id($ *id($ id($ ($ $ $ $
Accion o´n shift 5 shift 5 reducir F → id reducir T → F shift 7 shift 7 shift 5 shift 5 ERR ERROR: OR: Ac Actu tual aliz izam amos os pila pila (eli (elimi mina narr id5) id5) y entr entrad adaa (eli (elimi mina narr () reducir T → T ∗ F → T reducir E → aceptar
Figura 5.17: Movimientos realizados por el analizador SLR (figura 5.9) con la entrada id ∗ id( id(
A Nivel de Frase En la recuperaci´on on de errores a nivel de frase se modifica la secuencia de tokens que se reciben desde la entrada para intentar convertirla en legal. Para esto resulta util u ´ til basarse en los errores cometidos por el programador m´ as as frecuentemente; adem´ as hay que tener en cuenta las particularidades del lenguaje de programaci´ as on. on. Una buena estrategia para llevar a cabo este tipo de recuperaci´on on puede ser la siguiente: para cada entrada en blanco de la tabla de an´ alisis, introducir una rutina de manejo del error que alisis, realice la acci´ on on apropiada apropiada para el estado en el que estamos, y el s´ımbolo que se est´ a leyendo. Dentro de las posibles acciones que se pueden realizar, tenemos: Inserci´ on, on, o´ eliminaci´ on on de s´ımbolos ımbol os en la l a pila, p ila, Inserci´ on, on, o eliminaci´ on on de s´ımbolos ımbol os a la l a entrada e ntrada y Alteraci´ on on o´ transposici´ transposici´ on on de s´ımbolos ımbolo s a la entrada. Debe evitarse, al extraer s´ımbolos ımbolos de la pila, sacar de la misma un s´ımbolo ımbolo no terminal t erminal ya que su presencia en ella ell a indica que se hab´ hab´ıa reconocido una estructura con ´exito, exito, y en general no interesa deshacer eso. Sea la gram´ atica atica cuyo conjunto P P est´ a compuesto de las siguientes producciones: E
→ | | |
E+E E*E (E) id
Sea, para ella la siguiente tabla de an´ alisis alisis sint´ actico LR actico LR:: 154
Estado 0 1 2 3 4 5 6 7 8 9
i d3 e3 d3 r4 d3 d3 e3 r1 r2 r3
+ e1 d4 e1 r4 e1 e1 d4 r1 r2 r3
* e1 d5 e1 r4 e1 e1 d5 d5 r2 r3
acci´ on ( ) $ d2 e2 e1 e3 e2 aceptar d2 e2 e1 r4 r4 r4 d2 e2 e1 d2 e2 e1 e3 d9 e4 r1 r1 r1 r2 r2 r2 r3 r3 r3
ir a S 1 6 7 8
Veamos un ejemplo de comportamiento de una de estas rutinas de error, por ejemplo, la llamada con e1: En los estados 0, 2, 4 y 5 se espera un operando, es decir, un token del tipo id o (. Si en lugar de eso, llega un operador o el s´ımbolo $, estando en uno de esos estados, se llama a la rutina de error e1. Esta se encargar´ a de introducir un id imaginario en la pila y cubrirlo con el estado 3. Adem´ as, se emite el mensaje de error ”falta operando”.
155
156
Bibliograf´ıa Consideramos de inter´ es general los libros que a continuaci´ on se detallan, aunque hemos de decir que el temario propuesto no sigue ‘ ‘al pie de la letra” ning´ un texto en concreto. Pero digamos que con estos libros se cubren todos los conceptos, definiciones, algoritmos, teoremas y demostraciones que se exponen en los contenidos te´oricos. Destacamos con una B los libros b´asicos para el alumno y con una C los libros complementarios de inter´es para ciertas cuestiones te´ oricas y por los ejercicios propuestos. Los dem´as son m´ as bien de inter´ es para el profesor. C [Aho72] A. Aho, J. Ullman. The Theory of Parsing, Translation and Compiling, Vol. I . Prentice-Hall, 1972. C [Alf97] M. Alfonseca, J. Sancho, M. Mart´ınez. Teor´ıa de Lenguajes, Gram´ aticas y Aut´ omatas . Publicaciones R.A.E.C., 1997. [Bro93] J. Brookshear. Teor´ıa de la Computaci´ on . Addison-Wesley, 1993. [Car89] J. Carroll, D. Long. Theory of Finite Automata with an Introduction to Formal Languages . Prentice Hall, 1989. [Coh86] D.I.A. Cohen. Introduction to Computer Theory . John Wiley & Sons, 1991. [Dav94] M.D. Davis, R. Sigal, E.J. Weyuker. Computability, Complexity and Languages: Fundamentals of Theoretical Computer Science . Academic Press, 1994. [Flo94] R. Floyd, R. Beigel. The Language of Machines . Computer Science Press, 1994. [Gar79] M. Garey, D. Johnson. Computers and Intractability: A Guide to the Theory of NP-Completeness . Freeman, 1979. [Her84] H. Hermes. Introducci´ on a la Teor´ıa de la Computabilidad . Tecnos, 1984. [Hop79] J.E. Hopcroft, D. Ullman. Introduction to Automata Theory, Languages and Computation . Addison-Wesley, 1979. B [Hop02] J.E. Hopcroft, R. Motwani, D. Ullman. Introducci´ on a la Teor´ıa de Aut´ omatas, Lenguajes y Computaci´ on . Addison-Wesley, 2002. [Hor76] J.J. Horning, What The Compiler Should Tell the User, Compiler Construction: An Advanced Course, 2d ed., New York: Springer-Verlag, 1976. B [Isa97] P. Isasi, P. Mart´ınez, D. Borrajo Lenguajes, Gram´ aticas y Aut´ omatas. Un enfoque pr´ actico. Addison-Wesley, 1997. B [Kel95] D. Kelley. Teor´ıa de Aut´ omatas y Lenguajes Formales . Prentice Hall, 1995. C [Koz97] D.C. Kozen. Automata and Computability . Springer, 1997. 157
C [Lew81] H. Lewis, C. Papadimitriou. Elements of the Theory of Computation . Prentice Hall, 1981. B [Lin97] P. Linz. An Introduction to Formal Languages and Automata . Jones and Barlett Publishers, 1997. [Min67] M. Minsky. Computation: Finite and Infinite Machines . Prentice Hall, 1967. [Mol88] R.N. Moll, M.A. Arbib. An Introduction to Formal Language Theory . SpringerVerlag, 1988. [Rev83] G.E. R´ev´esz. Introduction to Formal Languages . Dover Publications, 1983. [Sal73] A. Salomaa. Formal Languages . Academic Press, 1973. [Sal85] A. Salomaa. Computation and Automata . Cambridge University Press, 1985. [Sud91] T.A. Sudkamp. Languages and Machines . Addison-Wesley, 1988. [Tre85] J. P. Tremblay, P. G. Sorenson, The theory and practice of compiler writing, McGraw-Hill International , 1985. [Woo87] D. Wood. Theory of Computation . John Wiley & Sons, 1987.
158