Protein language models are artificial intelligence tools which help engineer proteins with useful properties, including completely new structures never seen before in nature.

The technology has huge potential for addressing global challenges, such as synthesising enzymes that can absorb carbon dioxide from the atmosphere or building catalysts that greatly reduce energy use or toxic waste byproducts in industrial processes.

As many of these models begin to shape real-world decisions in biotechnology, a major problem persists. Protein language models (pLMs) largely operate as black boxes, making it hard to understand their decision process and judge whether their predictions are reliable, biased, or even safe to apply in the real world.

In a new perspective paper published today in Nature Machine Intelligence, researchers at the Centre for Genomic Regulation (CRG) analyse how “explainable AI”, the techniques and methods which allow humans to understand, trust and interpret the decisions of the technology, are currently applied to protein language models.

“Protein language models are moving fast but our understanding of fundamental biological processes such as folding or catalysis has not advanced alongside these breakthroughs,” says Dr. Noelia Ferruz, Group Leader at the CRG and corresponding author of the paper.

“In some ways, we have even lost part of the transparency that characterized physics-based models. Without better ways to explain what these models learn and how they make decisions, we risk building powerful tools that we cannot fully trust,” adds Dr. Ferruz.

The authors also issue a call to action for the research community to make protein-design systems more transparent, trustworthy and secure. “If we want protein language models to become a reliable partner in discovery and design, explainability must not be an afterthought,” says Andrea Hunklinger, first author of the paper.

Four places to look when trying to explain a pLM’s decisionmaking

The authors write that if you want to understand why an AI model has made a predictive decision about what type of structure or properties a protein has, you first need to ask where the explanation is coming from.

They identify four key places along the model’s journey that are critical for being able to explain its decision making. The first is what training data the model learned from, which, for example, can explain whether the model has biases that don't account for human genetic diversity, or whether it has enough data of human proteins in the first place.

The second is the specific protein sequence given to the model. For example, in a housing price prediction model, features might include square metres, number of bedrooms, or location. In the context of protein language models, it is which amino acids or regions of the protein influenced the prediction the most.

The third is the architecture and internal components of the protein language model itself, comparable to opening the hood of a vehicle and checking its engine. For protein language models, that involves checking whether the artificial neurons used by the AI are processing information correctly.

Finally, researchers can probe a protein language model by nudging it and watching what happens. This is called input-output behaviour and involves studying how the model’s answer changes if you slightly alter the protein sequence or the question you ask.

What do scientists try to achieve when opening the “black box”?

To understand how explainable artificial intelligence is being used in protein research today, the researchers reviewed existing scientific literature and examined dozens of studies where explainability tools have been already applied to protein language models. It is the most comprehensive survey of its kind to date.

The authors organised the scattered body of work into a clear set of roles that explainability can play in protein research, helping turn a technically dense field into something far more approachable.

In almost all cases, explainability is used as an “Evaluator”, a way to check whether a model has learned patterns that biologists already know, such as recognising binding sites or structural motifs.

“While Evaluators are useful to benchmark the model’s quality, they do not allow to extrapolate to unknown examples, improve the models’ architecture, and more importantly, reveal biological insights that emerge from the training data”, says Hunklinger.

A smaller share of studies go a step further, using these insights as a “Multitasker”, reapplying learned signals to help annotate new proteins or predict additional properties. The authors note that these two roles dominate the field today, showing that explainability is largely being used as a verification and support tool rather than a driver of discovery.

The researchers found that a limited number of studies are using explainable AI insights as an “Engineer” or a “Coach”, helping them trim unnecessary components and redesign architectures to steer the technology so it can generate protein sequences toward desired traits.

Towards a “Teacher” protein language model

The fifth role for explainable AI in protein language is the “Teacher”, which stands apart as the most ambitious and the least realised. This type of explainable AI can help reveal entirely new biological principles that humans had not previously recognised.

The authors of the paper compare reaching this milestone seen in other areas of artificial intelligence, such as when AlphaZero began uncovering novel chess strategies that surprised grandmasters, or when AI systems helped decipher damaged ancient texts by recognising linguistic patterns invisible to the human eye. This is when the technology shifted from being a tool of efficiency to one that provides new insight.

In protein science, reaching the teacher stage would mean AI systems helping researchers uncover new rules of protein folding, catalysis or molecular interaction that could transform how medicines, materials and sustainable technologies are designed.

“For us, the real holy grail is controllable protein design. Imagine being able to tell a model: ‘Design a protein with this shape, active at this pH,’ and not only receive a candidate sequence, but also a clear explanation of why that design should work, and importantly, why alternatives would fail,” explains Dr. Ferruz.

“For example, the model could explain that a particular mutation would disrupt a hydrogen-bonding network essential for stability. Reaching that level of control and mechanistic transparency would move protein language models from impressive generators to truly reliable design partners,” she adds.

The authors stress that reaching Teacher status for protein language models will not happen automatically. Today’s models are powerful pattern recognisers, yet they often rely on statistical correlations rather than true understanding. The authors argue that several conditions must be met, with their core concern being reliability and validation.

The paper calls for the community to create robust benchmarks and evaluation frameworks to test whether an explanation genuinely reflects the model’s reasoning. They also call for open-source tooling that makes explainability accessible and comparable across labs. Most crucially, any AI-derived insight must ultimately be validated in the laboratory, turning mathematical patterns into experimentally confirmed biological knowledge.

EN CASTELLANO

Una hoja de ruta hacia una IA más segura y explicable para el diseño de proteínas

Los modelos de lenguaje de proteínas son herramientas de inteligencia artificial que ayudan a diseñar proteínas con propiedades útiles, incluidas estructuras completamente nuevas que jamás se han observado en la naturaleza.

Esta tecnología tiene un enorme potencial para abordar retos globales, como la síntesis de enzimas capaces de absorber dióxido de carbono de la atmósfera o el desarrollo de catalizadores que reduzcan drásticamente el consumo energético o los residuos tóxicos generados en los procesos industriales.

A medida que muchos de estos modelos empiezan a condicionar decisiones reales en biotecnología, persiste un problema de fondo. Los modelos de lenguaje de proteínas (pLM, por sus siglas en inglés) operan en gran medida como cajas negras, lo que dificulta comprender su proceso de decisión y valorar si sus predicciones son fiables, están sesgadas o resultan siquiera seguras para aplicarse en el mundo real.

En un nuevo artículo de perspectiva publicado hoy en Nature Machine Intelligence, investigadoras del Centro de Regulación Genómica (CRG) analizan cómo se aplica actualmente a los modelos de lenguaje de proteínas la “IA explicable”, el conjunto de técnicas y métodos que permiten a las personas comprender, confiar e interpretar las decisiones de esta tecnología.

“Los modelos de lenguaje de proteínas avanzan a gran velocidad, pero nuestra comprensión de procesos biológicos fundamentales como el plegamiento o la catálisis no ha progresado al mismo ritmo que estos avances”, afirma la doctora Noelia Ferruz, jefa de grupo en el CRG y autora principal del trabajo.

“En cierto modo, hemos perdido incluso parte de la transparencia que caracterizaba a los modelos basados en la física. Sin mejores formas de explicar qué aprenden estos modelos y cómo toman sus decisiones, corremos el riesgo de construir herramientas potentes en las que no podemos confiar plenamente”, añade la doctora Ferruz.

Los autores también lanzan un llamamiento a la comunidad investigadora para que los sistemas de diseño de proteínas sean más transparentes, fiables y seguros. “Si queremos que los modelos de lenguaje de proteínas se conviertan en un socio fiable en el descubrimiento y el diseño, la explicabilidad no puede ser una idea de última hora”, señala Andrea Hunklinger, primera autora del trabajo.

Cuatro lugares en los que mirar para tratar de explicar las decisiones de un pLM

Las autoras escriben que, si se quiere entender por qué un modelo de IA ha tomado una decisión predictiva sobre el tipo de estructura o las propiedades de una proteína, conviene preguntarse antes de dónde procede la explicación.

Identifican cuatro puntos clave en el recorrido del modelo que resultan críticos a la hora de explicar su toma de decisiones. El primero son los datos de entrenamiento con los que ha aprendido el modelo, lo que, por ejemplo, puede revelar si presenta sesgos que no contemplan la diversidad genética humana o si dispone, para empezar, de suficientes datos sobre proteínas humanas.

El segundo es la secuencia concreta de proteína que se le proporciona al modelo. Por ejemplo, en un modelo que predice el precio de la vivienda, las variables pueden incluir los metros cuadrados, el número de dormitorios o la ubicación. En el caso de los modelos de lenguaje de proteínas, se trata de qué aminoácidos o regiones de la proteína han influido más en la predicción.

El tercero es la arquitectura y los componentes internos del propio modelo de lenguaje de proteínas, algo comparable a abrir el capó de un coche y revisar el motor. En estos modelos, eso implica comprobar si las neuronas artificiales que utiliza la IA están procesando la información correctamente.

Por último, los investigadores pueden sondear un modelo de lenguaje de proteínas dándole pequeños empujones y observando qué sucede. Es lo que se conoce como comportamiento entrada-salida y consiste en estudiar cómo cambia la respuesta del modelo si se altera ligeramente la secuencia de la proteína o la pregunta planteada.

¿Qué busca la ciencia al abrir la “caja negra”?

Para entender cómo se está utilizando hoy en día la inteligencia artificial explicable en la investigación de proteínas, los autores revisaron la bibliografía científica existente y examinaron decenas de estudios en los que ya se han aplicado herramientas de explicabilidad a modelos de lenguaje de proteínas. Se trata de la revisión más exhaustiva de este tipo realizada hasta la fecha.

Las autoras han transformado un cuerpo de trabajo disperso en un conjunto claro de roles que la explicabilidad puede desempeñar en la investigación de proteínas, lo que contribuye a transformar un ámbito técnicamente denso en algo mucho más accesible.

En casi todos los casos, la explicabilidad se utiliza como “Evaluador”, es decir, como una vía para comprobar si el modelo ha aprendido patrones que los biólogos ya conocen, como el reconocimiento de sitios de unión o motivos estructurales.

“Aunque los Evaluadores resultan útiles para medir la calidad del modelo, no permiten extrapolar a ejemplos desconocidos, mejorar la arquitectura de los modelos y, lo que es más importante, desvelar conocimientos biológicos que emergen de los datos de entrenamiento”, sostiene Hunklinger.

Una proporción menor de estudios va un paso más allá y emplea estos hallazgos como “Multitarea”, reaprovechando las señales aprendidas para anotar nuevas proteínas o predecir propiedades adicionales. Los autores señalan que estos dos roles dominan hoy el campo, lo que demuestra que la explicabilidad se utiliza sobre todo como herramienta de verificación y apoyo, y no como motor del descubrimiento.

Las investigadoras constataron que un número limitado de estudios aprovecha los conocimientos derivados de la IA explicable como “Ingeniero” o “Entrenador”, lo que ayuda a recortar componentes superfluos y rediseñar arquitecturas para orientar la tecnología hacia la generación de secuencias de proteínas con las características deseadas.

Hacia un modelo de lenguaje de proteínas “Profesor”

El quinto rol de la IA explicable en el lenguaje de proteínas es el de “Profesor”, que destaca como el más ambicioso y el menos desarrollado. Este tipo de IA explicable puede contribuir a desvelar principios biológicos completamente nuevos que los humanos no habían reconocido hasta ahora.

Los autores comparan este hito con otros alcanzados en distintos ámbitos de la inteligencia artificial, como cuando AlphaZero empezó a descubrir nuevas estrategias de ajedrez que sorprendieron a los grandes maestros, o cuando los sistemas de IA ayudaron a descifrar textos antiguos deteriorados al reconocer patrones lingüísticos invisibles al ojo humano. Es en ese momento cuando la tecnología pasa de ser una herramienta de eficiencia a otra que aporta conocimiento nuevo.

En las ciencias de las proteínas, alcanzar la fase de “Profesor” supondría que los sistemas de IA ayudaran a los investigadores a descubrir nuevas reglas de plegamiento, catálisis o interacción molecular capaces de transformar el modo en que se diseñan medicamentos, materiales y tecnologías sostenibles.

“Para nosotros, el verdadero santo grial es el diseño controlable de proteínas. Imagina poder decirle a un modelo: ‘Diséñame una proteína con esta forma, activa a este pH’, y recibir no solo una secuencia candidata, sino también una explicación clara de por qué ese diseño debería funcionar y, sobre todo, por qué fallarían las alternativas”, explica la doctora Ferruz.

“Por ejemplo, el modelo podría explicar que una mutación concreta alteraría una red de enlaces de hidrógeno esencial para la estabilidad. Alcanzar ese nivel de control y de transparencia mecanística llevaría a los modelos de lenguaje de proteínas a pasar de ser generadores impresionantes a convertirse en socios de diseño verdaderamente fiables”, añade.

Los autores subrayan que alcanzar la categoría de “Profesor” en los modelos de lenguaje de proteínas no ocurrirá de manera automática. Los modelos actuales son potentes reconocedores de patrones, pero a menudo se apoyan en correlaciones estadísticas más que en una comprensión real. Sostienen que deben cumplirse varias condiciones, y su principal preocupación gira en torno a la fiabilidad y la validación.

El artículo reclama a la comunidad la creación de pruebas de referencia y marcos de evaluación sólidos para comprobar si una explicación refleja realmente el razonamiento del modelo. También aboga por herramientas de código abierto que hagan la explicabilidad accesible y comparable entre laboratorios. Y, sobre todo, cualquier conocimiento derivado de la IA debe validarse en última instancia en el laboratorio, lo que convierte los patrones matemáticos en conocimiento biológico confirmado experimentalmente.

EN CATALÀ

Un full de ruta cap a una IA més segura i explicable per al disseny de proteïnes

Els models de llenguatge de proteïnes són eines d'intel·ligència artificial que ajuden a dissenyar proteïnes amb propietats útils, incloent-hi estructures completament noves que mai s'han observat a la natura.

Aquesta tecnologia té un enorme potencial per abordar reptes globals, com ara la síntesi d'enzims capaços d'absorbir diòxid de carboni de l'atmosfera o el desenvolupament de catalitzadors que redueixin dràsticament el consum energètic o els residus tòxics generats en els processos industrials.

A mesura que molts d'aquests models comencen a condicionar decisions reals en biotecnologia, persisteix un problema de fons. Els models de llenguatge de proteïnes (pLM, per les seves sigles en anglès) operen en gran mesura com caixes negres, cosa que dificulta comprendre el seu procés de decisió i valorar si les seves prediccions són fiables, estan esbiaixades o resulten tan sols segures per aplicar-se en el món real.

En un nou article de perspectiva publicat avui  a Nature Machine Intelligence, investigadores del Centre de Regulació Genòmica (CRG) analitzen com s'aplica actualment als models de llenguatge de proteïnes la "IA explicable", el conjunt de tècniques i mètodes que permeten a les persones comprendre, confiar i interpretar les decisions d'aquesta tecnologia.

"Els models de llenguatge de proteïnes avancen a gran velocitat, però la nostra comprensió de processos biològics fonamentals com el plegament o la catàlisi no ha progressat al mateix ritme que aquests avenços", afirma la doctora Noelia Ferruz, cap de grup al CRG i autora principal del treball.

"En certa manera, hem perdut fins i tot part de la transparència que caracteritzava els models basats en la física. Sense millors formes d'explicar què aprenen aquests models i com prenen les seves decisions, correm el risc de construir eines potents en les quals no podem confiar plenament", afegeix la doctora Ferruz.

Els autors també llancen una crida a la comunitat investigadora perquè els sistemes de disseny de proteïnes siguin més transparents, fiables i segurs. "Si volem que els models de llenguatge de proteïnes es converteixin en un soci fiable en el descobriment i el disseny, l'explicabilitat no pot ser una idea d'última hora", assenyala Andrea Hunklinger, primera autora del treball.

Quatre llocs on mirar per tractar d'explicar les decisions d'un pLM

Les autores escriuen que, si es vol entendre per què un model d'IA ha pres una decisió predictiva sobre el tipus d'estructura o les propietats d'una proteïna, convé preguntar-se abans d'on procedeix l'explicació.

Identifiquen quatre punts clau en el recorregut del model que resulten crítics a l'hora d'explicar la seva presa de decisions. El primer són les dades d'entrenament amb què el model ha après, cosa que, per exemple, pot revelar si presenta biaixos que no contemplen la diversitat genètica humana o si disposa, per començar, de prou dades sobre proteïnes humanes.

El segon és la seqüència concreta de proteïna que se li proporciona al model. Per exemple, en un model que prediu el preu de l'habitatge, les variables poden incloure els metres quadrats, el nombre de dormitoris o la ubicació. En el cas dels models de llenguatge de proteïnes, es tracta de quins aminoàcids o regions de la proteïna han influït més en la predicció.

El tercer és l'arquitectura i els components interns del propi model de llenguatge de proteïnes, una cosa comparable a obrir el capó d'un cotxe i revisar el motor. En aquests models, això implica comprovar si les neurones artificials que utilitza la IA estan processant la informació correctament.

Finalment, els investigadors poden sondejar un model de llenguatge de proteïnes donant-li petites empentes i observant què succeeix. És el que es coneix com a comportament entrada-sortida i consisteix a estudiar com canvia la resposta del model si s'altera lleugerament la seqüència de la proteïna o la pregunta plantejada.

Què busca la ciència en obrir la "caixa negra"?

Per entendre com s'està utilitzant avui dia la intel·ligència artificial explicable en la investigació de proteïnes, els autors van revisar la bibliografia científica existent i van examinar desenes d'estudis en què ja s'han aplicat eines d'explicabilitat a models de llenguatge de proteïnes. Es tracta de la revisió més exhaustiva d'aquest tipus realitzada fins ara.

Les autores han transformat un cos de treball dispers en un conjunt clar de rols que l'explicabilitat pot exercir en la investigació de proteïnes, la qual cosa contribueix a transformar un àmbit tècnicament dens en quelcom molt més accessible.

En gairebé tots els casos, l'explicabilitat s'utilitza com a "Avaluador", és a dir, com una via per comprovar si el model ha après patrons que els biòlegs ja coneixen, com el reconeixement de llocs d'unió o motius estructurals.

"Encara que els Avaluadors resulten útils per mesurar la qualitat del model, no permeten extrapolar a exemples desconeguts, millorar l'arquitectura dels models i, el que és més important, desvetllar coneixements biològics que emergeixen de les dades d'entrenament", sosté Hunklinger.

Una proporció menor d'estudis va un pas més enllà i empra aquestes troballes com a "Multitasca", reaprofitant els senyals apresos per anotar noves proteïnes o predir propietats addicionals. Els autors assenyalen que aquests dos rols dominen avui el camp, cosa que demostra que l'explicabilitat s'utilitza sobretot com a eina de verificació i suport, i no com a motor del descobriment.

Les investigadores van constatar que un nombre limitat d'estudis aprofita els coneixements derivats de la IA explicable com "Enginyer" o "Entrenador", la qual cosa ajuda a retallar components superflus i redissenyar arquitectures per orientar la tecnologia cap a la generació de seqüències de proteïnes amb les característiques desitjades.

Cap a un model de llenguatge de proteïnes "Professor"

El cinquè rol de la IA explicable en el llenguatge de proteïnes és el de "Professor", que destaca com el més ambiciós i el menys desenvolupat. Aquest tipus d'IA explicable pot contribuir a desvetllar principis biològics completament nous que els humans no havien reconegut fins ara.

Els autors comparen aquesta fita amb altres assolides en diferents àmbits de la intel·ligència artificial, com quan AlphaZero va començar a descobrir noves estratègies d'escacs que van sorprendre els grans mestres, o quan els sistemes d'IA van ajudar a desxifrar textos antics deteriorats en reconèixer patrons lingüístics invisibles a l'ull humà. És en aquest moment quan la tecnologia passa de ser una eina d'eficiència a una altra que aporta coneixement nou.

En les ciències de les proteïnes, assolir la fase de "Professor" suposaria que els sistemes d'IA ajudessin els investigadors a descobrir noves regles de plegament, catàlisi o interacció molecular capaces de transformar la manera com es dissenyen medicaments, materials i tecnologies sostenibles.

"Per a nosaltres, el veritable sant grial és el disseny controlable de proteïnes. Imagina poder dir-li a un model: 'Dissenya’m una proteïna amb aquesta forma, activa aquest pH', i rebre no només una seqüència candidata, sinó també una explicació clara de per què aquest disseny hauria de funcionar i, sobretot, per què fallarien les alternatives", explica la doctora Ferruz.

"Per exemple, el model podria explicar que una mutació concreta alteraria una xarxa d'enllaços d'hidrogen essencial per a l'estabilitat. Assolir aquest nivell de control i de transparència mecanística portaria els models de llenguatge de proteïnes a passar de ser generadors impressionants a convertir-se en socis de disseny veritablement fiables", afegeix.

Els autors subratllen que assolir la categoria de "Professor" en els models de llenguatge de proteïnes no ocorrerà de manera automàtica. Els models actuals són potents reconeixedors de patrons, però sovint es recolzen en correlacions estadístiques més que en una comprensió real. Sostenen que s'han de complir diverses condicions, i la seva principal preocupació gira al voltant de la fiabilitat i la validació.

L'article reclama a la comunitat la creació de proves de referència i marcs d'avaluació sòlids per comprovar si una explicació reflecteix realment el raonament del model. També advoca per eines de codi obert que facin l'explicabilitat accessible i comparable entre laboratoris. I, sobretot, qualsevol coneixement derivat de la IA s'ha de validar en última instància al laboratori, fet que converteix els patrons matemàtics en coneixement biològic confirmat experimentalment.