AlphaFold: Protein Structure Prediction

Salut, sunt Alex de la DEV STORIES DOT EU. AlphaFold: Predicția structurii proteinelor, episodul 1 din 21. Timp de cincizeci de ani, oamenii de știință au putut citi textul brut al ADN-ului nostru, dar nu au putut prezice ce ar construi de fapt acel text. Aveau source code-ul vieții, dar nu aveau nicio idee despre cum se compila în mașinile fizice care rulează celulele noastre. Această mare provocare este cunoscută sub numele de Problema plierii proteinelor. Proteinele sunt mașinile moleculare care te mențin în viață. Ele gestionează aproape tot ce se întâmplă în interiorul corpului tău, de la transportul oxigenului în sânge până la combaterea infecțiilor. Fiecare proteină își începe viața ca un string unidimensional. Acest string este construit dintr-un vocabular de douăzeci de elemente chimice de bază diferite, numite aminoacizi. Gândește-te la secvența de aminoacizi ca la source code-ul brut al biologiei. Este un string liniar de caractere, citit secvențial. Dar o linie dreaptă de aminoacizi nu poate face nicio treabă propriu-zisă. Așa cum un fișier plain text trebuie compilat într-un executabil binar pentru a rula, secvența unidimensională de aminoacizi trebuie să se plieze într-o formă tridimensională extrem de specifică. În lumea biologică, forma dictează complet funcția. Contururile fizice ale unei proteine determină cu ce poate interacționa. O proteină pliată sub formă de buzunar ar putea prinde și descompune o anumită moleculă de zahăr. O proteină pliată sub formă de tub rigid ar putea acționa ca un suport structural pentru o celulă. Dacă procesul de pliere merge prost, programul biologic dă crash. La oameni, proteinele pliate greșit sunt cauza principală a multor boli grave. Secvența de aminoacizi conține toate instrucțiunile necesare pentru a forma exact această structură tridimensională. Aminoacizii diferiți au proprietăți chimice diferite. Unii poartă sarcini pozitive sau negative și acționează ca niște magneți. Unii resping apa și încearcă să se ascundă în centrul structurii, în timp ce alții sunt atrași de apă și împing spre exterior. Aceste forțe fizice concurente fac ca string-ul să se încurce, să se răsucească și să se fixeze într-o singură configurație stabilă. Iată ideea cheie. Matematica din spatele acestui proces de pliere este copleșitoare. Un chain proteic tipic este format din sute de aminoacizi. Numărul de moduri posibile în care un chain atât de lung s-ar putea îndoi este de aproximativ zece la puterea trei sute. Un om de știință pe nume Cyrus Levinthal a subliniat că, dacă o proteină ar încerca secvențial fiecare formă posibilă pentru a o găsi pe cea corectă, procesul ar dura mai mult decât vârsta universului. Totuși, în interiorul celulelor tale, un nou string de proteine se fixează în forma corectă în câteva milisecunde. Problema plierii proteinelor este încercarea de a acoperi această prăpastie. Este provocarea de a lua o secvență unidimensională de aminoacizi ca unic input și de a prezice computațional structura sa tridimensională finală. Din punct de vedere istoric, oamenii de știință au trebuit să se bazeze pe tehnici fizice lente de laborator pentru a cartografia aceste structuri. Metode precum cristalografia cu raze X implicau congelarea proteinelor în cristale și bombardarea lor cu fascicule pentru a măsura unghiurile luminii împrăștiate. Găsirea structurii unei singure proteine putea dura ani de trial and error minuțios. Deoarece tehnologia de secvențiere genetică a depășit cartografierea fizică, comunitatea științifică a acumulat sute de milioane de secvențe unidimensionale cunoscute, dar a cartografiat structurile 3D doar pentru o mică parte din ele. Aveam linii nesfârșite de source code, dar niciun decompiler care să ne arate logica de execuție. Rezolvarea problemei plierii proteinelor pe cale computațională ne oferă schițele mecanice exacte ale biologiei, transformând descoperirea medicamentelor dintr-un proces lent de ghicire în laborator într-o inginerie precisă și țintită. Dacă îți place podcastul și vrei să susții emisiunea, poți căuta DevStoriesEU pe Patreon. Asta e tot pentru acest episod. Mulțumesc pentru ascultare și continuă să construiești!

Salut, sunt Alex de la DEV STORIES DOT EU. AlphaFold: Protein Structure Prediction, episodul 2 din 21. Vrei să prezici forma fizică a unei singure secvențe de proteine, dar să te uiți doar la acea secvență nu este suficient. Ca să-ți dai seama cum se pliază, trebuie de fapt să-i examinezi arborele genealogic evolutiv pentru a identifica pattern-uri sincronizate de mutații de-a lungul a milioane de ani. Să înțelegi cum procesează un algoritm aceste pattern-uri evolutive este exact ce acoperim în Inside AlphaFold 2: Architecture Overview. Arhitectura funcționează ca un flux continuu de date, transformând un string de litere de aminoacizi într-o formă 3D. Totul începe cu secvența target. Înainte să aibă loc vreo procesare prin rețeaua neuronală, AlphaFold caută în baze de date biologice masive pentru a aduna două input-uri specifice pe baza acelei secvențe. Primul input este Multiple Sequence Alignment, sau MSA. Aceasta este o colecție de secvențe de proteine similare de la alte organisme. Dacă doi aminoacizi dintr-o secvență suferă mutații constant împreună la diferite specii, cel mai probabil se ating fizic în structura finală pliată. Al doilea input constă în template-uri structurale. Acestea sunt structuri 3D cunoscute de proteine, care sunt foarte similare cu secvența ta target. Aceste MSA-uri brute și template-uri intră direct în Embedding layer. Embedding layer-ul traduce aceste date biologice în două formate matematice distincte pe care rețeaua neuronală le poate procesa. Acestea sunt MSA representation și Pair representation. MSA representation este o matrice care conține istoricul mutațiilor evolutive. Pair representation este o grilă bidimensională abstractă care urmărește distanța potențială și relația fizică dintre fiecare pereche posibilă de aminoacizi din secvență. Odată create, ambele reprezentări intră în stack-ul Evoformer. Evoformer este motorul AlphaFold 2, format din 48 de blocuri de procesare distincte. Iată ideea esențială. În interiorul fiecărui bloc, MSA representation și Pair representation comunică între ele. Schimbă informații pentru a-și rafina datele. Dacă datele evolutive din MSA representation sugerează cu tărie că doi aminoacizi interacționează, aceasta actualizează Pair representation pentru a-i apropia pe grila abstractă de distanțe. Invers, dacă Pair representation își dă seama că plasarea a doi aminoacizi împreună încalcă constrângerile de spațiu fizic, actualizează MSA representation pentru a reevalua acea legătură evolutivă. Această comunicare încrucișată are loc continuu, pe măsură ce datele trec prin toate cele 48 de blocuri, producând o hartă extrem de precisă a relațiilor interne. Lumea presupune adesea că Evoformer generează forma fizică finală, dar nu este așa. Evoformer construiește doar reprezentări matematice abstracte ale distanțelor și legăturilor evolutive. Generează ca output matrici de date extrem de rafinate, nu un obiect fizic. Pentru a obține forma pliată reală, datele părăsesc cel de-al 48-lea bloc Evoformer și intră în Structure Module. Structure Module preia Pair representation rafinată și datele secvenței originale, și traduce acea grilă abstractă în coordonate atomice 3D reale. Atribuie o poziție exactă X, Y și Z în spațiu pentru fiecare atom din backbone-ul proteinei și din side chain-urile sale. Succesul AlphaFold 2 depinde de faptul că Evoformer forțează continuu istoria evolutivă și constrângerile spațiale să se alinieze între ele, înainte ca măcar o singură coordonată 3D să fie desenată. Asta e tot pentru acest episod. Mulțumesc pentru audiție și continuă să construiești!

Salut, sunt Alex de la DEV STORIES DOT EU. AlphaFold: Predicția structurii proteinelor, episodul 3 din 21. Cel mai puternic feature al unui model AI nu este întotdeauna output-ul său, ci capacitatea de a-ți spune exact când ghicește. Dacă te uiți la un model de proteină prezis și presupui că fiecare loop și domeniu este perfect plasat în realitate, experimentele tale downstream probabil vor eșua. Ca să folosești aceste modele în siguranță, trebuie să înțelegi Evaluarea predicțiilor: pLDDT și PAE. AlphaFold oferă ca output două metrici distincte pentru a-și cuantifica incertitudinea. Prima este pLDDT, care vine de la predicted Local Distance Difference Test. Aceasta evaluează confidence-ul local. Pentru fiecare reziduu de aminoacid din proteină, AlphaFold atribuie un scor între 0 și 100. Acest scor îți spune cât de confidentă este rețeaua în structura locală a backbone-ului. Când un reziduu are un scor peste 90, ai un nivel de confidence foarte ridicat. La acest nivel, chiar și orientările side-chain-urilor sunt de obicei de încredere. Un scor între 70 și 90 reprezintă în continuare o predicție bună și de încredere a backbone-ului. Pe măsură ce scorul scade sub 70, confidence-ul devine nesigur. Iată ideea cheie. Când vezi un scor pLDDT sub 50, primul tău instinct ar putea fi că modelul nu a reușit să găsească fold-ul corect. Asta este de obicei incorect. Un scor pLDDT foarte scăzut indică adesea o regiune intrinsec dezordonată. Proteina nu are fizic o structură fixă în izolare. Ar putea fi un linker flexibil sau o coadă care se foldează doar atunci când se leagă de o altă moleculă. AI-ul nu dă fail; el prezice cu exactitate că această bucată din proteină este în mod natural flexibilă. Deși pLDDT este excelent pentru fold-uri locale, are un blind spot major. Evaluează regiunile în izolare. Gândește-te la o proteină cu două domenii structurale complet separate, conectate printr-un șir lung de aminoacizi. Rulezi predicția, verifici pLDDT-ul și vezi că ambele domenii au un scor peste 90. Structurile lor interne sunt solide. Totuși, pLDDT nu îți poate spune dacă aceste două domenii sunt poziționate corect unul față de celălalt în spațiul tridimensional. Pentru a rezolva asta, AlphaFold oferă o a doua metrică numită Predicted Aligned Error, sau PAE. Această metrică evaluează poziția relativă a domeniilor. PAE măsoară eroarea de distanță așteptată dintre oricare două reziduuri specifice din proteină. Logica pune o întrebare simplă: dacă aliniem perfect predicția la structura reală pe reziduul X, la câți Ångströmi distanță se va afla reziduul Y? Asta îți oferă un grid bidimensional de pairwise errors. Revenind la scenariul proteinei cu două domenii, dacă verifici PAE-ul dintre reziduurile din interiorul primului domeniu, eroarea va fi foarte mică. Același lucru este valabil și în interiorul celui de-al doilea domeniu. Dar dacă verifici PAE-ul dintre un reziduu din domeniul unu și un reziduu din domeniul doi, eroarea ar putea fi foarte mare. Un PAE ridicat între domenii înseamnă că orientarea lor relativă este complet incertă. Modelul știe exact cum arată cele două forme separate, dar nu are nicio idee la ce unghi se află una față de cealaltă. Trebuie să evaluezi ambele metrici împreună pentru a înțelege imaginea completă. Folosești pLDDT pentru a avea încredere în folding-ul local și pentru a identifica regiunile de dezordine naturală. Te bazezi pe PAE pentru a verifica dacă aranjamentul global al acelor părți distincte folduite este de fapt fix, sau doar o estimare spațială a algoritmului. Nu trata niciodată o structură prezisă ca pe un singur adevăr rigid; trateaz-o ca pe o hartă a probabilităților în care fiecare domeniu și linker poartă propria dovadă de fiabilitate. Mulțumesc că ai petrecut câteva minute cu mine. Până data viitoare, numai bine.

Salut, sunt Alex de la DEV STORIES DOT EU. AlphaFold: Protein Structure Prediction, episodul 4 din 21. Antrenarea unui model de machine learning revoluționar este impresionantă, dar pentru un biolog practicant, un neural network brut este doar un alt tool greoi de configurat. Pentru a schimba cu adevărat domeniul, nu e de ajuns doar să publici modelul. Îl folosești pentru a face fold la aproape orice proteină cunoscută de pe Pământ și pui rezultatele online gratuit. Aceasta este AlphaFold Protein Structure Database. Construită în parteneriat de Google DeepMind și EMBL-EBI, această bază de date conține peste 200 de milioane de structuri prezise. Acest număr uriaș reprezintă aproape întregul univers proteic cunoscut. În loc să faci setup la hardware și să rulezi tu algoritmul AlphaFold, dai bypass complet părții de compute și faci query direct pe predicțiile finalizate. Gândește-te la workflow-ul pentru utilizarea web interface-ului. Dacă investighezi receptorul 2 pentru acizi grași liberi, intri pe alphafold punct ebi punct ac punct uk și scrii numele în search bar. Poți căuta după numele genei sau după secvență, dar cea mai precisă metodă este să folosești un accession number de la UniProt. Pentru că baza de date face mapare directă la UniProt, fiecare structură este strâns legată de metadata biologică existentă. Când îți selectezi target-ul din rezultate, ajungi pe entry page-ul specific pentru acea proteină. Asta e partea care contează. Feature-ul central de pe entry page este un 3D viewer interactiv, dar nu îți arată doar geometria fizică. Reprezintă vizual confidence-ul intern al modelului în acea geometrie. AlphaFold își evaluează propria acuratețe pentru fiecare aminoacid în parte, folosind o metrică numită pLDDT. 3D viewer-ul colorează modelul fizic exact pe baza acestor scoruri. Albastru închis indică un confidence foarte mare în structură. Albastru deschis indică un confidence bun. Galben înseamnă confidence scăzut, iar portocaliu înseamnă confidence foarte scăzut. Când rotești receptorul 2 pentru acizi grași liberi în browser, vei vedea structuri elicoidale clare, de un albastru închis, acolo unde proteina traversează membrana celulară. Dar cozile libere care atârnă la capete ar putea fi de un portocaliu aprins. Acele regiuni portocalii sunt rareori fail-uri ale algoritmului. De obicei, sunt regiuni intrinsec dezordonate, adică părți ale proteinei care nu au o formă fixă în realitatea biologică. Vizualizarea structurii în browser este bună pentru un sanity check rapid, dar munca de calcul propriu-zisă necesită datele raw. Sub viewer, vei găsi secțiunea de download. Poți da download la coordonatele 3D în formatul standard PDB sau în formatul modern mmCIF. Arunci fișierele astea direct în software-ul tău local de modelare pentru a măsura distanțe sau pentru a simula interacțiuni moleculare. Pe lângă fișierele de coordonate, trebuie să dai download și la datele Predicted Aligned Error. Acestea sunt furnizate ca un simplu fișier JSON. În timp ce culorile din 3D viewer îți spun dacă o bucată locală a proteinei este precisă, fișierul JSON PAE îți spune dacă pozițiile relative a două bucăți diferite sunt precise. Acesta conține o matrice de marje de eroare pentru distanțele dintre fiecare pereche de reziduuri. Dacă proteina ta are două domenii albastre solide separate de o balama flexibilă, datele JSON îți vor spune dacă poți avea cu adevărat încredere în unghiul dintre ele. AlphaFold Protein Structure Database îți schimbă complet workflow-ul. Nu mai petreci zile întregi încercând să prezici o structură; petreci câteva minute căutând-o, iar munca ta reală devine interpretarea metricilor de confidence atașate download-ului. Asta e tot pentru acest episod. Mersi că m-ai ascultat și continuă să construiești!

Salut, acesta este Alex de la DEV STORIES DOT EU. AlphaFold: Predicția structurii proteinelor, episodul 5 din 21. Bioinformatica din lumea reală nu se face dând click manual pe butoane de download într-un web browser. Când trebuie să analizezi sute de proteine, construiești pipeline-uri automate și scalabile. Asta ne aduce la Automatizarea Descoperirii: API-ul bazei de date AlphaFold. Știi că baza de date conține milioane de predicții structurale, dar vizualizarea unei singure proteine pe rând pe un website este impracticabilă pentru proiecte mari. Dacă rulezi o analiză comparativă pe o întreagă familie de enzime sau faci screening de ținte pentru un pipeline de drug discovery, ai nevoie ca aceste structuri să fie trase direct în mediul tău de calcul. Baza de date AlphaFold oferă un REST API pentru a rezolva exact acest bottleneck. Permite codului tău să facă query-uri în baza de date și să recupereze programatic date structurale fără intervenție umană. Primary key-ul pentru această automatizare este ID-ul UniProt. Te poți gândi la un ID UniProt ca la un cod de bare universal pentru orice proteină. Pipeline-ul tău începe, în general, cu o listă a acestor ID-uri. Folosind o librărie HTTP standard din Python, trimiți un request către API cerând datele de predicție asociate cu un anumit cod de bare. Asta e partea care contează. Când faci acel request, API-ul nu îți returnează un fișier masiv plin de coordonate atomice tridimensionale. Servirea de fișiere grele printr-un API call sincron este lentă și fragilă. În schimb, API-ul returnează un manifest. Acest manifest este un response lightweight care descrie exact ce resurse sunt disponibile pentru proteina cerută. Conceptual, acest manifest îți oferă metadatele biologice și un director de linkuri de download direct. El pointează către fișierele reale cu structura 3D, în formate industry-standard. În mod crucial, oferă și linkuri către metricile de confidence, cum ar fi Predicted Aligned Error, sau matricea PAE. Ai nevoie de ambele. Într-un pipeline automat, download-ul structurii este doar jumătate din treabă. Trebuie, de asemenea, să downloadezi datele PAE, astfel încât algoritmii tăi downstream să știe care părți ale proteinei au un confidence ridicat și care părți sunt flexibile. Hai să vedem cum curge logica asta într-un script Python tipic. Setezi un loop pentru a itera prin lista ta de ID-uri UniProt. În interiorul loop-ului, faci un network request pentru primul ID. Înainte de a face orice altceva, verifici HTTP status code-ul. Nu fiecare secvență proteică existentă are o structură AlphaFold precalculată. Dacă faci un request pentru o proteină nemapată, baza de date returnează o eroare standard 404 Not Found. Scriptul tău trebuie să facă catch la această eroare gracefully, să logheze ID-ul lipsă și să continue cu următoarea iterație. Dacă ignori status code-urile și încerci să faci parse la un response lipsă, întregul tău batch job va da crash la prima proteină nesuportată. Când request-ul are succes, scriptul tău citește manifestul returnat. Scrii logica pentru a extrage linkurile de download specifice care te interesează, care sunt de obicei fișierul principal de coordonate și fișierul matricei de eroare corespunzător. Scriptul tău face apoi HTTP request-uri secundare către acele linkuri specifice, făcând streaming la datele grele direct în storage-ul tău local sau într-un cloud bucket. Prin separarea query-ului de download, API-ul menține faza inițială de discovery incredibil de rapidă. Poți verifica rapid disponibilitatea a mii de proteine, poți construi o listă validată de linkuri, iar apoi poți gestiona download-ul greu in bulk. Adevărata valoare a API-ului AlphaFold este că elimină bottleneck-ul uman, transformând o vastă bază de date statică într-o componentă complet programabilă a arhitecturii tale de cercetare. Asta e tot pentru acest episod. Mulțumesc pentru audiție și continuă să construiești!

Salut, sunt Alex de la DEV STORIES DOT EU. AlphaFold: Predicția structurii proteinelor, episodul 6 din 21. Când rulezi o predicție a structurii proteinelor, rețeaua neuronală este rareori bottleneck-ul. Adevărata așteptare are loc chiar înainte ca modelul să înceapă, răpindu-ți ore întregi din zi doar pentru a căuta prin bazele de date genetice. Predicția structurilor cu ColabFold schimbă complet ecuația. Pipeline-ul standard pentru AlphaFold se bazează pe un tool numit Jackhmmer. Jackhmmer scanează baze de date locale masive, de ordinul terabyților, pentru a găsi rude evolutive ale proteinei tale țintă. Această căutare construiește Multiple Sequence Alignment, sau MSA. MSA-ul este input-ul critic care îi spune lui AlphaFold ce părți ale proteinei au șanse mari să interacționeze pe baza istoricului evolutiv. Totuși, generarea acestui alignment în mod tradițional necesită ore întregi de compute și te obligă să gestionezi dataset-uri enorme pe propria infrastructură. ColabFold modifică acest pipeline concentrându-se exact pe acel bottleneck. Înlocuiește Jackhmmer cu un algoritm de căutare diferit, numit MMseqs2. MMseqs2 este puternic optimizat pentru căutarea ultra-rapidă a secvențelor. Dar ColabFold merge un pas mai departe decât simpla înlocuire a algoritmilor. În loc să te oblige să rulezi MMseqs2 și bazele de date asociate pe mașina ta locală, ColabFold face offload complet la acest pas. Preia secvența ta de input și o trimite către un server MMseqs2 public, dedicat, prin intermediul unui API. Acest server duce tot greul. Caută în propriile baze de date gestionate centralizat și returnează MSA-ul finalizat direct în environment-ul tău. Această schimbare de arhitectură înseamnă că nu ai nevoie deloc de storage local pentru baze de date. Acesta este exact motivul pentru care poți rula ColabFold eficient într-un Jupyter Notebook găzduit pe servicii de cloud precum Google Colab sau UCloud. Setup-ul nu necesită aproape deloc infrastructură. Deschizi notebook-ul și dai paste la secvența ta de aminoacizi. Aceasta poate fi o proteină wild-type sau o secvență cu mutații custom cu care experimentezi. Când rulezi notebook-ul, execuția are loc în două faze distincte. Mai întâi, environment-ul tău de cloud face un API call rapid către serverul remote MMseqs2. Serverul calculează alignment-ul și trimite MSA-ul înapoi către notebook-ul tău. Acest lucru reduce un proces care în mod normal durează ore la doar câteva minute sau chiar secunde. Acum, intră în scenă a doua parte a acestui workflow. Notebook-ul tău pasează MSA-ul obținut către rețeaua neuronală AlphaFold. Aici are loc predicția propriu-zisă de folding. Spre deosebire de căutarea în baza de date, acest pas de inference rulează local în instanța ta de cloud. Utilizează GPU-ul atașat sesiunii tale de Google Colab sau UCloud pentru a calcula coordonatele spațiale ale structurii proteinei. Deoarece căutarea lentă în baza de date este externalizată și accelerată, timpul tău total de iterație este redus drastic. Obții predicția extrem de precisă a rețelei neuronale pe care o aștepți de la AlphaFold, dar o obții rapid. Dacă trebuie să testezi modul în care o mutație punctuală specifică modifică forma fizică a unei proteine, pur și simplu editezi o singură literă din variabila secvenței tale, rulezi din nou celula și evaluezi noul output. Iată ideea cheie. ColabFold dovedește că, prin decuplarea completă a căutării de alignment data-heavy de inference-ul rețelei neuronale, poți aduce tool-uri de biologie structurală de clasă mondială într-un browser web standard. Asta e tot pentru acest episod. Mulțumesc că m-ai ascultat și continuă să construiești!

Salut, sunt Alex de la DEV STORIES DOT EU. AlphaFold: Predicția structurii proteinelor, episodul 7 din 21. Să prezici o singură proteină e ca și cum ai ghici forma unei piese de puzzle izolate. Dar în biologie, proteinele rareori acționează singure. Dacă arunci două secvențe random într-un model standard de predicție, de multe ori pur și simplu le va amesteca în spațiul tridimensional, indiferent dacă ele chiar se leagă în natură. Ca să-ți dai seama cum se îmbină cu adevărat mai multe piese flexibile, ai nevoie de un tool diferit. Acesta este AlphaFold-Multimer. AlphaFold standard este optimizat pentru chain-uri polipeptidice individuale. AlphaFold-Multimer este o versiune reantrenată a sistemului, concepută special ca să prezică complexe proteice. Este antrenat să recunoască și să modeleze atât interfețe homomerice, unde se leagă mai multe copii ale aceleiași proteine, cât și interfețe heteromerice, unde interacționează proteine complet diferite. Când îi dai mai multe secvențe lui AlphaFold-Multimer, va returna mereu un complex prezis. Provocarea critică e să determini dacă acea interfață prezisă este o interacțiune biologică reală sau o coliziune forțată artificial. Modelul face ce îi ceri, așa că va pune chain-urile unul lângă altul. Ca să rezolve problema interacțiunilor false, AlphaFold-Multimer introduce o metrică de încredere specializată, numită interface predicted Template Modeling score, sau ipTM. Scorurile standard de încredere evaluează cât de bine se pliază o bucată localizată dintr-un chain. Scorul ipTM ignoră complet structura internă a proteinelor individuale. În schimb, măsoară acuratețea pozițiilor relative ale chain-urilor. Mai exact, evaluează încrederea în interfața unde se întâlnesc proteinele. Gândește-te la un scenariu în care prezici un complex anticorp-antigen format din două chain-uri. Pasezi în model secvența de aminoacizi pentru anticorp și secvența pentru antigenul target. Sistemul dă ca output o structură care conține ambele molecule. Mai întâi, verifici scorurile standard de încredere locale pentru fiecare chain. Acestea ar putea fi foarte mari, ceea ce indică faptul că modelul știe exact cum se pliază anticorpul izolat și antigenul izolat. Fii atent la faza asta. Poți avea chain-uri individuale perfect pliate, cu un scor ipTM aproape de zero. Dacă ipTM-ul e mic, modelul îți spune că, deși formele sunt corecte, habar n-are cum se conectează. Pur și simplu a parcat cele două structuri pliate una lângă alta, pentru că i-ai dat două secvențe. Interfața nu are niciun sens. Totuși, dacă scorul ipTM e mare, de obicei orice e peste zero virgulă opt, modelul este sigur pe interacțiune. Un ipTM mare înseamnă că sistemul a găsit dovezi structurale și evolutive că aceste suprafețe specifice se interconectează. Modelul nu doar le forțează împreună; ci prezice un eveniment de legare autentic. Ca să clasifice output-urile finale, AlphaFold-Multimer calculează un scor de încredere combinat. Această metrică combinată pune mult accent pe interfață, luând de obicei optzeci la sută din scorul ipTM și adăugând douăzeci la sută din scorul structural general. Modelul cu cel mai mare scor combinat este returnat ca predicția ta de top. Acuratețea structurală a chain-urilor individuale nu garantează o interacțiune validă. Scorul interface predicted Template Modeling este metrica definitorie care demonstrează că modelul a descoperit un complex biologic autentic, în loc să îndeplinească doar un request de a grupa două secvențe. Asta e tot pentru acest episod. Mersi că m-ai ascultat și continuă să construiești!

Salut, sunt Alex de la DEV STORIES DOT EU. AlphaFold: Predicția structurii proteinelor, episodul 8 din 21. Un singur typo într-o secvență de mii de aminoacizi poate face diferența dintre sănătate și o boală genetică severă. Dar când secvențiezi genomul unui pacient și găsești o mutație nouă, cum știi dacă este cauza principală sau doar zgomot biologic inofensiv? AlphaMissense oferă un răspuns matematic exact la această problemă. O variantă missense este o mutație genetică în care schimbarea unei singure litere de ADN duce la substituirea unui aminoacid cu altul în proteina finală. Genomul uman mediu conține mii de astfel de variante. Multe sunt complet benigne. Ele modifică o parte periferică a proteinei fără să-i afecteze funcția generală. Altele perturbă complet proteina, ducând la afecțiuni genetice grave. Sortarea variantelor periculoase de cele inofensive este un bottleneck masiv în genetica clinică. AlphaMissense este un model construit special pentru a clasifica aceste efecte. Trebuie să clarificăm din start o concepție greșită destul de comună. AlphaMissense nu prezice modificările structurale 3D cauzate de o mutație. Nu returnează ca output un fișier nou care să arate o formă deformată a proteinei. În schimb, se folosește de contextul structural și evolutiv deja învățat de rețeaua AlphaFold pentru a calcula o probabilitate. Returnează ca output un scor continuu de patogenitate, de la zero la unu. Acest scor reprezintă probabilitatea ca o mutație specifică să provoace o boală. Ia un scenariu concret. Analizezi genomul unui pacient și izolezi o nouă substituție a unui singur aminoacid într-o genă critică. O valină a înlocuit o alanină la poziția 142. Pacientul este bolnav, dar exact această mutație nu a fost niciodată documentată în literatura medicală. Trebuie să știi dacă această substituție este patogenă. Faci un query în baza de date AlphaMissense pentru această variantă specifică. În spate, modelul evaluează conservarea evolutivă a acelei poziții exacte, uitându-se la multiple alinieri de secvențe. Verifică dacă natura a tolerat schimbări la această poziție de-a lungul a milioane de ani de evoluție. De asemenea, evaluează contextul structural. Un aminoacid împachetat strâns în nucleul hidrofob al proteinei este mult mai sensibil la schimbări decât unul care plutește liber pe suprafața exterioară. AlphaMissense procesează aceste semnale evolutive și structurale pentru a-ți returna scorul. Un scor apropiat de zero înseamnă că varianta este probabil benignă. Proteina probabil se pliază și funcționează normal. Un scor apropiat de unu o marchează ca fiind probabil patogenă. Substituția aproape sigur strică stabilitatea sau funcția proteinei. Pentru ca aceste date să fie actionable, modelul aplică praguri predefinite. Scorurile care depășesc pragul superior sunt clasificate ca fiind probabil patogene. Scorurile sub pragul inferior sunt probabil benigne. Orice pică în zona de mijloc este clasificat ca ambiguu. Această clasificare îți permite să filtrezi instantaneu zgomotul genomic. În loc să proiectezi experimente de laborator costisitoare și care consumă mult timp pentru a testa fiecare variantă necunoscută din genomul pacientului, îți concentrezi imediat resursele clinice pe cele câteva mutații pe care AlphaMissense le marchează cu un scor mare. Aici e ideea cheie. Adevăratul impact al acestui tool este scale-ul său. AlphaMissense nu așteaptă query-uri. A calculat deja scorul de patogenitate pentru toate cele 71 de milioane de substituții posibile ale unui singur aminoacid din întregul proteom uman, catalogând rezultatele înainte ca un pacient să intre vreodată într-o clinică. Dacă îți place podcastul și vrei să ajuți la continuarea emisiunii, ne poți susține căutând DevStoriesEU pe Patreon. Asta e tot pentru acest episod. Mulțumesc pentru ascultare și continuă să construiești!

Salut, sunt Alex de la DEV STORIES DOT EU. AlphaFold: Predicția structurii proteinelor, episodul 9 din 21. Ai putea presupune că cel mai mare obstacol în prezicerea structurilor proteinelor este să găsești un GPU suficient de puternic. Dar adevăratul bottleneck este stocarea. Înainte să pliezi un singur aminoacid, trebuie să interoghezi baze de date evolutive masive, de mulți terabyți. Acest episod acoperă deploy-ul local pentru AlphaFold 2. Să rulezi AlphaFold pe propriul tău hardware îți oferă confidențialitate strictă pentru secvențele proprietare și elimină limitele de timp de execuție de pe serverele publice. DeepMind oferă codul open-source direct pe GitHub. Ca să-l folosești, trebuie mai întâi să reproduci exact mediul de referință genetică pe care modelul îl folosește ca să găsească secvențe similare. Asta necesită descărcarea unor copii locale ale bazelor de date publice precum BFD, MGnify, UniRef90 și PDB70. La un loc, aceste baze de date necomprimate consumă cam trei terabyți de stocare. Imaginează-ți un inginer DevOps care face provision la un nou nod de High Performance Computing pentru o echipă de cercetare. Prima cerință absolută este un drive de trei terabyți. Nu poți folosi discuri mecanice ieftine și lente aici. Ai nevoie de stocare NVMe rapidă. Căutarea prin milioane de secvențe genetice generează operațiuni agresive de disk read. Dacă stocarea ta e lentă, întregul pipeline se blochează înainte ca datele să ajungă măcar la rețeaua neuronală. Aici e ideea cheie. Pipeline-ul local AlphaFold constă în două faze de calcul distincte, și necesită profiluri hardware complet diferite. Faza unu generează Multiple Sequence Alignment, sau MSA. Sistemul caută prin terabyții tăi de baze de date locale folosind tool-uri externe de bioinformatică. Această fază folosește exact zero cicluri GPU. Este complet limitată de core-urile CPU, memoria sistemului și viteza discului. Faza doi este inferența structurală propriu-zisă. Aici rețeaua neuronală preia controlul ca să genereze coordonatele 3D, iar această fază necesită strict un GPU cu mult VRAM. Dacă faci provision la un nod cu un GPU masiv, dar un CPU slab, jobul tău de predicție se va bloca ore întregi în faza de aliniere. Gestionarea dependențelor software pentru ambele faze este notoriu de dificilă. Trebuie să aliniezi versiuni specifice de CUDA, Jax și tool-urile de aliniere a secvențelor. Ca să rezolve asta, repository-ul oficial se bazează masiv pe Docker. Containerizarea asigură că acest mediu complex de execuție rămâne izolat și consistent pe diferite sisteme de operare. Configurarea deploy-ului implică două scripturi principale. Mai întâi, rulezi un script bash oferit ca să descarci datele. Îl direcționezi către drive-ul tău NVMe și îl lași să ruleze. În funcție de conexiunea ta la rețea, descărcarea și extragerea acestor fișiere poate dura câteva zile. Odată ce datele sunt pe stocarea ta rapidă, ești gata de execuție. Controlezi pipeline-ul folosind un script wrapper de Python oferit, numit run docker dot py. Execuți acest script din terminal, pasându-i câteva argumente obligatorii. Furnizezi calea către fișierul FASTA de input care conține secvența ta de aminoacizi țintă. Furnizezi calea către directorul bazei tale de date de mulți terabyți. Specifici un director de output. În cele din urmă, setezi o dată maximă de lansare a template-ului, care restricționează modelul din a folosi template-uri structurale cunoscute, publicate după un anumit moment în timp. Wrapper-ul de Python preia aceste argumente și construiește containerul de Docker. Acesta îți montează directoarele de pe host-ul local în container ca volume, permițând software-ului izolat să citească bazele de date și să scrie fișierele de output înapoi pe discul tău. Containerul preia apoi controlul, orchestrând automat căutarea de aliniere, intensivă pentru CPU, și procesul de inferență, intensiv pentru GPU. Deploy-ul local pentru AlphaFold este fundamental o provocare de infrastructură, care îți cere să echilibrezi viteza mare a discului pentru faza de aliniere, intensivă pentru CPU, cu un VRAM capabil pentru faza de pliere, intensivă pentru GPU. Îți mulțumesc că ai petrecut câteva minute cu mine. Până data viitoare, numai bine.

Salut, sunt Alex de la DEV STORIES DOT EU. AlphaFold: Predicția structurii proteinelor, episodul 10 din 21. Ani de zile, dacă voiai să vezi cum interacționa un potențial medicament cu o proteină țintă, trebuia să rulezi secvența, să generezi o structură proteică și apoi să folosești un software complet separat pentru a face docking computațional medicamentului la locul lui. Forțai o substanță chimică rigidă într-un model rigid. AlphaFold 3 schimbă complet acest lucru, făcând folding la tot în același timp. Astăzi prezentăm AlphaFold 3: Dincolo de proteine. Versiunile anterioare ale AlphaFold s-au concentrat strict pe prezicerea structurii proteinelor pe baza secvențelor lor de aminoacizi. Erau excepțional de bune la asta, dar sistemele biologice reale nu funcționează ca proteine ​​goale care plutesc în vid. Proteinele interacționează cu ADN-ul pentru a activa și dezactiva genele. Se bazează pe ioni metalici pentru a cataliza reacțiile. Sunt blocate sau activate de molecule mici de medicament. Înainte de această actualizare, modelarea acestor interacțiuni complexe necesita un pipeline fragmentat. Mai întâi preziceai structura proteinei, apoi poate modelai ADN-ul separat și, în final, încercai să calculezi cum se potrivesc fizic împreună. Această abordare secvențială are un defect major. Presupune că structura proteinei este statică. În realitate, proteinele își schimbă dinamic forma atunci când se leagă de alte molecule. Iată ideea cheie. AlphaFold 3 trece de la a fi doar un tool de protein folding la un predictor generalizat de complexe biomoleculare. Își extinde vocabularul nativ dincolo de aminoacizi pentru a include trei categorii complet noi de molecule. În primul rând, acum suportă acizi nucleici, ceea ce înseamnă că poți da ca input atât secvențe de ADN, cât și de ARN. În al doilea rând, înțelege nativ liganzi de tip small molecule, ceea ce acoperă marea majoritate a medicamentelor farmaceutice. În al treilea rând, suportă includerea ionilor esențiali care se află adesea în centrul proteinelor funcționale. În loc să prezică aceste componente izolat, AlphaFold 3 prezice simultan structura comună a tuturor acestor entități moleculare distincte. Calculează interacțiunile dintre fiecare atom din întregul complex într-un singur pass. Gândește-te cum schimbă asta un scenariu standard de modelare. Nu te mai uiți la o țintă izolată. Acum poți defini un input care conține o secvență proteică, o catenă specifică de ADN și definiția chimică a unui medicament inhibitor de dimensiuni mici. Sistemul le evaluează împreună. Output-ul rezultat arată proteina prinzând activ catena de ADN, în timp ce mica moleculă de medicament este perfect încastrată în binding pocket. Pentru că totul a trecut prin procesul de folding în același spațiu computațional, modelul proteic reflectă automat schimbările structurale cauzate atât de ADN, cât și de medicament. Acesta nu este pur și simplu vechiul engine AlphaFold cu un algoritm de docking atașat la final. Este o arhitectură de model complet distinctă, antrenată direct pe modul în care diferite clase de molecule biologice interacționează în spațiul fizic. Cea mai semnificativă schimbare cu AlphaFold 3 este că nu mai generezi părți biologice izolate, ci mai degrabă prezici mașini moleculare complete, care interacționează, exact așa cum există ele în lumea fizică. Asta e tot pentru acest episod. Mulțumesc pentru audiție și continuă să construiești!

Salut, sunt Alex de la DEV STORIES DOT EU. AlphaFold: Predicția structurii proteinelor, episodul 11 din 21. Nu mai ai nevoie de o diplomă în inginerie sau de un supercomputer pentru a rula cel mai avansat AI biomolecular din lume. Bariera de intrare a scăzut la un simplu browser web. Acesta este AlphaFold Server, poarta ta directă către AlphaFold 3. În trecut, rularea unor predicții complexe de structură însemna gestionarea de software dependencies, descărcarea a terabytes de baze de date genetice și întreținerea unor GPU-uri puternice. AlphaFold Server ocolește toate astea. Este o interfață web complet grafică ce permite biologilor și chimiștilor să ruleze job-uri AlphaFold 3 fără să scrie o singură linie de cod. Toate alinierile multiple de secvențe, căutarea de template-uri și folding-ul bazat pe difuzie se întâmplă remote, pe o infrastructură de compute partajată. Înainte să trecem printr-o predicție, trebuie să clarificăm două limite stricte. În primul rând, AlphaFold Server este exclusiv pentru utilizare non-comercială. În al doilea rând, pentru că se bazează pe resurse de compute oferite gratuit, contul tău este supus unor limite zilnice de job-uri. Nu îl poți folosi pentru a face brute-force pe un pipeline masiv de screening. Este conceput pentru design experimental targetat, de tip single-job. Iată cum construiești un job complex de predicție multi-chain în interfață. Întregul workflow se învârte în jurul adăugării de entități separate într-un workspace comun. Începi cu proteina ta principală. Dai click pe buton pentru a adăuga o entitate de tip proteină. Apare un text field. Pur și simplu dai paste la secvența ta de aminoacizi de o literă direct în acea căsuță. Dacă te aștepți ca această proteină să formeze un homodimer, nu trebuie să dai paste la secvență de două ori. Pur și simplu schimbi setarea de copy number la doi, iar sistemul se ocupă de stoichiometrie. Acum, a doua parte a procesului este adăugarea moleculelor care interacționează. Să presupunem că vrei să vezi cum se leagă acea proteină de un segment specific de ADN. Dai click pentru a adăuga o entitate ADN și dai paste la secvența pentru forward strand. Pentru a construi dublul helix propriu-zis, adaugi o altă entitate ADN și dai paste la secvența reverse complementary. AlphaFold 3 le va modela împreună în același spațiu tridimensional, prezicând atât base pairing-ul ADN-ului, cât și interfața sa structurală cu proteina ta. Aici devine interesant pentru componentele non-polimerice. Serverul suportă nativ liganzi, ioni și cofactori. Dacă proteina ta necesită un ion metalic specific pentru a-și stabiliza folding-ul, dai click pentru a adăuga o entitate de tip ion. Nu trebuie să cauți identificatori chimici complecși sau să scrii SMILES strings pentru componentele standard. Serverul oferă un dropdown menu built-in. Trebuie doar să cauți un ion comun, să selectezi Magneziu sau Zinc, să definești de câte copii ai nevoie, iar interfața îl fixează. Odată ce workspace-ul tău conține secvența proteinei, cele două catene de ADN și ionul selectat, apeși butonul de submit. Asta e tot setup-ul. În spate, serverul preia controlul. Acesta gestionează pipeline-urile de aliniere, introduce datele în rețeaua neuronală AlphaFold 3 și rulează procesul de difuzie structurală. Când job-ul se finalizează, rezultatele se încarcă direct în browserul tău. Primești un 3D viewer embedded pentru a inspecta imediat complexul prezis. Mai important, primești un pachet curat pentru download, care conține fișierele de coordonate atomice prezise și toate confidence metrics asociate pentru analiza ta locală. Adevărata putere a serverului nu constă doar în accesul imediat la model, ci și în viteza de iterație pe care o oferă atunci când testezi ipoteze structurale. Asta e tot pentru acest episod. Mulțumesc că ai ascultat și continuă să construiești!

Salut, sunt Alex de la DEV STORIES DOT EU. AlphaFold: Predicția structurii proteinelor, episodul 12 din 21. Să prezici exact cum un nou medicament se leagă de o proteină țintă pare o descoperire uriașă, până când îți dai seama că AI-ul tocmai a plasat doi atomi de carbon solizi în exact același spațiu fizic. O structură frumos randată este inutilă dacă sfidează legile fizicii. Astăzi discutăm despre interpretarea rezultatelor AlphaFold 3 pentru a te ajuta să separi insight-urile biologice de halucinațiile computaționale. AlphaFold 3 generează un fișier de coordonate tridimensionale împreună cu un set de metrici specifice. Evaluarea unui rezultat necesită citirea acestor metrici împreună, deoarece un scor mare într-o zonă poate masca un eșec catastrofal în alta. Mai întâi, analizezi încrederea locală folosind o metrică numită pLDDT. Aceasta notează fiecare atom sau reziduu pe o scară de la zero la o sută. Un scor mare înseamnă că modelul este foarte sigur de geometria locală specifică a acelui chain. Dar încrederea locală singură nu este de ajuns. Poți avea o proteină perfect prezisă și un ligand de moleculă mică perfect prezis care plutesc independent în spațiu. Ca să știi dacă interacționează cu adevărat, trebuie să verifici Predicted Aligned Error, sau PAE. PAE măsoară eroarea de poziție așteptată în Angstromi. Valorile mai mici sunt mai bune. Când prezici complexe, cum ar fi o proteină care se leagă de un strand de ADN sau de o moleculă de medicament, te concentrezi pe cross-PAE. Gândește-te la output-ul PAE ca la o matrice de tip heat map. Diagonala arată cât de sigur este modelul pe structura internă a unui singur chain. Zonele din afara diagonalei arată încrederea dintre diferite entități. Dacă PAE-ul dintre proteina și ligandul tău este scăzut, AlphaFold este foarte sigur de pozițiile lor relative. Crede cu tărie că ligandul stă exact în acel pocket specific. Iată ideea cheie. O încredere ridicată nu înseamnă automat realitate fizică. AlphaFold 3 este un model de deep learning, nu un simulator de dinamică moleculară. Acesta prioritizează pattern-urile spațiale recunoscute în detrimentul fizicii stricte. Asta ne aduce la clash score. Pentru că AlphaFold 3 modelează liganzi, acizi nucleici și reziduuri modificate direct, fără o etapă de relaxation strict bazată pe fizică, output-urile pot conține clash-uri sterice severe. Un clash are loc atunci când doi atomi primesc coordonate care îi plasează imposibil de aproape unul de celălalt, suprapunându-se efectiv. Serverul calculează și oferă un clash score pentru output-ul tău. Un clash score mare este un red flag masiv. Ia în considerare un scenariu în care analizezi un output și chain-ul proteic principal are un pLDDT peste 90. Cross-PAE-ul dintre proteină și ligandul tău țintă este foarte scăzut. Metricile de interfață sugerează un eveniment de binding puternic și sigur. Pe hârtie, pare o predicție de docking perfectă. Apoi verifici clash score-ul și acesta este foarte ridicat. Dacă încarci coordonatele fizice într-un viewer, vei vedea ligandul trecând direct prin backbone-ul proteinei. Rețeaua neuronală a recunoscut că ligandul aparține acelui binding pocket general, dar nu a reușit să ruteze atomii în jurul side chain-urilor existente. A halucinat o moleculă fantomă care ignoră materia solidă. Când evaluezi un rezultat AlphaFold 3, trebuie să verifici simultan încrederea structurală și realismul fizic. Folosește pLDDT pentru a verifica forma moleculelor individuale. Folosește PAE pentru a confirma că interacționează acolo unde te aștepți. Apoi, verifică clash score-ul pentru a te asigura că modelul nu a încălcat chimia de bază pentru a forța acea interacțiune să aibă loc. Ține minte că un model de deep learning oferă ca output o ipoteză spațială bazată pe pattern recognition, așadar o predicție cu un nivel ridicat de încredere este valabilă numai dacă atomii respectă cu adevărat legile fizicii. Asta e tot pentru acest episod. Îți mulțumesc că m-ai ascultat și spor la construit!

Salut, sunt Alex de la DEV STORIES DOT EU. AlphaFold: Predicția structurii proteinelor, episodul 13 din 21. DeepMind a făcut open-source cel mai recent model al lor de biologie structurală, dar dacă clonezi repository-ul și încerci să-l rulezi, va da fail imediat. Codul este complet public, dar rețeaua neuronală propriu-zisă care face predicțiile este strict controlată. Astăzi, ne uităm la AlphaFold 3 Inference Pipeline și la cum navighezi, de fapt, procesul de deploy. Pentru a rula AlphaFold 3 local, trebuie să unești două componente separate: codul de execuție și parametrii modelului. Repository-ul îți oferă logica de pipeline. Pentru parametri, mai exact pentru weights-urile versiunii trei punct zero punct unu, trebuie să ceri acces separat. Google îți cere să trimiți un formular care detaliază use case-ul tău de cercetare non-comercială. După ce îți aprobă cererea, primești un link pentru a descărca acele weights masive ale modelului. Această abordare separată permite DeepMind să restricționeze utilizarea comercială, lăsând în același timp cercetătorii să inspecteze și să ruleze pipeline-ul open-source pe propriul hardware. După descărcarea weights-urilor, următorul tău pas este să definești ce vrei să prezică modelul. Versiunile anterioare de AlphaFold se ocupau în mare parte de lanțuri proteice individuale, așa că puteai să pasezi pur și simplu un string de text cu aminoacizi. AlphaFold 3 modelează interacțiuni complexe între diverse tipuri de molecule, așa că un simplu string nu mai este suficient. În schimb, creezi un fișier de configurare. Acest fișier acționează ca un manifest complet pentru ținta ta biologică. Specifici exact moleculele implicate în experimentul tău. Aceasta ar putea fi o proteină standard, o catenă de ADN sau ARN, sau un ligand specific de moleculă mică. În același fișier de configurare, definești și acele random seeds. Deoarece noua arhitectură a modelului se bazează pe un proces de difuzie pentru a genera structura tridimensională finală, introducerea unor mici variații în acel random seed produce diferite stări structurale posibile. Prin definirea mai multor seeds în configurația ta, instruiești pipeline-ul să genereze predicții distincte pentru exact același input. De asemenea, declari o versiune de dialect în acest fișier, care pur și simplu îi spune acelui parsing engine să aplice regulile de validare AlphaFold 3 pe manifestul tău. Cu weights-urile descărcate și fișierul de configurare gata, treci la execuție. Deoarece acest pipeline depinde de versiuni extrem de specifice de librării de machine learning și drivere de GPU, rularea lui direct pe sistemul tău de operare host este riscantă. Workflow-ul oficial se bazează pe Docker. Faci build la o imagine de container direct din repository-ul furnizat, blocând astfel mediul perfect. Pentru a rula efectiv inference-ul, lansezi acest container și îl conectezi la mașina ta host făcând mount la trei căi critice. În primul rând, faci mount la folderul care conține fișierul tău de configurare de input. În al doilea rând, faci mount la directorul care conține acele weights masive și aprobate ale modelului, pe care le-ai descărcat mai devreme. În cele din urmă, faci mount la un director gol unde containerul își poate scrie rezultatele. După ce containerul bootează, invoci run script-ul principal. Pipeline-ul validează manifestul tău de input, încarcă weights-urile din directorul montat în memoria GPU și începe predicția structurală. Când procesul se termină, folderul tău de output montat va conține coordonatele finale ale moleculelor solicitate, formatate și gata pentru vizualizare. Provocarea principală a acestui pipeline nu este codul din spate, ci gestionarea logisticii pentru obținerea acelor weights ale modelului și structurarea meticuloasă a fișierului tău de configurare pentru a mapa interacțiunile biologice complexe. Dacă vrei să susții emisiunea, poți căuta DevStoriesEU pe Patreon. Asta e tot pentru acest episod. Mulțumesc pentru audiție și continuă să construiești!

Salut, sunt Alex de la DEV STORIES DOT EU. AlphaFold: Predicția structurii proteinelor, episodul 14 din 21. Cea mai mare greșeală pe care o fac inginerii când fac deploy la AlphaFold este să lase GPU-urile scumpe idle în timp ce așteaptă să se termine query-urile simple pe database. Aloci un A100, pornești un job și te uiți cum utilization-ul stă blocat la zero la sută timp de ore întregi. Soluția este separarea mediilor de execuție, exact ceea ce acoperim astăzi cu Data Pipelines și Hardware Requirements. AlphaFold 3 face două tipuri de muncă fundamental diferite. În primul rând, caută în baze de date genetice masive pentru a construi Multiple Sequence Alignments și a găsi templates structurale. În al doilea rând, trimite acele date procesate în neural network pentru a prezice structura tridimensională finală. Căutarea în database este complet CPU bound și limitată de vitezele de citire de pe storage. Predicția din neural network necesită un GPU. Dacă rulezi setup-ul default, AlphaFold face ambii pași secvențial pe aceeași mașină. Asta înseamnă că GPU-ul tău scump nu face absolut nimic, în timp ce CPU-ul tău petrece ore întregi procesând terabytes de baze de date de referință. Aici e ideea de bază. Repository-ul oferă două flags de execuție specifice pentru a decupla aceste workloads. Primul flag este run data pipeline. Când execuți scriptul de run cu acest flag activat și run inference dezactivat, AlphaFold face doar căutările genetice și de templates. Citește configurația ta de input, face query pe bazele de date locale și generează toate sequence features necesare. Apoi salvează această stare intermediară a datelor pe disk. Partea crucială e că acest pas necesită zero resurse GPU. Se bazează strict pe o mașină cu multe core-uri CPU și drive-uri NVMe SSD rapide pentru a gestiona operațiunile grele de input și output. După ce data pipeline-ul termină de construit features, folosești al doilea flag. Execuți din nou scriptul, dar setezi run data pipeline pe false și run inference pe true. AlphaFold va da bypass complet la căutarea în database. Încarcă direct datele de features din cache pe care tocmai le-ai generat, inițializează weights-urile modelului și execută forward pass-ul din neural network. Acest pas este complet GPU bound. Se bazează exclusiv pe acceleratorul tău hardware și pe memoria sa cu high bandwidth. Această separare explicită este modul în care proiectezi o infrastructură enterprise corectă. În loc să atașezi drive-uri masive de database la mai multe mașini scumpe cu GPU, faci provision la o flotă de CPU nodes cost-effective. Distribui request-urile de predicție primite pe aceste CPU nodes, folosindu-le pentru a face query agresiv pe bazele de date și a genera alignments în paralel. De fiecare dată când un CPU node termină un job de data pipeline, pune fișierele de features rezultate pe un sistem de shared storage. Între timp, menții un singur node, cu utilization mare, cu un GPU puternic. Această mașină există strict pentru inference. Monitorizează constant shared storage-ul. Când apare un nou fișier de features, îl preia, rulează predicția din neural network în câteva minute, scrie structura moleculară finală și face imediat pull la următorul fișier. GPU-ul tău nu mai așteaptă niciodată după un bottleneck de storage sau o căutare în database. Decuplarea data pipeline-ului CPU bound de inference-ul GPU bound este cea mai eficientă metodă de a scala predicția structurii proteinelor, ținând în același timp costurile hardware sub control. Îți mulțumesc că ai petrecut câteva minute cu mine. Până data viitoare, toate bune.

Salut, sunt Alex de la DEV STORIES DOT EU. AlphaFold: Protein Structure Prediction, episodul 15 din 21. Modelul tău proteic este surprinzător de mic, având sub o sută de milioane de parametri. Prezici cu succes structura unei secvențe de 500 de reziduuri pe un GPU standard de 16 gigabytes, dar când dai ca input o secvență de 1500 de reziduuri, procesul dă crash instantaneu cu o eroare de out of memory, cerând brusc peste 80 de gigabytes de VRAM. Această scalare catastrofală se întâmplă din cauza unei trăsături arhitecturale specifice numite Memory Bottleneck: Attention O(n³). Conform lucrării FastFold de Cheng și colaboratorii, acest consum exploziv de memorie nu are nicio legătură cu weights-urile modelului. Întregul model AlphaFold conține doar 93 de milioane de parametri. Bottleneck-ul constă în întregime în activările intermediare generate în timpul forward pass-ului. Pe măsură ce lungimea secvenței crește, memoria necesară pentru stocarea acestor tensori intermediari scalează cubic. Pentru a înțelege de ce, trebuie să ne uităm în interiorul Evoformer-ului. Evoformer-ul este trunchiul structural principal din AlphaFold, constând din 48 de blocuri stacked. În interiorul fiecărui bloc, modelul se bazează pe un mecanism specializat de attention. Transformer-ele standard, precum cele utilizate în language models, au de obicei mecanisme de attention în care memoria scalează pătratic cu lungimea secvenței. Acestea compară o secvență unidimensională doar cu ea însăși. AlphaFold este diferit. Folosește o reprezentare intermediară bidimensională pentru a modela interacțiunile pair-wise dintre aminoacizi. Iată ideea cheie. Pentru a prezice cu exactitate structurile tridimensionale ale proteinelor, rețeaua nu se poate uita la perechile de reziduuri în izolare. Trebuie să evalueze relațiile triunghiulare pentru a se asigura că distanțele prezise între trei puncte sunt fizic posibile în spațiul tridimensional. Pentru a calcula acest lucru, modulul de attention generează tensori de activare intermediari. Memory footprint-ul acestor tensori urmează o formulă strictă. Este lungimea secvenței la cub, înmulțită cu numărul de attention heads, înmulțită cu dimensiunea în bytes a tipului de date. AlphaFold folosește precizia BFloat16, care ocupă doi bytes per valoare. Hai să facem calculele pentru developer-ul care și-a dat crash la GPU. Când pasezi o secvență de 500 de reziduuri în model, lungimea secvenței este 500. Cubul lui 500 este 125 de milioane. Dacă ai patru attention heads, înmulțești 125 de milioane cu patru, și apoi cu doi bytes pentru precizie. Un singur layer de attention creează aproximativ un gigabyte de activări intermediare. GPU-ul tău de 16 gigabytes gestionează asta cu spațiu de rezervă. Acum schimbi input-ul la o secvență de 1500 de reziduuri. Ai triplat doar lungimea input-ului. Dar pentru că scalarea este cubică, trebuie să ridici 1500 la cub, ceea ce dă peste 3,3 miliarde. Înmulțește asta cu patru heads și doi bytes, iar exact același layer de attention cere acum aproape 27 de gigabytes de memorie doar pentru a-și stoca activările. Pentru că rețeaua trece aceste date prin 48 de blocuri Evoformer consecutive, necesarul total de memorie depășește instantaneu 80 de gigabytes. Tensorii cresc atât de rapid încât hardware-ul pur și simplu întrerupe procesul. De aceea, AlphaFold necesită o optimizare intensă pentru secvențe mai lungi. Numărul brut de parametri ai unei rețele neuronale nu îți spune aproape nimic despre cerințele sale de hardware atunci când geometria internă forțează datele intermediare să crească simultan în trei dimensiuni. Dacă vrei să susții emisiunea, poți căuta DevStoriesEU pe Patreon. Asta e tot pentru acest episod. Mulțumesc că m-ai ascultat și continuă să construiești!

Salut, sunt Alex de la DEV STORIES DOT EU. AlphaFold: Predicția structurii proteinelor, episodul 16 din 21. Dacă un tensor intermediar este prea masiv pentru un singur GPU, instinctul standard este să împarți parametrii modelului pe mai multe plăci video. Dar când rețeaua ta neuronală are doar 93 de milioane de parametri, iar acești activation tensors consumă 20 de gigabytes, împărțirea modelului nu rezolvă nimic. Trebuie să împarți geometria datelor în sine. Exact asta rezolvă Dynamic Axial Parallelism. Pentru a înțelege de ce există această abordare, trebuie să ne uităm la bottleneck-urile identificate în paper-ul FastFold. Motorul principal al AlphaFold este block-ul Evoformer. Acesta procesează alinieri multiple de secvențe și pair representations, care funcționează în esență ca niște grile bidimensionale masive de date. Tensor Parallelism-ul standard încearcă să gestioneze workload-uri grele prin împărțirea weights-urilor din linear layers pe diferite GPU-uri. Pentru AlphaFold, acest lucru creează ineficiențe severe. Tensor Parallelism-ul necesită o sincronizare frecventă și intensă, declanșând până la doisprezece pași de comunicare per block. De asemenea, se aplică doar modulelor de attention și feed-forward. Mai rău, scalarea sa este limitată strict de numărul de attention heads. În pair stack-ul AlphaFold, asta te limitează la un maxim de doar patru GPU-uri. Dynamic Axial Parallelism, sau DAP, abandonează complet abordarea de weight-splitting. În schimb, DAP păstrează parametrii compleți ai modelului intacți pe fiecare device în parte. Modelul în sine nu este niciodată distribuit. Activările intermediare sunt. Evoformer-ul procesează datele de-a lungul a două dimensiuni de secvență, dar operațiile matematice au loc întotdeauna pe o singură dimensiune la un moment dat. Acest comportament îi permite lui DAP să împartă curat datele de-a lungul dimensiunii inactive. Poți să-ți imaginezi asta într-un setup multi-GPU. O grilă masivă de date de secvență intră în layer. DAP împarte acest input pe orizontală. GPU zero ia primul chunk de rânduri, GPU unu îl ia pe următorul și așa mai departe. Fiecare GPU calculează apoi attention-ul pentru slice-ul său specific de date. Pentru că fiecare GPU deține o copie completă a weights-urilor modelului și pentru că întregul calcul este izolat pe axa orizontală, GPU-urile nu trebuie să comunice între ele. Își calculează chunk-urile independent. Iată ideea cheie. Odată ce calculul orizontal se termină, modelul trebuie să proceseze datele de-a lungul dimensiunii verticale a secvenței. Pentru ca asta să se întâmple, GPU-urile execută un pas de comunicare all-to-all. Ele transpun geometria datelor prin rețea. GPU zero își împrăștie fragmentele de coloană către celelalte device-uri și adună piesele de care are nevoie pentru următoarea fază. Orientarea split-ului se inversează. Acum, datele sunt împărțite vertical pe cluster. GPU-urile rulează imediat următorul layer de calcule de attention, din nou cu zero cross-talk în timpul matematicii propriu-zise. Această strategie de transpunere scade volumul de comunicare cu un ordin întreg de mărime în comparație cu Tensor Parallelism-ul standard. De asemenea, permite paralelismul pe absolut fiecare modul de calcul din Evoformer. Pentru că acești activation tensors masivi sunt distribuiți uniform pe cluster, consumul total de memorie scade drastic, prevenind ca device-urile individuale să dea crash sub greutatea secvențelor lungi. Când bottleneck-ul tău hardware este determinat de dimensiunea fizică pură a reprezentărilor intermediare, mai degrabă decât de adâncimea rețelei neuronale, nu fragmentezi arhitectura. Distribui axele datelor. Asta e tot pentru acest episod. Mersi că m-ai ascultat și continuă să construiești!

Salut, sunt Alex de la DEV STORIES DOT EU. AlphaFold: Predicția structurii proteinelor, episodul 17 din 21. Ce-ar fi dacă compilatorul tău ar fi suficient de inteligent pentru a face automat slice pe calculele cu matrice, astfel încât să se potrivească perfect bugetului tău de memorie hardware? Imaginează-ți un inginer care petrece zile întregi făcând profiling și slicing manual pe cod pentru a preveni erorile Out of Memory. De fiecare dată când lungimea secvenței se modifică, acele slices fixe eșuează. Compară asta cu un sistem care estimează dinamic memory footprint-ul și generează cod partiționat on the fly. AutoChunk este algoritmul care face acest lucru posibil. În lucrarea FastFold, cercetătorii au abordat acele bottlenecks masive de memorie cauzate de rularea secvențelor lungi prin modele de predicție a proteinelor. Abordarea standard pentru a evita să rămâi fără memorie este chunking-ul. Partiționezi un tensor de-a lungul unor dimensiuni care nu interacționează în timpul unui calcul, procesezi secvențial acele blocuri mai mici și le îmbini la loc. De obicei, acesta este un proces manual, care necesită multă muncă. Faci profiling pe cod, ghicești cele mai bune dimensiuni pentru slices și dai hardcode la limite. Articolul FastFold subliniază faptul că schemele fixe de chunking sunt ineficiente deoarece nu se pot adapta la dimensiuni variabile ale secvenței sau la spikes specifice de memorie operațională. Iată ideea principală. Cercetătorii FastFold au observat că 95% dintre operațiunile din model utilizează mai puțin de 20% din peak memory. Chunking-ul la nivel de modul este complet inutil. Trebuie doar să faci chunking pe operațiunile specifice care cauzează acele memory spikes. AutoChunk automatizează acest lucru analizând codul tău ca un computational graph. Ia acel grafic și bugetul tău specific de memorie hardware ca inputs. Explicat simplu, algoritmul rulează un loop continuu. Deși încă este nevoie de o strategie de memorie, acesta estimează consumul de memorie al graficului pentru a găsi acel node unic cu cea mai mare utilizare. Un node aici este o operație de bază, cum ar fi o adunare sau o proiecție liniară. Odată ce marchează acel node de peak memory, AutoChunk determină chunk range-ul maxim posibil care se extinde în exteriorul acestuia. Calculează acest lucru verificând toate acele nodes active care țin în prezent date în memorie. Apoi, identifică fiecare strategie posibilă de chunking din acel range, făcând tracing pe dimensiunile tensor-ului în sus prin grafic. O dimensiune poate fi supusă chunking-ului doar dacă este o dimensiune liberă, ceea ce înseamnă că nu are loc niciun calcul pe ea în timpul acelui range specific de operații. Deoarece a face tracing pe fiecare output în sus este costisitor din punct de vedere computațional, AutoChunk utilizează o căutare în două etape. Prima etapă verifică dacă acele nodes de start și end ale unui range îndeplinesc regulile de chunking. Dacă le îndeplinesc, a doua etapă efectuează o verificare profundă pentru toate acele nodes intermediare. După maparea posibilităților, AutoChunk selectează strategia care menține memoria strict sub buget, minimizând în același timp penalizarea asupra vitezei de execuție. În cele din urmă, algoritmul iese din loop și transmite strategiile alese unui generator de cod, inserând logica optimă de partiționare direct în grafic. Nu mai dai hardcode la slices de matrice sperând că vor rezista în producție. Sistemul analizează starea memoriei active și scrie logica de partiționare pentru tine. Cea mai utilă concluzie este că chunking-ul nu ar trebui să fie niciodată o setare statică, la nivel de modul; prin izolarea și partiționarea doar a operațiilor outlier specifice care provoacă peak memory spikes, poți procesa secvențe mult mai lungi fără a distruge viteza de execuție. Asta e tot pentru acest episod. Mulțumesc pentru audiție și continuă să construiești!

Salut, sunt Alex de la DEV STORIES DOT EU. AlphaFold: Predicția structurii proteinelor, episodul 18 din 21. Pornești un cluster masiv, de milioane de dolari, cu o mie de GPU-uri pentru a-ți antrena modelul, dar utilizarea stagnează. Întregul tău distributed ring se blochează complet deoarece o singură mașină a primit o secvență evolutivă extrem de complexă și are nevoie de 100 de secunde pentru a genera un alignment. Rezolvarea dezechilibrului de comunicare este modul în care repari exact acest bottleneck. Problema fundamentală aici este cunoscută sub numele de straggler problem. În distributed training, fiecare GPU din clusterul tău procesează un batch local de date. La sfârșitul unui training step, toate GPU-urile trebuie să ajungă la un punct de sincronizare pentru a-și partaja gradienții. Clusterul tău se mișcă doar în ritmul celei mai lente mașini. Așa cum este detaliat în paper-ul ScaleFold de Zhu și colaboratorii săi, pregătirea batch-urilor de antrenament pentru protein folding este foarte variabilă. Unele secvențe de aminoacizi sunt scurte și simple. Altele necesită multi-sequence alignments masive, durând cu până la trei ordine de mărime mai mult pentru a fi pregătite. Un batch rapid durează o fracțiune de secundă. Un batch lent durează 100 de secunde. Dacă folosești data loader-ul default din PyTorch, acesta generează batch-uri într-o ordine strictă, deterministă. Dacă unul dintre workerii tăi de data loader se blochează pregătind o secvență masivă, procesul de antrenament așteaptă ca acel batch specific să se termine. Chiar dacă alți workeri au terminat deja de pregătit batch-urile ulterioare, pipeline-ul este blocat. Pasul tău de antrenament se termină, GPU-ul tău local intră în idle și, pentru că nu poate ajunge la punctul de sincronizare, celelalte 999 de GPU-uri din clusterul tău stau complet în idle așteptându-l. Autorii ScaleFold au rezolvat acest lucru construind un Non-Blocking Data Pipeline. În loc să impună o secvență rigidă, pipeline-ul dă yield la un batch în momentul în care orice batch în procesare devine gata. Iată ideea cheie. Sistemul decuplează ordinea de pregătire a datelor de ordinea de consum a datelor folosind un priority queue. Mai întâi, atribui mai mulți workeri de data loader pentru a pregăti batch-uri asincron. Când un worker primește un batch de procesat, sistemul etichetează acel batch cu indexul său original din secvență. Acest index devine scorul său de prioritate. Să urmărim logica. Worker-ul unu primește batch-ul A, o secvență rapidă. Worker-ul doi primește batch-ul B, secvența de 100 de secunde. Worker-ul trei primește batch-ul C, o altă secvență rapidă. Worker-ul unu termină batch-ul A imediat și îi dă push în priority queue. Procesul de antrenament îl consumă și execută un pas. Worker-ul doi încă procesează masivul batch B. În sistemul default, GPU-ul s-ar opri și ar aștepta. Dar în acest pipeline non-blocking, worker-ul trei termină batch-ul C și îi dă push în priority queue. Deoarece batch-ul B încă nu este gata, queue-ul pur și simplu predă batch-ul C procesului de antrenament. GPU-urile continuă antrenamentul fără pauză. În cele din urmă, worker-ul doi termină batch-ul B și îi dă push în queue. Deoarece batch-ul B are un index original anterior, priority queue-ul îl plasează imediat absolut în fruntea cozii. Procesul de antrenament îl consumă chiar la pasul următor. Acest mecanism de prioritate garantează o ordonare a sample-urilor de tip best-effort. Secvența globală exactă a datelor se modifică ușor între diferite training runs, dar paper-ul confirmă că acest lucru nu are un impact negativ asupra convergenței antrenamentului. Elimini timpul de idle cauzat de vârfurile de utilizare a CPU-ului în background și de sample-urile complexe de date. Cel mai lent batch de date nu mai dictează viteza de execuție a celei mai rapide mașini pe care o ai. Asta e tot pentru acest episod. Mulțumesc pentru audiție și continuă să construiești!

Salut, sunt Alex de la DEV STORIES DOT EU. AlphaFold: Predicția structurii proteinelor, episodul 19 din 21. Uneori, GPU-ul nu este de fapt lent la calcule matematice. Doar își petrece tot timpul așteptând ca CPU-ul să-i dea următoarea instrucțiune, lăsându-ți profilerul plin de goluri masive de spațiu alb. Soluția la această problemă este Kernel Fusion și GPU Optimization. Conform lucrării ScaleFold, antrenarea modelului AlphaFold necesită lansarea a peste 150.000 de operațiuni individuale per step. Majoritatea acestora sunt memory-bound kernels, cum ar fi LayerNorm-uri mici sau operațiuni element-wise fragmentate. De fiecare dată când CPU-ul îi spune GPU-ului să ruleze o operațiune PyTorch, există un launch overhead. Când înlănțui 150.000 de operațiuni mici, acel overhead eclipsează complet calculele matematice propriu-zise. Uită-te la Multi-Head Attention din AlphaFold, care ocupă cam treizeci și patru la sută din timpul total al unui training step. Nu este un attention standard. AlphaFold adaugă un termen specific de pair bias la matricea de logits chiar înainte de operațiunea de softmax. În PyTorch default, asta creează un lanț de evenimente separate. Mai întâi, lansezi un kernel pentru batched matrix multiplication. GPU-ul citește datele din memoria globală, face calculele și scrie rezultatul înapoi. Apoi, CPU-ul lansează un al doilea kernel pentru a adăuga pair bias-ul. GPU-ul citește matricea înapoi din memorie, adaugă bias-ul și o scrie la loc. În cele din urmă, se lansează un al treilea kernel pentru softmax. Acest round-trip constant către memoria globală ține GPU-ul în așteptare. Autorii lucrării ScaleFold rezolvă asta scriind custom kernels folosind compilatorul OpenAI Triton. În loc de pași separați, ei fuzionează întreaga secvență într-un singur kernel. Iată ideea cheie. Prin fuzionarea operațiunilor, GPU-ul încarcă datele de input în SRAM-ul său rapid, on-chip, o singură dată. Efectuează matrix multiplication-ul, adaugă pair bias-ul, aplică softmax-ul și face înmulțirea finală direct în SRAM. Scrie în memoria globală doar atunci când întregul bloc Multi-Head Attention este finalizat. Librăriile standard optimizate, precum FlashAttention, nu funcționează aici din cauza acelei injecții unice de pair bias, ceea ce face ca un custom Triton kernel să fie strict necesar pentru a ocoli bottleneck-ul de memory bandwidth. Această abordare se extinde și la alte părți fragmentate ale modelului. LayerNorm consumă paisprezece la sută din timpul unui step, deoarece AlphaFold folosește dimensiuni mici, de obicei 128 sau 256. Când se folosește Dynamic Axial Parallelism, sau DAP, aceste problem sizes sunt reduse și mai mult, lăsând hardware-ul subutilizat. ScaleFold introduce un fused LayerNorm kernel, unde un singur CUDA thread block procesează mai multe rânduri de input simultan. Calculează statisticile de normalizare într-un singur pass, în loc să folosească metode iterative costisitoare, și folosește o reducere în doi pași în backward pass pentru a evita atomic operations. Chiar și optimizer-ul este fuzionat. Autorii ScaleFold au combinat optimizer-ul Adam și Stochastic Weight Averaging într-un singur kernel. Valorile intermediare dintre pașii optimizer-ului rămân în regiștrii GPU, ocolind complet memory reads. Pentru restul modelului, se bazează pe compiler tools din PyTorch pentru a fuziona automat operațiunile fragmentate rămase, în special în componentele seriale precum Structure Module. Când ai de-a face cu mii de operațiuni mici, memory-bound, bottleneck-ul tău nu sunt teraflopii, ci memory bandwidth-ul și CPU launch overhead-ul. Fuzionarea acestor operațiuni în blocuri de execuție unice și continue este singura modalitate de a satura cu adevărat hardware-ul. Mulțumesc pentru ascultare, spor la codat tuturor!

Salut, sunt Alex de la DEV STORIES DOT EU. AlphaFold: Predicția structurii proteinelor, episodul 20 din 21. Scalarea unui model de AI de la 128 de GPU-uri la 2.000 de GPU-uri nu înseamnă doar să cumperi mai mult hardware; necesită o reproiectare completă a modului în care sistemul respiră. Când adaugi atât de mult compute, descoperi bottlenecks masive în modul în care host-urile comunică cu acceleratoarele tale. Rezolvarea acestor bottlenecks necesită construirea unui pipeline high-throughput, exact așa cum cercetătorii au redus recent pretraining-ul AlphaFold de la șapte zile la doar zece ore. Planul pentru această arhitectură provine din lucrarea ScaleFold. Autorii au identificat o realitate brutală a scalării. Pe măsură ce distribui un model pe mii de GPU-uri, workload-ul matematic per GPU individual se micșorează. GPU-urile își termină calculele atât de repede încât CPU-ul nu poate emite noi instrucțiuni de kernel suficient de repede pentru a le ține ocupate. Overhead-ul CPU-ului devine bottleneck-ul dominant. Pentru a repara asta, elimini CPU-ul din execution loop folosind CUDA Graphs. Un CUDA Graph capturează o secvență de operații GPU și alocările lor de memorie într-un singur graf static. Odată capturat, GPU-ul execută întregul graf direct, fără să aștepte ca CPU-ul să facă dispatch la fiecare kernel în parte. Iată ideea cheie. Nu poți pur și simplu să aplici CUDA Graphs standard la AlphaFold. Arhitectura AlphaFold folosește un mecanism de recycling, introducând dinamic predicțiile înapoi în model. Asta creează un computation graph dinamic. Dacă operațiile se schimbă, un CUDA Graph standard se strică și trebuie recapturat, ceea ce distruge câștigul de performanță. Lucrarea ScaleFold rezolvă asta prin proiectarea unui cache de CUDA Graphs. În loc de un singur graf rigid, sistemul capturează și stochează mai multe grafuri care reprezintă diferitele scenarii de recycling. Când execuția dinamică se schimbă, sistemul ia pur și simplu graful precompilat corect din cache. CPU-ul este bypassat complet. Acum, a doua piesă a acestei arhitecturi high-throughput. Odată ce timpul per training step este foarte optimizat, apare un nou bottleneck. Într-un pipeline standard, nodurile de training se pun pe pauză periodic pentru a rula metrici de validare. Conform lucrării ScaleFold, pe măsură ce timpii per step se micșorează, această fază de evaluare poate consuma până la 43% din timpul total al pipeline-ului. Clusterul tău masiv și scump de training stă idle aproape jumătate din timp, doar ca să-și verifice propria muncă. Soluția este Evaluarea Asincronă. Decuplezi complet validarea de training loop. Nodurile de training nu se pun pe pauză niciodată. Ele calculează constant gradienți, fac update la weights și fac stream la checkpoint-urile modelului către un pool separat și dedicat de noduri de evaluare. În implementarea ScaleFold, din aproximativ 2.000 de GPU-uri, doar 32 au fost dedicate evaluării. Restul nu au făcut altceva decât training. Totuși, mutarea evaluării pe noduri separate introduce un race condition. Nodurile de evaluare trebuie să termine de validat un checkpoint înainte ca nodurile de training să-l producă pe următorul. Dacă evaluarea rămâne în urmă, pipeline-ul tău se blochează. Pentru a garanta că nodurile de evaluare țin pasul, sistemul bypass-ează complet stocarea pe disk. Întregul dataset de evaluare este ținut în cache direct în DRAM-ul CPU-ului pe nodurile de validare. Prin eliminarea overhead-ului de dispatch al CPU-ului cu CUDA Graphs ținute în cache și prin offloading-ul validării către noduri asincrone cu memoria în cache, pipeline-ul nu se oprește niciodată. Hardware-ul este în sfârșit saturat. Când faci arhitectură la scară largă, jobul tău principal nu mai este optimizarea matematicii; jobul tău principal este să nu lași GPU-urile să aștepte. Asta e tot pentru astăzi. Mersi că m-ai ascultat — du-te și construiește ceva cool.

Salut, sunt Alex de la DEV STORIES DOT EU. AlphaFold: Protein Structure Prediction, episodul 21 din 21. Ani de zile, industria a presupus că predicția structurii unei proteine necesită designuri custom de rețele neuronale, incredibil de specializate. Aveai nevoie de multiple sequence alignments, reprezentări explicite ale perechilor și triangle updates foarte costisitoare computațional doar pentru a obține un rezultat viabil. Dar dacă un transformer standard, generic, ar putea face exact aceeași treabă? Răspunsul este un concept numit flow-matching cu SimpleFold. Paper-ul SimpleFold de la Apple introduce o schimbare radicală față de arhitecturile rigide pe care le-am văzut în modelele tradiționale de folding. Elimină complet euristicile domain-specific. Modelele tradiționale fac hard-code intuiției biologice în rețea. Ele folosesc multiple sequence alignments pentru a găsi indicii evolutive și triangle updates pentru a impune reguli geometrice. Asta necesită resurse masive de compute și o inginerie extrem de specializată. SimpleFold abandonează aceste mecanici, optând în schimb pentru un model generativ de flow-matching construit exclusiv pe transformer blocks general-purpose. SimpleFold tratează folding-ul ca pe un task generativ condiționat. Gândește-te la modelele text-to-image, unde un text prompt ghidează generarea unei imagini. Aici, secvența de aminoacizi este prompt-ul, iar output-ul este structura tridimensională de coordonate all-atom. Obține asta folosind flow-matching. Flow-matching generează date prin definirea unui path continuu de la o distribuție simplă de noise la o distribuție complexă de date. În timpul training-ului, modelul învață un velocity field dependent de timp. Integrează o ecuație diferențială ordinară în timp, mutând treptat random noise-ul către coordonatele atomice reale. Procesul începe atunci când un protein language model pre-antrenat și frozen, mai exact ESM2, convertește secvența de aminoacizi de input într-un sequence embedding. În același timp, un atom encoder preia coordonate atomice cu noise și le procesează în atom tokens. Aici este ideea cheie. În loc să mențină pairwise interaction maps complexe și memory-heavy, SimpleFold folște o operațiune de grupare. Pur și simplu face media atom tokens-urilor care aparțin aceluiași reziduu într-un singur residue token. Aceste residue tokens sunt concatenate cu sequence embeddings și pasate în residue trunk. Acest trunk conține cea mai mare parte a parametrilor modelului. Este alcătuit în întregime din transformer blocks standard, cu layere adaptive condiționate de timestep-ul de flow. Nu există module geometrice echivariante și nici triangular math. Doar operațiuni standard de attention și scaling. În cele din urmă, o operațiune de ungrouping face broadcast la residue tokens actualizate înapoi către atomii lor individuali. Un atom decoder prezice apoi velocity field-ul pentru a actualiza pozițiile finale ale atomilor. În timpul training-ului, sistemul nu face sample la timp în mod uniform. Face un oversampling puternic pe timestep-urile mai apropiate de clean data manifold. Deoarece structurile proteinelor au o ierarhie strictă coarse-to-fine, acest focus de late-stage forțează modelul să învețe structuri extrem de rafinate, inclusiv side chains delicate. În plus, deoarece modelul folosește un obiectiv generativ în loc de un obiectiv de regresie deterministă, acesta capturează în mod natural incertitudinea. Dacă treci aceeași secvență prin SimpleFold de mai multe ori, poate genera un ansamblu de conformații valide diferite, reflectând cu exactitate modul în care proteinele se mișcă și există de fapt în natură. SimpleFold dovedește că, dacă mapezi corect problema, un transformer general-purpose poate învăța fizica din spatele folding-ului de proteine direct din date. Te încurajez să citești paper-ul, să explorezi documentația oficială și să încerci să rulezi codul pe propriul tău hardware. De asemenea, poți vizita devstories.eu pentru a sugera subiecte pentru următoarea noastră serie. Asta e tot pentru acest episod. Îți mulțumesc că ai ascultat și continuă să construiești!