V mém úvodním článku o počítačové lingvistice jsem zmiňoval, že jsem pro svou diplomku zvolil mezioborové téma, kde jsem propojil velké jazykové modely s bioinformatikou a genetikou. Popíšu, co se pod tím vlastně skrývá a na čem jsem posledních několik měsíců pracoval.
V práci jsem se věnoval automatické interpretaci zmínek o genetických variantách v biomedicínské literatuře za využití velkých jazykových modelů (LLM). Vytvořil jsem open-source webovou aplikaci, která pomáhá molekulárním genetikům zefektivnit jejich každodenní práci při vyhodnocování patogenicity genetických mutací u pacientů.
Stejně jako u mých dobrovolnických aktivit v Hnutí Brontosaurus (více zde), kde je pro mě důležité vidět za sebou hmatatelný výsledek, jsem i u diplomky chtěl vytvořit něco praktického.
Vybral jsem si oblast medicíny a bioinformatiky, protože mi dává smysl technologie používat tam, kde opravdu někomu můžou pomoct.
K finálnímu tématu jsem se dostal postupně a musím říct, že jsem byl až překvapený, jak odborně zaměřený jsem skončil, ale vzal jsem to jako výzvu.
Na konzultacích s odborníky z CEITECu jsme si vydefinovali, v čem bych jim mohl pomoci. Molekulární genetici dostávají tabulky mutací nalezených u pacientů a u těch méně známých musí ručně procházet vědecké články, aby zjistili, zda jsou mutace nebezpečné. Tento proces je zdlouhavý a náročný, protože článků je příliš mnoho. Výsledná webová aplikace procházení článků urychluje a zefektivňuje.
Diplomová práce pro mě byla zkouškou v několika oblastech. Ukázala mi, že:
Dokážu dotáhnout projekt samostatně do konce: Od počáteční analýzy požadavků uživatelů přes návrh architektury, potýkání se s chybějící dokumentací k API až po nasazení funkčního prototypu jako webové aplikace.
Získal jsem nové technické skilly: Naučil jsem se pomocí pydantic-ai validovat outputy z modelů, nasadil aplikaci přes Docker na Koyeb a procvičil si psaní promptů a parsování XML a JSONů.
Zvládnu se zorientovat v mně neznámém oboru: Nevěděl jsem, co je napříkald HGVS nomenklatura nebo ACMG/AMP guidelines či jaký je rozdíl mezi PubMed a MEDLINE – ale zjistil jsem si to a dokázal to využít.
Těším se, až nabyté zkušenosti zhodnotím v další praxi!
]]>In my introductory article on computational linguistics, I mentioned that I had chosen an interdisciplinary topic for my master’s thesis, linking large language models with bioinformatics and genetics. I will describe what exactly lies behind this and what I have been working on for the past few months.
In my thesis, I focused on the automatic interpretation of genetic variant mentions in biomedical literature using large language models (LLMs). I developed an open-source web application that helps molecular geneticists streamline their daily workflow when assessing the pathogenicity of genetic mutations in patients.
Just like with my volunteering activities in Hnutí Brontosaurus (more here), where it is essential for me to see a tangible result behind my work, I wanted to create something practical for my thesis as well.
I chose the field of medicine and bioinformatics because it makes sense to me to use technology where it can truly help someone.
I reached the final topic gradually, and I must admit I was quite surprised by how specialized it turned out to be, but I took it as a challenge.
During consultations with experts from CEITEC, we defined how I could help them. Molecular geneticists receive tables of mutations found in patients, and for the lesser-known ones, they must manually go through scientific articles to determine whether the mutations are dangerous. This process is tedious and demanding because there are simply too many papers. the resulting web application accelerates and streamlines article browsing.
The master’s thesis was a test for me in several areas. It showed me that:
I can drive a project to completion independently: From the initial user requirements analysis through architecture design, dealing with missing API documentation, all the way to deploying a functional prototype as a web application.
I acquired new technical skills: I learned to validate model outputs using pydantic-ai, deployed the application via Docker to Koyeb, and practiced prompt engineering alongside XML and JSON parsing.
I can orient myself in an unfamiliar field: I did not know what HGVS nomenclature or ACMG/AMP guidelines were, or what the difference was between PubMed and MEDLINE – but I looked it up and managed to put it to use.
I look forward to leveraging the experience gained in my future professional practice!
The text of the thesis is available here, and the full code can be found on my GitHub here.
]]>Když zrovna nesedím u kódu nebo jazykových dat, s největší pravděpodobností mě potkáte někde v přírodě s Hnutím Brontosaurus. Organizuji tam akce pro mladé lidi, jezdím jako účastník a pomáhám tam, kde je zrovna potřeba.
V Brontosauru kombinujeme smysluplnou práci (jako je kosení chráněných luk nebo oprava hradů) se zážitkovou pedagogikou – tedy s učením se skrze hry, a následnou reflexi. Tento mix mě hrozně baví. Člověk má dobrý pocit z odvedené práce, stráví příjemný čas venku a rozvíjí se u toho.
Nejlépe se to ukazuje na konkrétním příkladu. Minulý rok jsme se dvěma kamarádkami od nuly vymysleli a zorganizovali víkendovku v Krkonoších. Pro představu, co všechno obnáší takovou akci zaštítit:
Výsledkem bylo 20 spokojených účastníků, jedna pokosená louka a pro mě skvělá lekce v tom, jak dotáhnout projekt od prvního nápadu do konce.
Moje zapojení ale nekončí u víkendovek. Prošel jsem naším organizátorským kurzem a už třetím rokem jsem součástí týmu, který tento kurz připravuje pro další účastníky. Domlouvám externí lektory, mám na starost komunikaci s účastníky, dělám propagaci a občas sám přednáším nebo vedu týmové schůzky.
Dobrovolnictví mi dává obrovský prostor pro rozvoj soft skills. Naučilo mě to vést lidi, přebírat zodpovědnost, nebát se prezentovat před skupinou a hlavně – nezbláznit se, když věci nejdou přesně podle plánu.
Věřím, že tyhle zkušenosti z reálného světa dokážu skvěle zúročit v jakémkoliv pracovním týmu.
]]>When I am not sitting in front of code or linguistic data, you are most likely to encounter me somewhere out in nature with Hnutí Brontosaurus. I organize events there for young people, participate as an attendee, and help out wherever it is necessary.
In Brontosaurus, we combine meaningful work (such as mowing protected meadows or restoring castles) with experiential learning – that is, learning through games, followed by reflection. I thoroughly enjoy this mix. You get a good feeling from hard work, spend pleasant time outdoors, and grow in the process.
This is best illustrated with a specific example. Last year, two friends and I conceived and organized a weekend event in the Krkonoše Mountains from scratch. To give you an idea of what it takes to spearhead such an event:
The results were 20 satisfied participants, one mowed meadow, and a great lesson for me in how to see a project through from the very first idea to completion.
However, my involvement does not end with weekend events. I completed our course for organizators and have been part of the team that prepares this course for next participants for three years now. I arrange external lecturers, manage communication with participants, handle PR and marketing, and occasionally give lectures myself or lead team meetings.
Volunteering provides me with an immense space for developing soft skills. It has taught me to lead people, take responsibility, not be afraid to present in front of a group, and above all – not to panic when things do not go exactly according to plan.
I believe that I can leverage these real-world experiences excellently within any professional team.
]]>Vystudoval jsem počítačovou lingvistiku. A s tím se pojí, že jsem nesčetněkrát odpovídal na dotaz, co že přesně to studuju. Moje oblíbená odpověď byla: „Co myslíš?“. Tak jsem se většinou dozvěděl, že „asi… nějaký… jakože studování těch, programovacích jazyků?!“. No, tak to není:)
V tomhto článku bych tedy rád přiblížil, co počítačová lingvistika je a co znamenala pro mě.
Když jsem chtěl tázajícím odpovědět stručně, říkal jsem, že je to něco mezi informatikou a lingvistikou. Většinou pořád tápali, tak jsem dodal, že je to o tom „naučit počítače přirozený jazyk, jakože strojový překlad, sumarizace textu, velké jazykové modely a tak“. Tady se už většinou objevil spokojený úsměv, že si můj obor někam zařadili a konverzace pokračovala vesele dál jiným tématem.
Říkal jsem pravdu, ale dost zjednodušenou.
Počítačová lingvistika spadá pod matematickou lingvistiku - vědní obor, který aplikuje matematiku, logiku a statistiku na zkoumání jazyka. Cílem je kvantitativně a vědeckou metodou popsat jazyk jako systém.
Počítačová lingvistika je pak ta část, která používá pro zpracování jazyka počítač - takto prostě se v názvu objevilo to „počítačová“. Anglický termín je computational linguistics - a můj osobní názor je, že lepší název by byla komputační lingvistika, tedy že jde o počítání (statistiku), ne počítače (jako ty bedny), ale co naplat.
Celé to začalo v 60. letech 20. století. Prvními úlohami bylo zkoumání frekvence jazykových jevů a rané pokusy o strojový překlad (byť brzy došlo k vystřízlivění, že je to obtížnější, než se zdá). Vznikají také první korpusy, tj. velké uspořádané soubory jazykových dat uložené elektronicky. Korpusy umožňují zkoumání jazyka na reálných datech v přirozeném kontextu a v dříve nemyslitelném rozsahu. Pro lingvistiku to je tak obří skok od intuice k vědě založené na důkazech (tzv. evidence-based).
Vedle analýzy dat je hlavním pilířem oboru počítačové zpracování přirozeného jazyka (NLP), tedy ona snaha přesvědčit stroje, aby rozuměly lidské řeči. Při řešení problémů v NLP (generování textu, analýza sentimentu, sumarizace textu, určení autorství) se vedle sebe objevují dva přístupy:
Pravidlový přístup vyžaduje detailní lingvistickou znalost, statistický přístup už ne tolik. Velmi zhruba se dá říct, že dříve se používalo mnoho různých pravidlových systémů, občas v kombinaci se statistikou nebo klasickým strojovým učením. S příchodem velkých jazykových modelů a zejména s představením ChatGPT pro veřejnost na podzim 2022 přišel zlom. Ukázalo se, že metoda „hodně dat a hodně výpočetního výkonu“ řeší všechny úkoly v NLP srovnatelně či lépe než nejsofistikovanější specializovaný pravidlový systém.
Zdá se tak, že lingvistika v NLP v současném světě AI už nemá svoje místo. Opak je ale pravdou. Tak například platí, že „model je jen tak dobrý, jak dobrá má vstupní data“ a někdo taky musí kontrolovat kvalitu výstupu; a oboje vyžaduje znalost jazyka. Faktem zůstává, že být dnes počítačovým lingvistou znamená stát se tím, kdo AI aktivně ovládá, a ne tím, kdo jí bude nahrazen.
Studovat jsem začal v roce 2021, takže jsem tento historický zlom žil v přímém přenosu. A věřím, že jsem dělal vše pro to, abych stál na té straně, která AI systémy řídí a krotí.
Počítačová lingvistika na Masarykově univerzitě je unikátní tím, že spadá pod Filozofickou fakultu, ale část předmětů garantuje Fakulta informatiky. Díky tomu jsem si mohl vzít to nejlepší z obou světů: z „fildy“ humanitní nadhled, komunikační schopnosti a kritické myšlení, z informatiky zase analytický přístup a tvrdé technické dovednosti.
V rozvrhu se mi tak potkávala typologie jazyků a historická mluvnice češtiny s programováním v Pythonu a Javě, teorií grafů, databázemi a strojovým učením. Tuhle mezioborovost jsem nakonec dotáhl nejdál při psaní své diplomové práce, kde jsem velké jazykové modely využil v oblasti bioinformatiky a genetiky.
Ale o tom zas někdy příště.
]]>I graduated in computational linguistics. Along with that comes the fact that I have answered the question of what exactly it is that I study countless times. My favorite response used to be: “What do you think?”. That way, I usually found out that it was “probably… some… like, studying of programming languages?!”. Well, not quite:)
In this article, I would therefore like to shed some light on what computational linguistics actually is and what it meant to me.
When I wanted to give a brief answer to those asking, I used to say it was something between informatics and linguistics. They were usually still scratching their heads, so I added that it is about “teaching computers natural language, like machine translation, text summarization, large language models, and stuff”. At this point, a satisfied smile usually appeared, showing they had categorized my field somewhere, and the conversation moved on to another topic.
I was telling the truth but a highly simplified version of it.
Computational linguistics falls under mathematical linguistics—a scientific field that applies mathematics, logic, and statistics to the study of language. The goal is to describe language as a system quantitatively and through the scientific method.
Computational linguistics is then the part that uses computers a computational power to process language—that is how simply the word “computational” made it into the name. in Czech, the term is “počítačová lingvistika” (computer linguistics)—and my personal opinion is that a better name would be “komputační lingvistika”, meaning it is about computing (statistics), not computers (as in the physical boxes), but what you can do.
It all started in the 1960s. The first tasks involved examining the frequency of linguistic phenomena and early attempts at machine translation (although a reality check soon followed, proving it to be harder than it seemed). The first corpora were also created, i.e., large, organized collections of language data stored electronically. Corpora allow the study of language on real data in a natural context and on a previously unthinkable scale. For linguistics, this was a big step from intuition to evidence-based science.
Alongside data analysis, the main pillar of the field is Natural Language Processing (NLP), which is that very effort to convince machines to understand human speech. When solving problems in NLP (text generation, sentiment analysis, text summarization, authorship attribution), two approaches appear side by side:
rule-based system: We understand the regularities of the language and design corresponding rules to capture it.
statistical approach: Language is essentially just a sequence of characters that follow each other with a certain probability, so we just need to calculate that probability using big data.
The rule-based approach requires detailed linguistic knowledge, while the statistical approach does not require as much. Very roughly speaking, many different rule-based systems used to be used in the past, sometimes combined with statistics or classic machine learning. With the advent of large language models, and especially with the public release of ChatGPT in the autumn of 2022, a turning point arrived. It turned out that the “lots of data and lots of computing power” method solves all tasks in NLP comparably to or better than the most sophisticated specialized rule-based system.
It might seem that linguistics no longer has a place in NLP within the current world of AI. However, the opposite is true. For instance, it holds that “a model is only as good as its input data”, and someone also has to check the quality of the output; both of which require language expertise. The fact remains that being a computational linguist today means becoming someone who actively controls AI, rather than someone who will be replaced by it.
I started my studies in 2021, so I lived through this historical turning point in real time. And I believe I did everything I could to stand on the side that directs and tames AI systems.
Computational linguistics at Masaryk University is unique because it falls under the Faculty of Arts, but some courses are guaranteed by the Faculty of Informatics. Thanks to this, I could take the best of both worlds: from the “arts” side, a humanities perspective, communication skills, and critical thinking; from informatics, an analytical approach and hard technical skills.
Thus, my timetable brought together language typology and the historical grammar of Czech with programming in Python and Java, graph theory, databases, and machine learning. I eventually took this interdisciplinarity the furthest while writing my diploma thesis, where I used large language models in the field of bioinformatics and genetics.
But more on that some other time.
]]>