Nástroj, nie náhrada

Devin je pôsobivý, ale stále potrebuje seniorný dohľad. Rolu programátora to mení z kódovania na architektúru a code review. Marec priniesol virálne videá o "prvom AI softvérovom inžinierovi" od Cognition Labs.

Čo Devin dokáže?

Devin má prístup k terminálu, browseru a editoru. Vie:

• Prečítať si issue na GitHube.
• Pochopiť codebase a stiahnuť repozitár.
• Naplánovať zmeny v krokoch.
• Napísať a spustiť testy.
• Opraviť chyby na základe výstupu z terminálu.

Hype vs. Realita

V praxi sa ukázalo, že Devin je skvelý na izolované úlohy (napr. "aktualizuj knižnicu X a oprav breaking changes"), ale stráca sa v komplexných systémoch s množstvom business logiky, ktorá nie je v kóde, ale v hlavách ľudí.

SWE-bench Benchmark

Devin vyriešil 13.86% problémov z reálnych open-source projektov bez pomoci. Pre porovnanie, predchádzajúci najlepší model mal 1.96%. Je to obrovský skok, ale stále to znamená, že 86% úloh nezvládol.

Kľúčové zistenia

• Agentic Workflow: Budúcnosť nie je chat, ale agent, ktorý má nástroje.
• Seniorita: Hodnota skúseného vývojára rastie. Junior úlohy budú automatizované.
• Produktivita: 10x inžinier už nie je mýtus.