Yapay zeka dünyası son yıllarda büyük dil modellerinin parametre sayısını artırarak performans kazanma stratejisine endeksli bir yarışa dönüştü. GPT-4'ün yüz milyarlarca parametresi, Llama'nın 400 milyar parametreli varyantları ve DeepSeek'in trilyon parametreli devasa modelleri, "büyüklük eşittir güç" felsefesinin ürünleri. Ancak Singapur merkezli araştırma şirketi Sapient Intelligence, tamamen farklı bir yoldan ilerleyerek bu paradigmayı sorguluyor. Şirketin duyurduğu HRM-Text, 1.15 milyar parametrelik hiyerarşik akıl yürütme modeli, ölçek yerine mimari yeniliğin daha verimli olabileceğini kanıtlıyor.
HRM-Text Nedir?
HRM-Text, Hierarchical Reasoning Model mimarisi üzerine kurulu, 1.15 milyar parametrelik bir dil modeli. Geleneksel Transformer tabanlı modellerden farklı olarak, akıl yürütme sürecini latent uzayda gerçekleştiriyor. Yani model, düşünme aşamasını görünür metin dizileri yerine içsel hesaplama katmanlarında tamamlıyor. Bu yaklaşım, modelin daha derin akıl yürütme yapabilmesini sağlarken çıktıyı kısa ve verimli tutuyor.
Sapient Intelligence, HRM-Text'i tamamen açık kaynak olarak yayımladı. Model ağırlıkları, eğitim kodu ve veri işleme boru hattı GitHub üzerinde erişime açık durumda. Bu, araştırmacıların ve geliştiricilerin modeli kendi donanımlarında çalıştırıp incelemesine olanak tanıyor. Açık kaynak topluluğu, modeli özelleştirip sektör-specific ince ayarlar yapabilir.
Temel Özellikler
- 1.15 milyar parametre ile geleneksel Transformer modellerinin çok üzerinde akıl yürütme performansı
- ~40 milyar token ile eğitilmiş, klasik modellerin kullandığı 4-36 trilyon tokenın 1000'de biri
- Yaklaşık 1000 dolar maliyetle 16 GPU üzerinde bir günde önceden eğitilebilir
- 0.6 GiB int4 kuantizasyon ile akıllı telefonlarda bile çalışabilir boyut
- Tamamen açık kaynak: model ağırlıkları, eğitim kodu, veri işleme boru hattı
- PrefixLM sequence packing ve FlashAttention 3 kernel desteği
- PyTorch FSDP2 ile dağıtık eğitim desteği
Mimari: Beyin Nasıl Çalışıyorsa Öyle
HRM-Text'in mimarisi, insan beyninin yavaş düşünce ve hızlı algı süreçlerini ayırmasından ilham alıyor. Nörobilim araştırmaları, insan beyninin karar verme süreçlerinde iki farklı bilişsel sistem kullandığını gösteriyor: Sistem 1 hızlı, sezgisel ve otomatik; Sistem 2 yavaş, deliberatif ve analitik. HRM-Text bu ayrımı mimari düzeyde implemente ediyor.
Model iki ana bileşenden oluşuyor:
Yüksek Seviye Denetleyici (H-Stack)
H-Stack, soyut planlama ve akıl yürütmeden sorumlu. Bir ileri geçiş sırasında 2 güncelleme yapan H-Stack, modelin "bütünü görme" kapasitesini temsil ediyor. Daha az sıklıkla güncelleniyor ancak her güncellemede daha derin kavramsal işleme gerçekleştiriyor. Bu, beynin prefrontal korteksinin karar verme ve planlama fonksiyonuna benzetilebilir.
Düşük Seviye İşleyici (L-Stack)
L-Stack ise ayrıntılı hesaplamaları ve hızlı işlemeleri yönetiyor. Her ileri geçişte 6 güncelleme yapan L-Stack, modelin "hızlı ve pragmatik" yanı olarak düşünülebilir. H-Stack'ten gelen kavramsal yönlendirmeleri detaylandırıyor ve uyguluyor. Bu, beynin motor korteks ve duyusal işleme bölgelerinin hızlı tepki verme kapasitesine benzer.
Çapraz Seviye Bilgi Akışı
İki katman arasındaki bilgi akışı, her yineleme adımında çift yönlü gerçekleşiyor. Bu hiyerarşik ve yinelemeli yapı, modelin parametre sayısını artırmadan daha fazla hesaplama yapmasını sağlıyor. Teknik olarak, HRM-Text bir ileri geçişte toplam 8 yığın yinelemesi (2 H + 6 L) gerçekleştiriyor. Her yineleme, parametreleri yeniden kullanarak derinlik hesaplamasını artırıyor — bu, sabit bir parametre seti ile daha karmaşık akıl yürütme yapabilmenin anahtarı.
Görev Tamamlama Eğitimi: Token Tahmininden Öte
Geleneksel büyük dil modelleri, bir sonraki tokeni tahmin etmeye dayalı bir eğitim paradigması kullanıyor. Bu yaklaşımda, eğitim verisindeki her kelime — dolgu ifadeleri, işlev kelimeleri, anahtar akıl yürütme adımları — eşit ağırlıkta değerlendiriliyor. HRM-Text ise görev tamamlama paradigmasıyla eğitiliyor.
Görev tamamlama eğitiminde, model yapılandırılmış talimat-yanıt çiftlerinden öğreniyor. Sadece bir sonraki kelimeyi tahmin etmek yerine, verilen bir görevi nasıl tamamlayacağını öğreniyor. Bu, modelin yüzey dil kalıplarını ezberlemek yerine, görevleri çözme yeteneğini geliştirmesini sağlıyor. İnsanların öğrenme şekline daha yakın olan bu yaklaşım, daha az veri ile daha yetkin modeller üretiyor.
Bu eğitim stratejisi, HRM-Text'in 40 milyar token ile trilyonlarca token kullanan modellerle rekabet edebilmesinin temel nedenlerinden biri. Veri verimliliği, her tokenın öğrenme potansiyelini maksimize ederek sağlanıyor.
Performans: Rakamlar Konuşuyor
HRM-Text'in en çarpıcı yanı, küçük boyutuna rağmen büyük modellerle rekabet edebilen benchmark sonuçları. Nisan 2026'daki bağımsız doğrulamaya göre:
| Benchmark | HRM-Text (1.15B) | Açıklama |
|---|---|---|
| MATH | 56.2% | Çok adımlı matematiksel akıl yürütme |
| DROP | 82.2% | Paragraf üzerinde ayrık akıl yürütme |
| ARC-Challenge | 81.9% | Bilim ve sağduyu akıl yürütme |
| MMLU | 60.7% | 57-alan genel bilgi |
| GSM8k | 84.7% | İlkokul matematik problemleri |
| HellaSwag | 63.4% | Ortak akıl yürütme tamamlama |
| Winogrande | 72.4% | Coreference resolution |
| BoolQ | 86.2% | Boolean soru cevaplama |
Bu sonuçlar, herhangi bir ince ayar, güçlendirme öğrenmesi veya post-training olmadan, sadece temel model ile elde edilmiş. Sapient Intelligence, post-training sonrası performansın çok daha yüksek olacağını vurguluyor. Karşılaştırılan modellerin tümü kapsamlı ince ayar ve hizalama eğitimi almışken, HRM-Text'in bu sonuçları sadece mimarinin potansiyelini gösteriyor.
Ölçek Öncesi Paradigmanın Çöküşü
HRM-Text'in duyurusu, yapay zeka dünyasında daha geniş bir tartışmanın parçası. Son birkaç yılda, DeepSeek V4 gibi trilyon parametreli modeller ve Kimi K2.6 gibi devasa ajan sistemleri, "daha büyük her zaman daha iyi" felsefesiyle ilerliyordu. Llama 4 Maverick bile 400 milyar parametreli MoE mimarisiyle ölçek yarışına katılmıştı.
Ancak bu yaklaşımın maliyeti giderek artıyor. Frontier-scale modellerin eğitimi yüz milyonlarca dolara ulaşıyor, GPU kıtlığı ve enerji tüketimi ciddi darboğazlar yaratıyor. HRM-Text, bunun zorunlu olmadığını gösteriyor:
- L boyutu (0.6B): 8 H100 GPU üzerinde 50 saat, ~800 dolar eğitim maliyeti
- XL boyutu (1.15B): 16 H100 GPU üzerinde 46 saat, ~1.472 dolar eğitim maliyeti
- Tamamı açık kaynak: model ağırlıkları, eğitim kodu, veri işleme boru hattı
Bu rakamlar, bir akademik araştırma grubunun bile sınırlı bütçelerle yenilikçi mimariler denemesine olanak tanıyor. Sapient Intelligence'in resmi duyurusuna göre, şirketin uzun vadeli hedefi, istatistiksel ezberleme yerine akıl yürütme, planlama ve uyarlanabilir öğrenme kapasitesine sahip mimariler geliştirmek.
Latent Uzayda Akıl Yürütme: Zincir Düşünce Daha mı İyi?
Geleneksel büyük dil modelleri, Chain-of-Thought (CoT) yöntemiyle akıl yürütme yeteneklerini artırıyor. Bu yöntemde model, düşünme sürecini uzun metin dizileri olarak dışsallaştırıyor. "Adım adım düşün" talimatı verildiğinde, model her akıl yürütme adımını yazarak ilerliyor. Ancak bu yaklaşımın üç önemli dezavantajı var:
- Token israfı: Her adım görünür metin olarak yazılıyor, bu da hem maliyeti hem de gecikmeyi artırıyor. Uzun CoT çıktıları, çıkarım maliyetlerini 5-10 kat artırabiliyor.
- Sabit derinlik: Akıl yürütme derinliği, çıktı uzunluğuyla sınırlı kalıyor. Model ne kadar derin düşünebileceğini, ne kadar uzun yazabileceği belirliyor.
- Gizlilik kaybı: İçsel akıl yürütme süreçleri kullanıcının erişimine açılıyor. Bu, özellikle kurumsal uygulamalarda bilgi güvenliği riski oluşturuyor.
HRM-Text'in latent uzay akıl yürütme yaklaşımı bu üç sorunu da çözüyor. Model, düşünme sürecini içsel temsil uzayında tamamlıyor ve sadece sonucu dışsallaştırıyor. Bu, hem daha kısa çıktılar, hem daha derin akıl yürütme, hem de gizlilik avantajı sağlıyor. Özellikle kurumsal ve hassas veri içeren uygulamalarda, akıl yürütmenin görünmez olması kritik bir avantaj.
AI Benchmark ve Değerlendirme Çerçeveleri bağlamında düşünüldüğünde, HRM-Text'in MATH'ta 56.2% ve DROP'ta 82.2% oranları, 1 milyar parametrelik bir temel model için son derece etkileyici. Özellikle bu sonuçların ince ayar olmadan elde edilmesi, mimarinin tavan performansının çok daha yüksek olabileceğini gösteriyor.
Uç Cihazlarda Akıl Yürütme: Neden Önemli?
HRM-Text'in int4 kuantizasyonda 0.6 GiB boyuta ulaşması, akıllı telefonlar ve IoT cihazları gibi kaynak kısıtlı ortamlarda çalışabileceği anlamına geliyor. Bu, yapay zeka dünyasında üç önemli trende hitap ediyor:
Gizlilik ve Veri Egemenliği
HRM-Text akıl yürütme işlemlerini cihaz üzerinde gerçekleştirebildiğinden, sağlık, finans ve hukuk gibi hassas verilerin buluta gönderilmesi gerekmiyor. Bu, Edge AI konseptinin en güçlü argümanlarından biri. Kurumsal müşteriler, veri egemenliği gereksinimlerini karşılamak için yerel akıl yürütme modellerine ihtiyaç duyuyor.
Enerji Verimliliği
Büyük modellerin çıkarım maliyetleri, eğitime ek olarak ciddi bir operasyonel sorundur. Bir GPT-4 çıkarım çağrısının enerji tüketimi, HRM-Text gibi kompakt bir modelin çıkarımından yüzlerce kat daha fazla olabilir. Bu, Yeşil AI ve sürdürülebilirlik hedefleriyle uyumlu. Küresel çapta milyarlarca API çağrısı yapılan bir dünyada, enerji verimliliği bir lüks değil zorunluluk.
Bağlantısız Çalışma
İnternet erişiminin sınırlı olduğu ortamlarda — gelişmekte olan pazarlar, saha çalışmaları, askeri uygulamalar, denizcilik ve havacılık — uç cihazlarda çalışan akıl yürütme modelleri kritik önem taşıyor. HRM-Text'in 0.6 GiB'lık boyutu, bir mobil uygulamanın içinde çalışabilecek kadar kompakt.
Araştırma Ekibi ve Gelecek Vizyonu
Sapient Intelligence'in araştırma ekibi, DeepMind, DeepSeek ve xAI gibi kuruluşlardan gelen katkımcılar ile MIT, Carnegie Mellon, Tsinghua ve Cambridge gibi üniversitelerle bağlantılı araştırmacılardan oluşuyor. Bu çeşitlilik, modelin mimarisinin farklı disiplinlerin birikimini yansıttığını gösteriyor.
Şirket, HRM mimarisinin uzun vadeli hedefinin Yapay Genel Zeka (AGI) olduğunu vurguluyor. İstatistiksel ezberleme yerine akıl yürütme, planlama ve uyarlanabilir öğrenme kapasitesine sahip mimariler geliştirmeyi hedefleyen Sapient, ölçek yarışının tek yol olmadığını kanıtlamaya çalışıyor. HRM-Text'in duyurusu ile birlikte şirket, araştırma makalesini de yayımladı ve arXiv üzerinden erişime sundu.
Gelecek planları arasında, vLLM desteği ile üretim ortamlarında daha verimli çıkarım, Transformers formatı yerel desteği ile Hugging Face ekosistemine daha yakın entegrasyon ve ince ayar veri setleri ile performans artışı yer alıyor. Bu adımlar, HRM-Text'in bir kavram kanıtı olmaktan çıkıp üretim kalitesinde bir çözüme dönüşmesini sağlayacak.
Sonuç: Küçük Model, Büyük Fikir
HRM-Text, yapay zeka araştırmasında önemli bir paradigma değişiminin işareti. Daha fazla parametre ve daha fazla veri ile ilerlemek her zaman mümkün olsa da, HRM-Text gösteriyor ki mimari yenilik, verimli veri kullanımı ve hiyerarşik akıl yürütme ile çok daha kompakt modeller rekabetçi performans sergileyebilir.
GPU kıtlığı, enerji maliyetleri ve azalan verimlilik getirisinin giderek daha fazla konuşulduğu bir ortamda, HRM-Text gibi "daha akıllı, daha verimli" yaklaşım, geleceğin yapay zeka geliştirmelerinde ana akım haline gelebilir. 1 milyar parametre ile trilyon parametreli modellerle yarışabilmek, sadece bir başarı değil — yeni bir mimari felsefenin doğrulanması.
Açık kaynak topluluğu, modeli inceleyip özelleştirebilir. Kurumsal kullanıcılar, gizlilik gereksinimlerini karşılayabilir. Araştırmacılar, yeni mimari fikirleri düşük maliyetle deneyebilir. HRM-Text, yapay zekanın geleceğinin sadece büyüklükte değil, akıllıkta yattığının kanıtı.
Açık Kaynak Ekosistemi ve Topluluk Katkısı
HRM-Text'in açık kaynak olarak sunulması, modelin erişilebilirliğini ve uyarlanabilirliğini büyük ölçüde artırıyor. GitHub deposu yalnızca model ağırlıklarını değil, aynı zamanda tam bir ön eğitim çerçevesi içeriyor: PrefixLM sequence packing, FlashAttention 3 kernel entegrasyonu ve PyTorch FSDP2 ile dağıtık eğitim desteği. Bu, araştırmacıların modeli sıfırdan eğitmelerine olanak tanıyor.
Modelin Hugging Face üzerinde de dağıtımı yapılıyor. sapientinc/HRM-Text-1B sayfasından model ağırlıkları ve Transformers uyumlu format indirilebilir. vLLM desteği geliştirme aşamasında olduğundan, üretim ortamlarında çıkarım için şu an Hugging Face Transformers kütüphanesi kullanılabiliyor.
Özellikle dikkat çekici olan nokta, eğitim veri işleme boru hattının da açık kaynak olması. data_io modülü, ham metin verisini temizleme, tokenizasyon ve tabakalı örnekleme adımlarından geçiriyor. Bu, veri hazırlığının model performansındaki kritik rolünü anlamak isteyen araştırmacılar için değerli bir kaynak.
Eğitim süreçleri hakkında bir diğer önemli detay, EMA (Exponential Moving Average) ağırlıklarının varsayılan olarak kullanılması. İnce ayar sırasında, ön eğitim EMA tamponunu modele takas edip taze bir optimize edici başlatmak mümkün — bu, ince ayar performansını artıran bilinen bir teknik.
Sonuç: Küçük Model, Büyük Fikir
HRM-Text, yapay zeka araştırmasında önemli bir paradigma değişiminin işareti. Daha fazla parametre ve daha fazla veri ile ilerlemek her zaman mümkün olsa da, HRM-Text gösteriyor ki mimari yenilik, verimli veri kullanımı ve hiyerarşik akıl yürütme ile çok daha kompakt modeller rekabetçi performans sergileyebilir.
GPU kıtlığı, enerji maliyetleri ve azalan verimlilik getirisinin giderek daha fazla konuşulduğu bir ortamda, HRM-Text gibi "daha akıllı, daha verimli" yaklaşım, geleceğin yapay zeka geliştirmelerinde ana akım haline gelebilir. 1 milyar parametre ile trilyon parametreli modellerle yarışabilmek, sadece bir başarı değil — yeni bir mimari felsefenin doğrulanması.
Açık kaynak topluluğu, modeli inceleyip özelleştirebilir. Kurumsal kullanıcılar, gizlilik gereksinimlerini karşılayabilir. Araştırmacılar, yeni mimari fikirleri düşük maliyetle deneyebilir. HRM-Text, yapay zekanın geleceğinin sadece büyüklükte değil, akıllıkta yattığının kanıtı.
HRM-Text açık kaynak kodu ve model ağırlıkları GitHub üzerinden erişilebilir durumda. Araştırma makalesi ise arXiv'de yayımlanmıştır.
