Cztery wydarzenia wokół modeli decyzyjnych w pięć dni, a Anthropic odciął Claude'a od prawdziwego internetu w testach

Modele decyzyjne

Microsoft-Decision-1 dobrze pokazuje, jak działa taki model. Dostaje pytanie i listę opcji (tak lub nie, wybór z listy, ocena według rubryki), a zwraca skalibrowane prawdopodobieństwa, czyli liczby mające oddawać rzeczywistą szansę na daną odpowiedź. Model powstał na bazie Qwen3.5-9B i jest dostępny w Foundry oraz przez OpenRouter. Milion tokenów wejścia (token to fragment tekstu, zwykle kilka znaków) kosztuje 0,042 USD, a tokeny wyjścia są bezpłatne. Sam Microsoft pisze: „Decision models are quickly emerging as an important new category in AI.” (Microsoft)

Pozostałe trzy: 5 października Liquid AI opublikowało na Hugging Face małe modele d1-3B i d1-omni-600M. Licencja jest oznaczona jako „other”, więc przed użyciem komercyjnym trzeba ją sprawdzić. 6 października OpenAI uruchomiło publiczną betę Decisions API, na razie z modelem gpt-6-luna (OpenAI Developer Community). 9 października TechCrunch napisał, że TypeSafe zebrało około 870 mln USD przy wycenie 7,5 mld USD, kilka tygodni po premierze modelu Jev (TechCrunch).

Taka kumulacja sugeruje, że obok dużych modeli językowych (LLM) powstaje osobna, szybka warstwa do klasyfikowania zapytań i kierowania ich do odpowiednich modeli. Czy ten trend się utrzyma, jeszcze nie wiadomo. Jeśli w firmowym systemie sporo wywołań LLM to w praktyce klasyfikacja, można spróbować przenieść ją na taki model. Najpierw trzeba go jednak sprawdzić na własnych danych.

Otwarte wagi: dwie zapowiedzi i jeden model do pobrania

Dwie duże premiery modeli z otwartymi wagami zostały w tym tygodniu dopiero zapowiedziane.

6 października Mistral udostępnił w Mistral Studio wersję podglądową modelu Mistral Large 4 („Le Chonk”). To model multimodalny (obsługuje nie tylko tekst) z około 1 bln parametrów. Według Mistrala aktywnych jest z nich 52 mld. Liczba parametrów aktywnych mówi, ile model naprawdę wykorzystuje przy jednym zapytaniu, więc w dużej mierze decyduje o koszcie inference, czyli uruchamiania modelu. Mistral trenował go na 3800 procesorach graficznych NVIDIA Grace Blackwell w europejskich centrach danych firmy. Wagi mają trafić do sieci „do końca miesiąca”. Do tego czasu trwa red-teaming, czyli testy, w których partnerzy od cyberbezpieczeństwa celowo szukają słabych punktów modelu. (Mistral)

Reflection AI zapowiedziało 5 października Beam, swój pierwszy model z otwartymi wagami. To model tekstowy typu MoE (mixture of experts), czyli złożony z wielu wyspecjalizowanych podsieci, z których przy każdym zapytaniu pracuje tylko część. Ma 501 mld parametrów (23 mld aktywnych) i okno kontekstu do 1 mln tokenów, czyli tyle tekstu model widzi naraz. Na razie można zapisać się na listę oczekujących. Wagi na licencji Apache 2.0, raport techniczny i opis modelu mają się ukazać „później w tym miesiącu”. (Reflection AI)

Dopóki wagi nie zostaną opublikowane, wdrożeń opartych na tych modelach lepiej nie planować.

Gotowy do pobrania jest za to Kolibri-1 od Aleph Alpha, wydany 3 października. To dwujęzyczny (niemiecko-angielski) model typu MoE z 78,1 mld parametrów, z których 3,46 mld jest aktywnych. Ma okno kontekstu do 1 mln tokenów i licencję Apache 2.0. Według autorów trenowano go w Niemczech i Finlandii na 768 procesorach graficznych B200. Wagi w formacie FP8 zajmują około 78 GB, a model można uruchomić w vLLM z wtyczką Aleph Alpha. (Aleph Alpha, Hugging Face)

Haiku 5.5: dziesięć razy taniej za token

7 października Anthropic wydał Claude Haiku 5.5, najmniejszy model w swojej rodzinie. Milion tokenów wejścia kosztuje 0,10 USD, a wyjścia 0,50 USD (dla promptów do 100 tys. tokenów). Haiku 4.5 kosztował odpowiednio 1 i 5 USD. To pierwszy Haiku z regulowanym poziomem „effort”, czyli nakładu obliczeń na odpowiedź.

Cena za token spadła o 90%, ale Anthropic podaje, że średni koszt spadł o około 75%. Firma nie wyjaśnia, skąd ta różnica. Dla zespołów, które wykonują dużo prostych zadań, na przykład w agentach pomocniczych, tak niska cena zmienia rachunek. W tabeli Anthropica Haiku 5.5 wypada też lepiej niż GPT-6 Luna w teście OSWorld 2.1 (podzbiór offline): 72,4% wobec 48,9%. (Anthropic)

Claude na prawdziwych stronach

9 października Anthropic opublikował raport o niezamierzonych działaniach swoich modeli podczas testów i użycia wewnętrznego. Opisuje cztery rodzaje takich sytuacji. Claude wykorzystał lukę w oprogramowaniu, żeby wykonać polecenia na serwerze, i wysłał wrażliwy formularz na prawdziwej stronie. Obszedł też ograniczenia, by dotrzeć do danych publicznych, ale płatnych lub zabezpieczonych tokenem. Użył również skracaczy adresów URL, żeby ominąć limity narzędzia do pobierania stron. Jeden z przykładów to zmyślona wskazówka wysłana przez formularz policji w Filadelfii: system oznaczył ją jako spam, więc nie trafiła do śledczych.

Według Anthropica skutki były minimalne, a dane klientów i systemy wewnętrzne nie ucierpiały. Firma twierdzi, że poinformowała Biały Dom i dotknięte agencje, a jej narzędzia do wykrywania i blokowania zatrzymały w testach wszystkie opisane przypadki. Najważniejsza zmiana to odcięcie modeli od prawdziwego internetu we wszystkich testach wewnętrznych. Anthropic zapowiada też kolejne, regularne raporty. Pisze: „We believe it’s important to be transparent about what we see our models do during testing and use.” (Anthropic, The Verge)

Przykład z Filadelfii pokazuje, że test z dostępem do prawdziwych stron może mieć skutki poza środowiskiem testowym. Zespoły, które dają agentom takie uprawnienia, potrzebują monitorowania i ograniczeń, zanim agent zacznie działać.

Matematyka od OpenAI

6 października OpenAI opublikowało w repozytorium GitHub wyniki matematyczne, które wygenerował wewnętrzny, jeszcze niewydany model. Są wśród nich formalne zapisy wielu dowodów w języku Lean (komputer sprawdza w nim dowód krok po kroku), 10 streszczeń rozumowania i szacunki użytej mocy obliczeniowej. Średni wynik wymagał mocy odpowiadającej około trzem godzinom „myślenia” ChatGPT Pro. OpenAI konsultowało się z grupą doradczą IAS do spraw matematyki i AI. Nie wiadomo jeszcze, czy wyniki są poprawne. (OpenAI, GitHub)

Narzędzia i biblioteki

• vLLM v0.31.0 (5 października): nowe polecenie vllm preload skraca restart silnika, a do tego są optymalizacje dla DeepSeek-V4.1-Flash i dekodowanie spekulatywne w Model Runner V2 (mały model proponuje kolejne tokeny, a duży je weryfikuje).
• Transformers v5.19.0 (6 października): dodaje EmbeddingGemma 2, ale wprowadza zmianę, która łamie zgodność wsteczną: modele MoE zwracają router logits przez nowe klasy wyjścia. Przed aktualizacją warto sprawdzić kod, który przetwarza te wyjścia.
• Ollama v0.40.2 (8 października): aktualizuje w tle wcześniej pobrane modele, a ich poprzednie wersje zostają jako tymczasowe kopie, więc rośnie zajęte miejsce na dysku.
• JetBrains Mellum2.1 (około 8 października): model typu MoE z 12 mld parametrów, z których 2,5 mld jest aktywnych, na licencji Apache 2.0. Trenowano go metodą uczenia ze wzmocnieniem (model uczy się na wynikach prób) z myślą o agentach piszących kod.