Latent Axiom — fundamentalny model latentnego stanu użytkownika dla wielodomenowych sekwencji zdarzeń behawioralnych
Notice description
Przedmiotem zamówienia jest usługa specjalisty – Deep Learning Research Engineer do realizacji prac badawczo-rozwojowych w ramach badań przemysłowych i prac rozwojowych planowanych w projekcie.
Prace realizowane w ramach zamówienia będą dotyczyły implementacji, trenowania i ewaluacji modeli uczenia głębokiego służących samonadzorowanemu (self-supervised) uczeniu ukrytych reprezentacji sekwencji zdarzeń użytkowników w podejściu typu JEPA (joint-embedding predictive), a także prowadzenia, pod kierunkiem prowadzącego, eksperymentów badawczych w całym cyklu projektu — z najmocniejszym zaangażowaniem na etapie walidacji metody w skali proof-of-concept oraz o charakterze wykonawczym (uruchamianie, monitorowanie i ewaluacja) na etapie treningu wielkoskalowego.
Zakres prac obejmuje działania badawczo-technologiczne związane z:
• implementacją w PyTorch architektur kandydujących oraz modeli odniesienia (baseline) na podstawie najnowszych prac naukowych i wskazań prowadzącego, w tym wierną reimplementacją metod i ich adaptacją do domeny danych Zamawiającego; reimplementowany pod kierunkiem prowadzącego zestaw obejmuje w szczególności enkoder typu seq-JEPA (w tym wariant uwzględniający czas, time-aware), wariant rough-path JEPA z transformacją sygnaturową (signature transform) oraz model energetyczny (EBM) nad zamrożonym latentem, a wśród modeli odniesienia autoregresywny transformer oraz wariant JEPA bez warunkowania na akcje;
• prowadzeniem dużych, uporządkowanych matryc eksperymentów badawczych — organizacją konfiguracji, seedów i ablacji, przeszukiwaniem hiperparametrów oraz utrzymaniem powtarzalności i identyfikowalności uruchomień;
• śledzeniem, logowaniem i analizą metryk treningowych z użyciem narzędzia do śledzenia eksperymentów, w tym rejestracją składowych funkcji straty oraz wczesnych sygnałów patologii treningu;
• budową i ewaluacją lekkich tzw. "probów" oraz adapterów downstream (probing liniowy lub małe głowice MLP na zamrożonych cechach) wraz z poprawnym obliczaniem metryk ewaluacyjnych (recall@k, AUC, kalibracja);
• współudziałem w diagnozowaniu patologii treningu (kolaps reprezentacji, niestabilne gradienty, zmienność między seedami) oraz w przygotowaniu i walidacji danych do treningu i interfejsów ewaluacyjnych;
• wykonawczym wsparciem uruchamiania, monitorowania i ewaluacji treningu wielkoskalowego oraz dokumentowaniem i zwięzłym podsumowywaniem wyników.
Szczegółowy opis przedmiotu zamówienia
Zamawiający w ramach zamówienia oczekuje wykonania przez Oferenta zadań dla stanowiska specjalista – Deep Learning Research Engineer w ramach projektu, dla którego wymagania i zakres zlecenia ustala się jak poniżej.
Dla zadania 1 (badania przemysłowe — Walidacja metody uczenia uniwersalnych reprezentacji ukrytych sekwencji zdarzeń — proof-of-concept w skali do ok. 100 mln parametrów)
• Implementacja w PyTorch architektur kandydujących oraz modeli odniesienia (baseline) na podstawie najnowszych prac naukowych oraz wskazań prowadzącego — w szczególności enkodera typu seq-JEPA (w tym wariant uwzględniający czas, time-aware), wariantu rough-path JEPA z transformacją sygnaturową (signature transform) oraz modelu energetycznego (EBM) nad zamrożonym latentem, a wśród modeli odniesienia autoregresywnego transformera oraz wariantu JEPA bez warunkowania na akcje — wraz z wierną reimplementacją metod i ich adaptacją do domeny danych Zamawiającego.
• Współudział w przygotowaniu danych: generowanie syntetycznych zbiorów z parametrycznych modeli generatywnych o znanej strukturze zależności (ukryte modele Markowa, strukturalne modele przyczynowe) w wariantach o rosnącej trudności oraz współudział w przygotowaniu danych do treningu w ustalonym, skalowalnym formacie oraz w deterministycznym podziale na podzbiór treningowy, walidacyjny i testowy.
• Prowadzenie dużych matryc eksperymentów w sposób uporządkowany: organizacja konfiguracji, seedów i ablacji, przeszukiwanie hiperparametrów oraz utrzymanie powtarzalności i identyfikowalności uruchomień.
• Śledzenie, logowanie i analiza metryk treningowych z użyciem narzędzia do śledzenia eksperymentów, w tym rejestracja składowych funkcji straty oraz wczesnych sygnałów kolapsu reprezentacji.
• Budowa i ewaluacja lekkich probów oraz adapterów downstream (probing liniowy lub małe głowice MLP na zamrożonych cechach) oraz poprawne obliczanie metryk ewaluacyjnych (recall@k, AUC, kalibracja), a także obliczanie diagnostyk geometrii reprezentacji (uniformity/alignment, frakcja martwych jednostek, RankMe jako miara efektywnego rzędu, alfa-ReQ jako wykładnik power-law spektrum oraz probing kNN na zamrożonej reprezentacji).
• Współudział w diagnozowaniu patologii treningu (kolaps reprezentacji, niestabilne gradienty, zmienność między seedami) oraz dokumentowanie i zwięzłe podsumowywanie wyników eksperymentów.
Szczegółowe objaśnienie wykorzystania prac w zadaniu 1 projektu
Rezultaty prac zostaną wykorzystane do dostarczenia działających implementacji modeli oraz kompletu wyników eksperymentów i metryk ewaluacyjnych, zasilających ranking kandydatów oraz wybór rekomendowanej konfiguracji do skalowania w kolejnych etapach projektu.
Okres realizacji zadania 1: 10 miesięcy.
Dla zadania 2 (badania przemysłowe — Krytyczne zbadanie kanonicznego modelu danych dla wielodomenowych, heterogenicznych strumieni zdarzeń)
• Wsparcie walidacji laboratoryjnej kanonicznego modelu danych od strony przygotowania danych do treningu: weryfikacja, że dane w kanonicznym formacie (reprezentacja zdarzeń ze znacznikami czasu i nieregularnymi odstępami między zdarzeniami) poprawnie zasilają eksperymenty uczenia reprezentacji.
• Współudział w deterministycznym podziale zintegrowanego strumienia na podzbiór treningowy, walidacyjny i testowy oraz wsparcie budowy lekkich skryptów i interfejsów ewaluacyjnych symulujących konsumenta treningowego.
• Współudział w testach poprawności danych na próbkach reprezentatywnych i przypadkach brzegowych — z perspektywy przydatności danych do uczenia reprezentacji.
Szczegółowe objaśnienie wykorzystania prac w zadaniu 2 projektu
Rezultaty prac zostaną wykorzystane do potwierdzenia, że zintegrowany, kanoniczny strumień danych nadaje się do bezpośredniego zasilania treningu i ewaluacji bez doraźnego przetwarzania.
Okres realizacji zadania 2: 9 miesięcy.
Dla zadania 3 (eksperymentalne prace rozwojowe — Trening wielkoskalowy (rząd ~1 mld parametrów) i końcowa, wieloosiowa ewaluacja metody)
• Wsparcie uruchomienia i bieżącego monitorowania treningu wielkoskalowego pod kierunkiem prowadzącego: śledzenie metryk w trakcie treningu (składowe funkcji straty, jakość osadzeń, stabilność) oraz wczesne sygnalizowanie kolapsu reprezentacji lub dywergencji, a także wsparcie procedury interwencji (przerwanie, restart/wznowienie z checkpointu) pod kierunkiem prowadzącego.
• Realizacja walidacji po treningu tym samym protokołem co na etapie walidacji metody (probing na zamrożonej reprezentacji, recall@k, AUC, kalibracja, transfer między domenami, a także diagnostyki geometrii reprezentacji: uniformity/alignment, frakcja martwych jednostek, RankMe, alfa-ReQ oraz probing kNN na zamrożonej reprezentacji) oraz przygotowanie porównań skali docelowej z etapem proof-of-concept.
• Udział w ewentualnych ograniczonych ablacjach na pełnej skali oraz w przygotowaniu materiałów i zestawień do raportów końcowej ewaluacji.
Szczegółowe objaśnienie wykorzystania prac w zadaniu 3 projektu
Rezultaty prac zostaną wykorzystane do dostarczenia wyników walidacji po treningu oraz zestawień porównawczych stanowiących podstawę raportów oceny adekwatności i praktycznej wydajności metody.
Okres realizacji zadania 3: 17 miesięcy.
Zamawiający dopuszcza realizację prac w oparciu o umowę B2B lub umowę cywilnoprawną, pod warunkiem posiadania przez Oferenta doświadczenia adekwatnego do zakresu zamówienia, w szczególności w realizacji prac B+R lub projektów technologicznych z obszaru uczenia głębokiego i implementacji modeli w PyTorch, uczenia samonadzorowanego / uczenia reprezentacji oraz modelowania danych sekwencyjnych / strumieni zdarzeń.
Miejsce realizacji
Kraj: Polska, Województwo: mazowieckie, Powiat: Warszawa, Gmina: Włochy, Miejscowość: Warszawa
Prace realizowane w ramach zamówienia będą dotyczyły implementacji, trenowania i ewaluacji modeli uczenia głębokiego służących samonadzorowanemu (self-supervised) uczeniu ukrytych reprezentacji sekwencji zdarzeń użytkowników w podejściu typu JEPA (joint-embedding predictive), a także prowadzenia, pod kierunkiem prowadzącego, eksperymentów badawczych w całym cyklu projektu — z najmocniejszym zaangażowaniem na etapie walidacji metody w skali proof-of-concept oraz o charakterze wykonawczym (uruchamianie, monitorowanie i ewaluacja) na etapie treningu wielkoskalowego.
Zakres prac obejmuje działania badawczo-technologiczne związane z:
• implementacją w PyTorch architektur kandydujących oraz modeli odniesienia (baseline) na podstawie najnowszych prac naukowych i wskazań prowadzącego, w tym wierną reimplementacją metod i ich adaptacją do domeny danych Zamawiającego; reimplementowany pod kierunkiem prowadzącego zestaw obejmuje w szczególności enkoder typu seq-JEPA (w tym wariant uwzględniający czas, time-aware), wariant rough-path JEPA z transformacją sygnaturową (signature transform) oraz model energetyczny (EBM) nad zamrożonym latentem, a wśród modeli odniesienia autoregresywny transformer oraz wariant JEPA bez warunkowania na akcje;
• prowadzeniem dużych, uporządkowanych matryc eksperymentów badawczych — organizacją konfiguracji, seedów i ablacji, przeszukiwaniem hiperparametrów oraz utrzymaniem powtarzalności i identyfikowalności uruchomień;
• śledzeniem, logowaniem i analizą metryk treningowych z użyciem narzędzia do śledzenia eksperymentów, w tym rejestracją składowych funkcji straty oraz wczesnych sygnałów patologii treningu;
• budową i ewaluacją lekkich tzw. "probów" oraz adapterów downstream (probing liniowy lub małe głowice MLP na zamrożonych cechach) wraz z poprawnym obliczaniem metryk ewaluacyjnych (recall@k, AUC, kalibracja);
• współudziałem w diagnozowaniu patologii treningu (kolaps reprezentacji, niestabilne gradienty, zmienność między seedami) oraz w przygotowaniu i walidacji danych do treningu i interfejsów ewaluacyjnych;
• wykonawczym wsparciem uruchamiania, monitorowania i ewaluacji treningu wielkoskalowego oraz dokumentowaniem i zwięzłym podsumowywaniem wyników.
Szczegółowy opis przedmiotu zamówienia
Zamawiający w ramach zamówienia oczekuje wykonania przez Oferenta zadań dla stanowiska specjalista – Deep Learning Research Engineer w ramach projektu, dla którego wymagania i zakres zlecenia ustala się jak poniżej.
Dla zadania 1 (badania przemysłowe — Walidacja metody uczenia uniwersalnych reprezentacji ukrytych sekwencji zdarzeń — proof-of-concept w skali do ok. 100 mln parametrów)
• Implementacja w PyTorch architektur kandydujących oraz modeli odniesienia (baseline) na podstawie najnowszych prac naukowych oraz wskazań prowadzącego — w szczególności enkodera typu seq-JEPA (w tym wariant uwzględniający czas, time-aware), wariantu rough-path JEPA z transformacją sygnaturową (signature transform) oraz modelu energetycznego (EBM) nad zamrożonym latentem, a wśród modeli odniesienia autoregresywnego transformera oraz wariantu JEPA bez warunkowania na akcje — wraz z wierną reimplementacją metod i ich adaptacją do domeny danych Zamawiającego.
• Współudział w przygotowaniu danych: generowanie syntetycznych zbiorów z parametrycznych modeli generatywnych o znanej strukturze zależności (ukryte modele Markowa, strukturalne modele przyczynowe) w wariantach o rosnącej trudności oraz współudział w przygotowaniu danych do treningu w ustalonym, skalowalnym formacie oraz w deterministycznym podziale na podzbiór treningowy, walidacyjny i testowy.
• Prowadzenie dużych matryc eksperymentów w sposób uporządkowany: organizacja konfiguracji, seedów i ablacji, przeszukiwanie hiperparametrów oraz utrzymanie powtarzalności i identyfikowalności uruchomień.
• Śledzenie, logowanie i analiza metryk treningowych z użyciem narzędzia do śledzenia eksperymentów, w tym rejestracja składowych funkcji straty oraz wczesnych sygnałów kolapsu reprezentacji.
• Budowa i ewaluacja lekkich probów oraz adapterów downstream (probing liniowy lub małe głowice MLP na zamrożonych cechach) oraz poprawne obliczanie metryk ewaluacyjnych (recall@k, AUC, kalibracja), a także obliczanie diagnostyk geometrii reprezentacji (uniformity/alignment, frakcja martwych jednostek, RankMe jako miara efektywnego rzędu, alfa-ReQ jako wykładnik power-law spektrum oraz probing kNN na zamrożonej reprezentacji).
• Współudział w diagnozowaniu patologii treningu (kolaps reprezentacji, niestabilne gradienty, zmienność między seedami) oraz dokumentowanie i zwięzłe podsumowywanie wyników eksperymentów.
Szczegółowe objaśnienie wykorzystania prac w zadaniu 1 projektu
Rezultaty prac zostaną wykorzystane do dostarczenia działających implementacji modeli oraz kompletu wyników eksperymentów i metryk ewaluacyjnych, zasilających ranking kandydatów oraz wybór rekomendowanej konfiguracji do skalowania w kolejnych etapach projektu.
Okres realizacji zadania 1: 10 miesięcy.
Dla zadania 2 (badania przemysłowe — Krytyczne zbadanie kanonicznego modelu danych dla wielodomenowych, heterogenicznych strumieni zdarzeń)
• Wsparcie walidacji laboratoryjnej kanonicznego modelu danych od strony przygotowania danych do treningu: weryfikacja, że dane w kanonicznym formacie (reprezentacja zdarzeń ze znacznikami czasu i nieregularnymi odstępami między zdarzeniami) poprawnie zasilają eksperymenty uczenia reprezentacji.
• Współudział w deterministycznym podziale zintegrowanego strumienia na podzbiór treningowy, walidacyjny i testowy oraz wsparcie budowy lekkich skryptów i interfejsów ewaluacyjnych symulujących konsumenta treningowego.
• Współudział w testach poprawności danych na próbkach reprezentatywnych i przypadkach brzegowych — z perspektywy przydatności danych do uczenia reprezentacji.
Szczegółowe objaśnienie wykorzystania prac w zadaniu 2 projektu
Rezultaty prac zostaną wykorzystane do potwierdzenia, że zintegrowany, kanoniczny strumień danych nadaje się do bezpośredniego zasilania treningu i ewaluacji bez doraźnego przetwarzania.
Okres realizacji zadania 2: 9 miesięcy.
Dla zadania 3 (eksperymentalne prace rozwojowe — Trening wielkoskalowy (rząd ~1 mld parametrów) i końcowa, wieloosiowa ewaluacja metody)
• Wsparcie uruchomienia i bieżącego monitorowania treningu wielkoskalowego pod kierunkiem prowadzącego: śledzenie metryk w trakcie treningu (składowe funkcji straty, jakość osadzeń, stabilność) oraz wczesne sygnalizowanie kolapsu reprezentacji lub dywergencji, a także wsparcie procedury interwencji (przerwanie, restart/wznowienie z checkpointu) pod kierunkiem prowadzącego.
• Realizacja walidacji po treningu tym samym protokołem co na etapie walidacji metody (probing na zamrożonej reprezentacji, recall@k, AUC, kalibracja, transfer między domenami, a także diagnostyki geometrii reprezentacji: uniformity/alignment, frakcja martwych jednostek, RankMe, alfa-ReQ oraz probing kNN na zamrożonej reprezentacji) oraz przygotowanie porównań skali docelowej z etapem proof-of-concept.
• Udział w ewentualnych ograniczonych ablacjach na pełnej skali oraz w przygotowaniu materiałów i zestawień do raportów końcowej ewaluacji.
Szczegółowe objaśnienie wykorzystania prac w zadaniu 3 projektu
Rezultaty prac zostaną wykorzystane do dostarczenia wyników walidacji po treningu oraz zestawień porównawczych stanowiących podstawę raportów oceny adekwatności i praktycznej wydajności metody.
Okres realizacji zadania 3: 17 miesięcy.
Zamawiający dopuszcza realizację prac w oparciu o umowę B2B lub umowę cywilnoprawną, pod warunkiem posiadania przez Oferenta doświadczenia adekwatnego do zakresu zamówienia, w szczególności w realizacji prac B+R lub projektów technologicznych z obszaru uczenia głębokiego i implementacji modeli w PyTorch, uczenia samonadzorowanego / uczenia reprezentacji oraz modelowania danych sekwencyjnych / strumieni zdarzeń.
Miejsce realizacji
Kraj: Polska, Województwo: mazowieckie, Powiat: Warszawa, Gmina: Włochy, Miejscowość: Warszawa
Time limit for receipt of tenders
2026-06-16 21:59:59.0
Location
Kraj: Polska, Województwo: mazowieckie, Powiat: Warszawa, Gmina: Włochy, Miejscowość: Warszawa
Category assortment
Consultancy
Buyer details
Wirtualna Polska Media S.A.
Żwirki i Wigury 16
02-092 Warszawa
Województwo: mazowieckie
Kraj: Polska
NIP: 5272645593
Żwirki i Wigury 16
02-092 Warszawa
Województwo: mazowieckie
Kraj: Polska
NIP: 5272645593
