Jakub Krajewski

12 papers A* 3B 1Journal 8
YearRankTypeTitle / Venue / Authors
2025 J jnl
Decoupled Relative Learning Rate Schedules.
CoRR
Jan Ludziejewski, Jan Malasnicki, Maciej Pióro, Michal Krutul, Kamil Ciebiera, Maciej Stefaniak, Jakub Krajewski, Piotr Sankowski, Marek Cygan, Kamil Adamczewski, Sebastian Jaszczur
2025 A* conf
Joint MoE Scaling Laws: Mixture of Experts Can Be Memory Efficient.
ICML
Jan Ludziejewski, Maciej Pióro, Jakub Krajewski, Maciej Stefaniak, Michal Krutul, Jan Malasnicki, Marek Cygan, Piotr Sankowski, Kamil Adamczewski, Piotr Milos, Sebastian Jaszczur
2025 J jnl
Joint MoE Scaling Laws: Mixture of Experts Can Be Memory Efficient.
CoRR
Jan Ludziejewski, Maciej Pióro, Jakub Krajewski, Maciej Stefaniak, Michal Krutul, Jan Malasnicki, Marek Cygan, Piotr Sankowski, Kamil Adamczewski, Piotr Milos, Sebastian Jaszczur
2025 J jnl
Projected Compression: Trainable Projection for Efficient Transformer Compression.
CoRR
Maciej Stefaniak, Michal Krutul, Jan Malasnicki, Maciej Pióro, Jakub Krajewski, Sebastian Jaszczur, Marek Cygan, Kamil Adamczewski, Jan Ludziejewski
2025 J jnl
Revisiting the Scaling Properties of Downstream Metrics in Large Language Model Training.
CoRR
Jakub Krajewski, Amitis Shidani, Dan Busbridge, Sam Wiseman, Jason Ramapuram
2025 J jnl
Scaling Fine-Grained MoE Beyond 50B Parameters: Empirical Evaluation and Practical Insights.
CoRR
Jakub Krajewski, Marcin Chochowski, Daniel Korzekwa
2025 J jnl
μ-Parametrization for Mixture of Experts.
CoRR
Jan Malasnicki, Kamil Ciebiera, Mateusz Borun, Maciej Pióro, Jan Ludziejewski, Maciej Stefaniak, Michal Krutul, Sebastian Jaszczur, Marek Cygan, Kamil Adamczewski, Jakub Krajewski
2024 B conf
An implementation of the YOLO algorithm for the recognition of flags of the International Code of Signals.
KES
Jakub Krajewski, Ireneusz Czarnowski
2024 A* conf
Mixture of Tokens: Continuous MoE through Cross-Example Aggregation.
NeurIPS
Szymon Antoniak, Michal Krutul, Maciej Pióro, Jakub Krajewski, Jan Ludziejewski, Kamil Ciebiera, Krystian Król, Tomasz Odrzygózdz, Marek Cygan, Sebastian Jaszczur
2024 A* conf
Scaling Laws for Fine-Grained Mixture of Experts.
ICML
Jan Ludziejewski, Jakub Krajewski, Kamil Adamczewski, Maciej Pióro, Michal Krutul, Szymon Antoniak, Kamil Ciebiera, Krystian Król, Tomasz Odrzygózdz, Piotr Sankowski, Marek Cygan, Sebastian Jaszczur
2024 J jnl
Scaling Laws for Fine-Grained Mixture of Experts.
CoRR
Jakub Krajewski, Jan Ludziejewski, Kamil Adamczewski, Maciej Pióro, Michal Krutul, Szymon Antoniak, Kamil Ciebiera, Krystian Król, Tomasz Odrzygózdz, Piotr Sankowski, Marek Cygan, Sebastian Jaszczur
2023 J jnl
Mixture of Tokens: Efficient LLMs through Cross-Example Aggregation.
CoRR
Szymon Antoniak, Sebastian Jaszczur, Michal Krutul, Maciej Pióro, Jakub Krajewski, Jan Ludziejewski, Tomasz Odrzygózdz, Marek Cygan