Sebastian Jaszczur

16 papers A* 5C 1Journal 10
YearRankTypeTitle / Venue / Authors
2025 J jnl
Decoupled Relative Learning Rate Schedules.
CoRR
Jan Ludziejewski, Jan Malasnicki, Maciej Pióro, Michal Krutul, Kamil Ciebiera, Maciej Stefaniak, Jakub Krajewski, Piotr Sankowski, Marek Cygan, Kamil Adamczewski, Sebastian Jaszczur
2025 A* conf
Joint MoE Scaling Laws: Mixture of Experts Can Be Memory Efficient.
ICML
Jan Ludziejewski, Maciej Pióro, Jakub Krajewski, Maciej Stefaniak, Michal Krutul, Jan Malasnicki, Marek Cygan, Piotr Sankowski, Kamil Adamczewski, Piotr Milos, Sebastian Jaszczur
2025 J jnl
Joint MoE Scaling Laws: Mixture of Experts Can Be Memory Efficient.
CoRR
Jan Ludziejewski, Maciej Pióro, Jakub Krajewski, Maciej Stefaniak, Michal Krutul, Jan Malasnicki, Marek Cygan, Piotr Sankowski, Kamil Adamczewski, Piotr Milos, Sebastian Jaszczur
2025 J jnl
Projected Compression: Trainable Projection for Efficient Transformer Compression.
CoRR
Maciej Stefaniak, Michal Krutul, Jan Malasnicki, Maciej Pióro, Jakub Krajewski, Sebastian Jaszczur, Marek Cygan, Kamil Adamczewski, Jan Ludziejewski
2025 A* conf
Structured Packing in LLM Training Improves Long Context Utilization.
AAAI
Konrad Staniszewski, Szymon Tworkowski, Sebastian Jaszczur, Yu Zhao, Henryk Michalewski, Lukasz Kucinski, Piotr Milos
2025 J jnl
μ-Parametrization for Mixture of Experts.
CoRR
Jan Malasnicki, Kamil Ciebiera, Mateusz Borun, Maciej Pióro, Jan Ludziejewski, Maciej Stefaniak, Michal Krutul, Sebastian Jaszczur, Marek Cygan, Kamil Adamczewski, Jakub Krajewski
2024 A* conf
Mixture of Tokens: Continuous MoE through Cross-Example Aggregation.
NeurIPS
Szymon Antoniak, Michal Krutul, Maciej Pióro, Jakub Krajewski, Jan Ludziejewski, Kamil Ciebiera, Krystian Król, Tomasz Odrzygózdz, Marek Cygan, Sebastian Jaszczur
2024 J jnl
MoE-Mamba: Efficient Selective State Space Models with Mixture of Experts.
CoRR
Maciej Pióro, Kamil Ciebiera, Krystian Król, Jan Ludziejewski, Sebastian Jaszczur
2024 A* conf
Scaling Laws for Fine-Grained Mixture of Experts.
ICML
Jan Ludziejewski, Jakub Krajewski, Kamil Adamczewski, Maciej Pióro, Michal Krutul, Szymon Antoniak, Kamil Ciebiera, Krystian Król, Tomasz Odrzygózdz, Piotr Sankowski, Marek Cygan, Sebastian Jaszczur
2024 J jnl
Scaling Laws for Fine-Grained Mixture of Experts.
CoRR
Jakub Krajewski, Jan Ludziejewski, Kamil Adamczewski, Maciej Pióro, Michal Krutul, Szymon Antoniak, Kamil Ciebiera, Krystian Król, Tomasz Odrzygózdz, Piotr Sankowski, Marek Cygan, Sebastian Jaszczur
2023 J jnl
Mixture of Tokens: Efficient LLMs through Cross-Example Aggregation.
CoRR
Szymon Antoniak, Sebastian Jaszczur, Michal Krutul, Maciej Pióro, Jakub Krajewski, Jan Ludziejewski, Tomasz Odrzygózdz, Marek Cygan
2023 J jnl
Structured Packing in LLM Training Improves Long Context Utilization.
CoRR
Konrad Staniszewski, Szymon Tworkowski, Sebastian Jaszczur, Henryk Michalewski, Lukasz Kucinski, Piotr Milos
2021 A* conf
Sparse is Enough in Scaling Transformers.
NeurIPS
Sebastian Jaszczur, Aakanksha Chowdhery, Afroz Mohiuddin, Lukasz Kaiser, Wojciech Gajewski, Henryk Michalewski, Jonni Kanerva
2021 J jnl
Sparse is Enough in Scaling Transformers.
CoRR
Sebastian Jaszczur, Aakanksha Chowdhery, Afroz Mohiuddin, Lukasz Kaiser, Wojciech Gajewski, Henryk Michalewski, Jonni Kanerva
2020 J jnl
Neural heuristics for SAT solving.
CoRR
Sebastian Jaszczur, Michal Luszczyk, Henryk Michalewski
2017 C conf
Use of Domain Knowledge and Feature Engineering in Helping AI to Play Hearthstone.
FedCSIS
Przemyslaw Przybyszewski, Szymon Dziewiatkowski, Sebastian Jaszczur, Mateusz Smiech, Marcin S. Szczuka