A Reinforcement Learning-Based Cache Partitioning Scheme for Multi-Core Environments

Donggyu Choi, Jong-Seok Kim, Honguk Woo, Euiseong SeoJournal of KIISE 2021 · DOI

Abstract

많은 상용 프로세서들은 LLC(last-level cache)를 모든 코어들이 공유하여 사용하기 때문에 LLC가 병목이 되어 전체 시스템 성능이 저하된다. 하드웨어 캐시 파티셔닝 기법을 적용하여 이런 문제를 해결할 수 있지만, 적절한 캐시 파티션을 결정하는 것은 지능적인 알고리즘을 필요로 한다. 강화학습을 사용한 캐시 파티셔닝은 애플리케이션의 수가 증가함에 따라 모델 복잡도가 폭발적으로 증가한다. 본 논문은 캐시 파티셔닝 문제의 강화학습 적용을 위해 모델 복잡도의 폭발적 증가를 억제하고 다중 애플리케이션에 대해 확장 가능한 강화학습 기반 캐시 파티셔닝을 제안한다. 먼저 적은 수의 애플리케이션에 대해 캐시 파티셔닝을 하는 강화학습 모델을 학습한다. 그 후 캐시 사용 특성 예측 지도학습 모델을 통해 얻은 정보로 애플리케이션들을 클러스터링하여 강화학습 모델을 확장 적용한다. 이를 통해 더 많은 애플리케이션에 대해서도 캐시 파티셔닝을 하여 최대 19.75%의 성능 향상을 얻을 수 있었다.
BibTeX
@article{choi2021reinforcement,
  author = {Donggyu Choi and Jong-Seok Kim and Honguk Woo and Euiseong Seo},
  title = {{A Reinforcement Learning-Based Cache Partitioning Scheme for Multi-Core Environments}},
  journal = {Journal of KIISE},
  year = {2021},
  doi = {10.5626/jok.2021.48.6.618},
}

Loading related content...

Figure