VISION HONG
article thumbnail
[ML Design Pattern] 추론 시스템 / 8. 추론 캐시 패턴
MLOps 2022. 12. 28. 18:25

추론 캐시 패턴 만약 반복적으로 추론기에 들어가는 데이터가 있다고 가정해보자 매번 같은 결과를 내는데 굳이 Cost를 낭비할 필요가 있을까? 이처럼 같은 데이터를 같은 추론기로 여러 번 추론하는 경우가 있을 수 있다. 이럴 때는 추론 캐시 패턴을 활용해 식별이 가능한 데이터라면 추론했던 결과를 그대로 사용할수 있도록 문제를 해결할 수 있다. Use-Case 동일 데이터에 대해 추론 요청이 발생함과 동시에 그 데이터를 식별할 수 있는 경우 동일 데이터에 대해 동일한 추론 결과를 응답할 수 있는 경우 입력 데이터를 검색할 수 있는 경우 추론의 지연을 단축하고 싶은 경우 해결하려는 과제 모든 시스템은 갖춰야 할 기능을 요구되는 속도와 비용으로 가동시킬 필요가 있다. 그리고 대부분의 경우 기능, 속도, 비용이 ..