히어로 벤치마크

Hero 벤치마크는 오픈소스 Pokedex 앱의 앱 시작 또는 스크롤과 같은 상위 수준 앱 사용자 여정을 다루는 벤치마크 집합입니다.

  • 시작 히어로 벤치마크: 앱을 열 때부터 콘텐츠가 표시될 때까지의 시간을 추적합니다.
  • 스크롤 히어로 벤치마크: 이미지가 있는 지연 그리드의 스크롤 성능을 측정합니다.

테스트 설정

  • 앱 선택: 오픈소스 Pokedex 앱을 사용하여 뷰 기반 버전과 Compose 기반 버전을 비교하는 테스트를 진행했습니다. 이 앱은 실제 시나리오를 나타내도록 선택되었으며 Compose팀에서 개발하지 않았습니다.
  • 하드웨어 설정: 벤치마크는 CPU 및 GPU가 잠긴 Android 17(API 수준 37)을 실행하는 Pixel 6에서 실행되었습니다. Compose 1.12 이전에는 Pixel 3a에서 벤치마크가 실행되었습니다. Compose 1.12부터 Pixel 6가 주요 벤치마크의 표준 성능 기준으로 사용되며, 비교를 위해 Compose 1.11도 Pixel 6에서 측정되었습니다.
  • 빌드 설정: 벤치마크는 R8이 사용 설정된 출시 모드로 빌드된 앱을 사용합니다. 앱은 JIT(Just-In-Time) 컴파일로 인한 불안정성을 줄이기 위해 완전히 사전 컴파일됩니다.
  • 결과 선택: 최악의 경우 분석을 보장하기 위해 극단적인 이상치와 대표성이 없는 노이즈는 벤치마크 결과에서 제외되었습니다. 그런 다음 상한 실적 데이터의 중앙값을 선택하여 기준을 설정했습니다.

스타트업 히어로 벤치마크

시작을 측정하기 위해 PokedexStartupBenchmark을 사용했습니다. PokedexStartupBenchmark는 Pokedex 앱이 사용자에게 표시되는 데 걸리는 시간을 측정합니다.

앱은 콜드 스타트, 웜 스타트, 핫 스타트라는 세 가지 상태 중 하나에서 시작합니다. 각 상태는 앱이 사용자에게 표시되는 데 걸리는 시간에 영향을 미칩니다. 콜드 스타트에서는 앱이 처음부터 시작됩니다. 이 벤치마크에서는 콜드 스타트 상태의 앱 시작 성능을 측정합니다. 항상 콜드 스타트를 가정하여 앱을 최적화하는 것이 좋습니다. 이렇게 하면 웜 스타트와 핫 스타트의 성능도 개선될 수 있습니다.

앱 시작 시간을 측정하는 데 사용하는 측정항목은 처음 표시하는 데 걸린 시간과 완전히 표시하는 데 걸린 시간입니다.

처음 표시하는 데 걸린 시간

처음 표시하는 데 걸린 시간(TTID)은 콜드 스타트 중 프로세스 초기화, 콜드 또는 웜 스타트 중 활동 생성, 첫 번째 프레임 표시 등 앱이 첫 프레임을 생성하는 데 걸리는 시간을 측정합니다.

PokedexStartupBenchmark에서 Compose 1.13은 콜드 스타트 시 147.65ms 만에 초기 디스플레이에 도달합니다. 이 결과는 Compose 1.12.1(145.51ms) 및 Compose 1.11.4(147.78ms)의 정상적인 실행 간 노이즈 내에 있으며 뷰(152.87ms)보다 3.4% 더 빠릅니다.

처음 표시하는 데 걸린 시간(밀리초), Pixel 6에서 테스트됨
버전처음 표시하는 데 걸린 시간(밀리초)
Compose 1.11147.78
Compose 1.12145.51
Compose 1.13147.65
조회수152.87
그림 1. 이 차트는 Compose 1.11, 1.12, 1.13의 TTID를 뷰와 비교합니다.

완전히 표시하는 데 걸린 시간

완전히 표시하는 데 걸린 시간(TTFD)은 앱이 상호작용할 수 있게 될 때까지 걸리는 시간을 측정합니다. 즉, 모든 데이터가 로드되고 그려졌습니다. 전체 표시 시간에 관한 자세한 내용은 앱 시작 시간을 참고하세요.

PokedexStartupBenchmark에서 Compose 1.13은 콜드 스타트 시 202.79ms 만에 전체 디스플레이에 도달합니다. 이 결과는 Compose 1.12.1(201.96ms) 및 Compose 1.11.4(203.33ms)의 정상적인 실행 간 노이즈 범위 내에 있습니다. 뷰는 180.32ms 만에 전체 디스플레이에 도달하므로 Compose 1.13은 TTFD의 뷰보다 12.5% 느립니다.

완전히 표시하는 데 걸린 시간(밀리초), Pixel 6에서 테스트됨
버전완전히 표시하는 데 걸린 시간(밀리초)
Compose 1.11203.33
Compose 1.12201.96
Compose 1.13202.79
조회수180.32
그림 2. 이 차트는 Compose 1.11, 1.12, 1.13의 TTFD를 뷰와 비교합니다.

스크롤 히어로 벤치마크

스크롤 성능을 측정하기 위해 PokedexScrollBenchmark를 사용했습니다. 이미지가 있는 지연 그리드의 Pokedex 앱 화면 스크롤 성능을 측정합니다. 이 벤치마크에서는 전체 화면이 여러 번 스크롤되고 플링되며 새 항목이 로드됩니다. 스크롤 성능은 버벅거림 비율로 측정됩니다.

버벅거림 비율

Android 기기는 초당 최대 60 또는 120프레임(fps)으로 렌더링합니다. 즉, 시스템에는 프레임을 생성하는 엄격한 기한(예: 60fps의 경우 16.6ms)이 있습니다. 앱이 작업을 수행하는 데 너무 오래 걸리면 눈에 보이는 끊김 현상(버벅거림)이 발생할 수 있습니다.

PokedexScrollBenchmark에서 Compose는 Compose 1.9.0 이후 과도한 버벅거림이 0% 포인트로 뷰 성능과 일치합니다. Pixel 6에서 뷰와 Compose는 모두 Compose 1.11.4, 1.12.1, 1.13에서 버벅거림이 0.00% 입니다.

Compose 버전별 뷰 대비 Compose 과도한 버벅임(퍼센트 포인트)(낮을수록 좋음)
Compose 버전기기조회수 대비 과도한 버벅거림(pp)
1.3.3Pixel 3a+0.35
1.4.3Pixel 3a+0.41
1.5.4Pixel 3a+0.42
1.6.8Pixel 3a+0.21
1.7.8Pixel 3a+0.36
1.8.0Pixel 3a+0.38
1.9.0Pixel 3a0
1.10.0Pixel 3a0
1.11Pixel 60
1.12Pixel 60
1.13Pixel 60
그림 3. Compose 1.9.0부터 Compose는 뷰 스크롤 버벅임과 일치합니다.

히어로 벤치마크 실행

성능 결과를 검증하고 로컬에서 벤치마크를 실행하려면 다음 안내를 따르세요.

  1. AndroidX 가이드에 따라 소스 코드를 확인합니다.
  2. Hero Benchmarks 소스 코드 README의 안내에 따라 벤치마크 및 타겟 APK(pokedex-macrobenchmark 및 pokedex-macrobenchmark-target)를 빌드하고 테스트 기기에 설치한 후 adb 또는 Android 스튜디오를 사용하여 PokedexStartupBenchmark 및 PokedexScrollBenchmark 도구 모음을 실행합니다.

앱을 최적화하는 특정 기기와 같이 지원되는 모든 기기에서 이러한 벤치마크를 실행할 수 있습니다. 하지만 공식 결과를 검증하려면 동일한 하드웨어 설정을 사용하세요.