• 테스트 피드백 루프
  • 테스트 작성 → 테스트 실행 → 결과 해석
  • 이 과정에서 피쳐가 제대로 동작한다는 확신이 있다면 다음 단계로 넘어갈 수 있다.
  • 이 루프가 빠르게 동작하지 않거나 아예 멈춰버리다면, 새로운 기능을 빠르게 전달할 수 없다.
• 왜 루프에 이상이 생길까?
  • 데드락
  • 매우 느린 진행속도
  • 타임아웃 값을 너무 높게 잡아서
  • 메인 스레드에서 너무 많은 일을 해서
• XCode 12에서 개별 테스트의 최대 동작 시간을 지정할 수 있다.
  • 테스트가 지정된 시간을 넘어가면 다음과 같은 과정을 거친다.
    1. spindump를 캡쳐한다.
    2. 멈춰있는 테스트를 kill한다.
    3. 나머지 테스트 슈트가 돌아갈 수 있도록 테스트 러너를 재시작한다.
• Spindump는 각 스레드에서 어떤 함수가 시간을 많이 소모했는지를 측정한다.
  • spindump 유틸리티나 Activity Monitor로 수동으로 캡쳐하는 것도 가능하다.
• 기본 제한 시간은 10분이고, test Plan에서 수정할 수 있다.
• 만약 개별 테스트나 테스트 클래스 단위로 테스트가 필요하다면, API로 조정할 수 있다.

class XCTestCase: XCTest {
	var executionTimeAllowance: TimeInterval // 가장 가까운 분 값으로 반올림된다.
}

• 기본값 변경
  • Test Plan 세팅에서 변경
  • xcodebuild 옵션에서 추가
  • 해석 우선 순위
    • executionTimeAllowance → xcodebuild option → test plan 설정 → 시스템 기본값(10분)

-default-test-execution-time-allowance <seconds>

• 만약 개별 옵션에서 무제한의 시간을 요구한다면?

  • 이를 대비해 최댓값 지정 가능

• Parallel distributed testing

  • 테스트 실행 속도를 빠르게 하기 위해, 여러가지 디바이스 환경에서 동시에 돌리는 것
  • 이때 어떤 디바이스에서 어떤 테스트가 돌아갈 지는 결정할 수 없다. → OS나 특정 디바이스에서만 도는 테스트는 작성하지 않도록 주의해야 한다.
  • macOS의 Unit test, iOS와 tvOS의 시뮬레이터에서 Unit, UI test가 지원한다.
  • xcode 12부터는 xcodebuild 커맨드 라인 한정으로 iOS와 tvOS 실기기에서도 지원한다.

  xcodebuild test
  	-project MyProject.xcodeproj
    -scheme MyProject
    -parallel-testing-enabled YES
    -parallelize-tests-among-destinations
    -destinaion 'platform=iOS, name=iPhone 11'
    -destinaion 'platform=iOS, name=iPad Pro'
  

  • 권장사항
    • 병렬로 돌리는 디바이스의 종류와 OS 버전을 맞추는 게 좋다.
    • 맞추기 어렵다면, OS나 디바이스 정보를 가정하지 않는 테스트를 작성해야 된다.
    • 다양한 디바이스에서 돌리면서 버그를 확인하는 게 좋다.