• AR(Argumented Reality): 컨텐츠를 현실세계와 상호작용하게 만드는 것
• RealityKit: AR을 위한 프레임워크
  • 사실적인 렌더링&시뮬레이션
  • swift용 프레임워크
  • iOS&macOS
• Reality Composor: AR 컨텐츠 생산 툴
• 데모

import UIKit
import RealityKit

class ViewController: UIViewController {
	@IBOutlet var arView: ARView!

	override func viewDidLoad() {
		super.viewDidLoad()
		
		let anchor = AnchorEntity(plane: .horizontal)
		arview.scene.addAnchor(anchor)
		
		let flyer = try Entity.loadModel(named: "flyer")
		anchor.addChild(flyer)
	}
}

• Systems and Framework basic

  • Rendering
    • 물리 기반 셰이딩
    • Metal 기반
      • Apple GPU에 최적화
      • 최신 기능들을 사용함
    • AR에 포커스되어 있다.
  • Animation
    • 지원 애니매이션 - usdz파일에서 불러올 수 있다.
      • skeletal
      • transform
    • ARKit의 모션캡쳐를 통해서 애니매이션을 순차적으로 만들 수도 있다.
  • Physics
    • 충돌 감지
    • Rigid body dynamics
  • synchronization
    • 멀티 디바이스 공유 가능
    • ARKit을 사용한 다중 맵 빌딩
    • 멀티플레이어
  • Entity-Component System
    • 상속대신 합성
    • 확장 가능
    • 자동으로 네트워크를 통한 싱크
  • Audio
    • 공간 인식
    • 3D 오브젝트를 추적해서 이 기반으로 오디오를 조절

• Reality File

  • RealityKit용으로 최적화된 모델 형식
  • Reality Composer로 내보내기 가능
  • USDZ를 그대로 쓸 수도 있지만, 최적화 된걸 쓰는게 더 좋긴 하다.

• 클래스

  • ARView

    • 환경 구성
    • 제스처 핸들링
    • 사실적인 카메라 효과 제공
      • 그림자
        • 성능 우선과 효율 우선 중에서 선택할 수 있다.(raytracing vs drop)
      • 모션 블러 기능 제공(카메라처럼)
      • 포커스 기능 제공
      • 카메라 노이즈

  • Anchor

    • Entity의 root가 됨

    • 맞는 Anchor가 발견되면, 거기에 entity가 붙음

      

  • Scene

    • 직접 만들지 않고, ARView가 하나씩 가지고 있는 객체
    • 여기에 Anchor를 붙인다.

  • Entity

    • AR Object를 만드는 building block

    • 트리 구조로 되어 있어서, 이를 기반으로 scene을 만들거나, 계층을 변경하기 좋다.

      

• Entity와 Component

  • Entity는 여러개의 재사용 가능한 Component의 합성으로 이루어져 있다.

  let entity = Entity()
  
  // component 추가/변경
  entity.components[SpotLightComponent.self] = SpotLightComponent(color: .white)
  entity.components[SpotLightComponent.Shadow.self] = SpotLightComponent.Shadow()
  
  // 컴포넌트 제거
  entity.components[CollisionComponent.self] = nil
  
  // 자식 entity 추가
  entity.addChild(childEntity)
  
  // 로컬 포지션 설정
  entity.position = [1.0, 0.0, 0.5]
  
  // 전역 포지션 설정
  entity.setPosition([0.5, 0.2, 1.5], relativeTo: nil)
  

  • 프리셋 Entity 종류

    • AnchorEntity

      • 실제 오브젝트에 붙이기 위한 용도
      • 붙여놓으면, 실제 물체를 따라감
      • ARKit과 결합해서 사용
      • Anchor 가능 타입
        • Plane
        • Face
        • Camera
        • Image
        • Body
        • ARRaycastResult
        • Object
        • World
        • ARAnchor

      let tableAnchor = AnchorEntity(plane: .horizontal,
      															classification: .table,
      															minimumBounds: [0.5, 0.5])
      
      scene.addAnchor(tableAnchor) // 시스템이 적절한 물체를 찾으면 자동으로 활성화 된다.
      
      let imageAnchor = AnchorEntity(.image(group: "Posters", name: "WorldsFair"))
      
      scene.addAnchor(imageAnchor)
      

    • ModelEntity

      • scene에서의 visual 부분을 담당
      • usdz파일이나 Reality 파일을 통해서 로드가능. 코드로 만들수도 있다.
      • 위상(Mesh Resources), 애니매이션, 물리적 특성(Material)등을 가짐
      • 기본 제공 Mash
        • Box
        • Sphere
        • Plane
        • Text
      • 기본 제공 Material
        • SimpleMaterial - 텍스쳐 혹은 단순 스칼라 값(baseColor) 지원, 물리 기반
          • roughness, metalic
        • Unlit Material - 물리 법칙에 영향을 받지 않는 flat한 coloring
          • 빛이 없는 상태에서도 보여야 되는 경우에 유용
        • OcclusionMaterial
          • 외형에 영향을 주는 게 아니라, 그 뒤의 물체를 숨긴채로 카메라 빛을 통과시킨다.

      let anchor = AnchorEntity(plane: .horizontal)
      scene.addAnchor(tableAnchor)
      
      // 동기적으로 모델을 로딩하기 때문에 무거운 작업이다.
      // 비동기 버전도 존재한다.
      let robot = try ModelEntity.loadModel(named: "robot")
      
      anchor.addChild(robot)
      

      let anchor = AnchorEntity(plane: .horizontal)
      scene.addAnchor(tableAnchor)
      
      let box = MeshResource.generateBox(size: 1.0, cornerRadius: 0.1)
      let metal = SimpleMaterial(color: .gray, isMetalic: true)
      
      let model = try ModelEntity(mesh: box, materials: [metal])
      anchor.addChild(model)
      

      • 지원 Animation
        • skeletal(뼈대 기반)
        • transform → 코드로부터 만들 수도 있음

      let controller = entity.playAnimation(named: "dance")
      
      controller.pause()
      
      if controller.isPaused {
      		controller.resume()
      }
      
      controller.stop()
      
      let destination = Transform(translation: [0.0, 0.0, 5.0]) // 단위: meter
      
      let controller = entity.move(to: destination,
      														relativeTo: nil,
      														duration: 1.0,
      														easing: .easeInOut)
      

    • AmbientLight

    • SpotLight

    • DirectionalLight

    • PerspectiveCamera

    • TriggerVolume

    • BodyTrackedEntity

• Reality Composor

  • AR 컨텐츠를 만들기 위한 프로그램
    • XCode에도 포함되어 있음. 모델과 코드를 함께 만들어주고, 타입 안전하게 접근할 수 있도록 해준다.