• 왜 Core ML을 써야 하는가?

  • Core ML은 디바이스에 ML 모델을 배포하기 위한 프레임워크
  • 모든 애플 디바이스에서 공유 가능
  • CPU, GPU ANE(Apple Neural Engine)을 활용할 수 있다.
  • 클라우드를 통한 업데이트와 암호화도 지원

• Create ML 앱을 써도 되지만, 다른 프레임워크의 모델을 컨버팅할 수 있는 coremltools도 제공한다.

  • 기존에는 Caffe, Keras, TensorFlow, Onnx의 모델을 바꿀 수 있었다.
  • TF - coremltools에 내장
  • PyTorch - 기존에는 Onnx를 거쳐서 바꿔야 했으나, 이제 별도 의존성 없이 바로 변환 가능

• 기존에는 외부 의존성을 수동으로 가져다 썼어야 했으나, 이제는 coremltools하나로 해결된다.

• MIL(Model Intermediation Language) - coremltools 안에서 쓰는 DSL

  • 모델 변환을 쉽게만들고, 새로운 프레임워크를 추가하기 쉽게 만듦
  • Operation - Optimization 단계로 이루어짐

  ## Tensorflow2
  import tensorflow as tf
  
  tf_model = tf.keras.applications.MobileNet()
  mlmodel = ct.convert(tf_model)
  
  ## pyTorch
  import torch
  import torchVision
  
  torch_model = torchVision.models.mobilenet_v2()
  
  torch_modee.eval()
  example_input = torch.rand(1,3,256,256)
  traced_model = torch.jit.trace(torch_model, example_input)
  
  mlmodel = ct.convert(trace_model, inputs=[ct.TensorType(shape=example_input.shape])
  
  ## TensorFlow1
  
  import coremlTools as ct
  import tensorFlow as tf
  
  mlmodel = ct.convert("mobilenet_frozen_graph.pb",
  											inputs=[ct.ImageType(bias = [-1, -1, -1]). scale=1/127)],
  											classifier_config=ct.ClassifierConfig("labels.txt))
  

• 더 복잡한 모델을 바꿔보자

  • 데모로 쓸 예제: Automatic Speech Recognition
    • 음성 → 텍스트 출력
  • 전처리 - 모델 - 후처리 순서로 진행
    • 전처리: 소리에서 mel spectrum(MFCCs, Mel-Frequency Cepstral Coefficients)을 추출
    • 모델: 글자 단위의 시간 연속적인 확률 분포를 반환
    • 후처리: CTC decoder를 이용해서 최종 결과를 만듦
  • 모델은 mozila의 DeepSpeech 사용
    • LSTM을 기준으로 앞뒤로 Dense모델을 몇개 쌓은 형태
  • 정적인 모델과 동적인 모델을 동일한 함수 호출로 지원
    • input을 정해진 크기로 받지 않아도 되는 모델
    • 동적 모델을 input 형태를 명시적으로 지정해서, 정적 모델로 바꿀 수도 있음

• 만약 지원하지 않는 동작을 만났을 때는 어떻게 처리되나?

  • 변환 과정에서 오류 발생
  • 계속해서 새로운 기능이 추가되고, 커스텀 기능도 생기는데 이건 어떻게 하나?
    • Swift코드로 커스텀 오퍼레이션 추가
    • Composition operation → MIL을 이용해서 스위프트 코드 한 줄 없이 가능

• MIL이 어떻게 돌아가길래 이게 되지?

  • Converter 스택은 Frontend - MIL - Backend로 이루어져 있다.
  • FrontEnd와 MIL은 Operation - Optimization으로 이루어져 있고, Backend에서는 protobuf로 직렬화가 이루어진다.
  • MIL은 그 자체로 독립적인 언어고, MIL Builder를 통해서 기능을 추가할 수 있다.

## MIL 번역 예제
from coremltools.converters.mil import Builder as mb

@mb.program(input_specs=[mb.TensorSpec(shape=(1, 100, 100, 3))])
def prog(x):
	x = mb.relu(x=x, name='x')
	x = mb.transpose(x=x, perm=[0, 3, 1, 2], name='transpose')
	x = mb.reduce_mean(x=x axes=[2,3], keep_dims=False, name='reduce')
	x = mb.log(x=x, name='log')
	return x

#print(prog)
main(%x: (1, 100, 100, 3, fp32)) {
	block0() {
		%x: (1, 100, 100, 3, fp32) = relu(x%x, name="x")
		%transpose_perm_0: (4, i32)* = const(val=[0, 3, 1, 2], name="transpose_perm_0")
		%transpose: (1, 3, 100, 100, fp32) = transpose(x=%x, perm=%transpose_perm_0, name="transpose")
		%reduce_axes_0: (2, i32)* = const(val=[2, 3], name="reduce_axes_0")
		%reduce_keep_dims_0: (bool)* = const(val=False, name="reduce_keep_dims_0")
		%reduce: (1, 3, fp32) = reduce_mean(x=%transpose, axes=%reduce_axes_0, keep_dims=%reduce_keep_dims_0, name="reduce")
		%log: (1, 3, fp32) = log(x=%reduce, name="log")
	} -> (%log)
}

# builder 예제
import coremltools.converters.mil import builder as mb
import coremltools.converters.mil import register_tf_op

@register_tf_op
def Einsum(context, node):
	assert node.attr['equation'] == 'bnqd,bnkd->bnqk'
	
	a = context[node.inputs[0]]
	b = context[node.inputs[1]]
	
	x = mb.matmul(x=a, y=b, transpose_x=False, transpose_y=True, name=node.name)
	
	context.add(node.name, x)