# 왜 AI 추론이 엣지로 가는가 (개소리) ![[inference-edge-cloud-1.png]] > [!info] 개소리 다이얼로그 — 회의론자 vs 전문가 > A(전문가) vs B(회의론자)가 "왜 AI inference가 클라우드 GPU에서 엣지 칩으로 이동하는가, 그리고 training은 왜 클라우드에 남는가"를 술자리 톤으로 깐 대화. 정의 나열이 아니라 B가 막히는 지점에서 A가 구체물로 내려가는 패턴. A: 질문부터 뒤집자. "왜 inference가 엣지로 가냐"가 아니라 "왜 그동안 클라우드에 있었냐". 기본값은 원래 데이터 생기는 곳에서 계산하는 거야. 멀리 보내는 게 비정상이지. GPU가 너무 비싸고 커서 어쩔 수 없이 한 군데 모아놨던 거고. B: 뭔 개소리야. 클라우드가 비정상이라고? 지금 세상 AI 다 클라우드에서 돌잖아. ChatGPT도 클라우드고. A: training이랑 [[Logic/Inference\|inference]]를 안 섞으면 그렇게 보여. 둘은 완전 다른 작업이야. 표로 깔자. ``` training inference 한 번? 딱 한 번 (or 가끔) 모델 평생 수십억 번 누가 봄? 아무도 안 기다림 사람이/기계가 즉시 기다림 데이터 전 세계 데이터 다 긁어모음 지금 이 카메라 한 프레임 하드웨어 H100 수천 장, 수 주 칩 한 개, 수 밀리초 실패 비용 재시도하면 됨 차 사고남 / 말 끊김 ``` training은 "교과서 만드는 공장"이고 inference는 "그 교과서로 시험 푸는 학생"이야. 공장은 한 군데 크게 짓는 게 맞아. 근데 시험은 학생이 있는 자리에서 봐야지, 매 문제마다 공장에 팩스 보낼 거야? B: 잠깐. "엣지"가 정확히 뭔데. 단어가 너무 마케팅 같아. A: 좋은 지적. edge = 데이터가 *생기는* 물리적 지점, 그 자리에 박힌 칩. 리스트로. - 자율주행차 안의 칩 (카메라 데이터가 거기서 생김) - 공장 컨베이어벨트 위 불량검사 카메라 - 너 아이폰 안의 Neural Engine (얼굴인식) - CCTV, 도어벨, 보청기, 드론 공통점: 데이터가 태어나는 그 자리. 반대말이 cloud = 데이터가 태어난 곳에서 수백~수천 km 떨어진 데이터센터. 그래서 "엣지"는 네트워크 그림에서 *가장자리*, 중앙(클라우드)의 반대편 끝이라 그렇게 부르는 거야. B: 오케이. 근데 왜 굳이 옮겨? 인터넷 빠르잖아. 그냥 클라우드로 쏘면 되는데 뭐가 문제야. A: 네 개의 벽에 부딪혀. 하나씩 부수자. 첫 번째, **[[Latency\|latency]]**. 자율주행차로 가자. 시속 100km면 1초에 28m 가. ``` 보행자 감지 → 클라우드 왕복 → 브레이크 클라우드 왕복: 빨라야 100ms, 보통 200~300ms (네트워크 + 큐 + 처리) 100km/h에서 100ms = 2.8m 더 감 ``` 2.8m면 사람을 치고 안 치고가 갈려. 엣지 칩은 같은 판단을 10ms 안에 해. 왕복이 없으니까. 빛의 속도랑 라우터 홉은 돈으로 못 줄여. B: 그건 자율주행 같은 극단적 케이스잖아. 내 도어벨 카메라는 200ms 늦어도 아무도 안 죽어. A: 맞아, latency 하나만으론 도어벨을 설명 못 해. 그래서 벽이 네 개인 거야. 두 번째, **privacy**. 도어벨이 딱 여기 걸려. ``` 클라우드 방식: 너희 집 현관 영상 → 남의 서버에 업로드 → 거기서 "택배기사냐 침입자냐" 판단 엣지 방식: 영상이 도어벨 칩 밖으로 안 나감 → 결과("사람 있음")만 나감 ``` 원본 데이터가 디바이스를 떠나는 순간 그건 해킹당할 수 있고, 소환장에 걸리고, GDPR 위반이고, 직원이 훔쳐볼 수 있어. 안 보내면 그 위험이 *구조적으로* 0이야. 보안은 "잘 지킴"보다 "애초에 없음"이 항상 이겨. B: 그건 좀 와닿네. 근데 privacy도 결국 "그러면 좋고" 아니야? 법으로 강제 안 하면 회사들 그냥 다 클라우드로 빨아들이잖아. A: 점점 강제되고 있어 (EU AI Act, 의료 HIPAA, 공장 영업비밀). 근데 네 말이 절반 맞아 — privacy도 단독으론 약해. 세 번째 벽이 진짜 돈 얘기라 경영진을 움직여. **[[Bandwidth\|bandwidth]]**. 공장 불량검사로 가자. ``` 4K 카메라 30fps 한 대 = 초당 ~수백 MB raw 공장에 카메라 100대 이걸 다 클라우드로? = 전용회선 깔고 매달 수천만원 + 클라우드 수신/저장 요금 근데 영상의 99.99%는 "정상" → 아무 정보 없는 픽셀을 비싸게 실어나르는 중 ``` 엣지 칩이 카메라 옆에서 판단하면 회선으로 나가는 건 "3번 라인 17:42 불량 1건" 한 줄. 데이터가 굵을수록(영상/음성/센서) bandwidth 벽이 높아져. 텍스트면 안 아픈데 영상이면 미친다. B: 잠깐, 그럼 그냥 "데이터 많으면 엣지" 한 줄이잖아. 왜 latency, privacy를 따로 셈? A: 좋은 반박. 각 벽이 *다른 디바이스*를 강제하기 때문이야. 같은 결론("엣지")인데 트리거가 달라. 대비쌍으로 보면: ``` 자율주행차 → latency가 강제 (privacy/bandwidth는 부차) 도어벨/보청기 → privacy가 강제 공장 카메라 → bandwidth가 강제 배터리 드론 → ↓ 네 번째 벽이 강제 ``` 한 디바이스는 보통 한 벽 때문에 엣지로 가. 네가 만약 "우리 제품은 어느 벽에도 안 걸리는데?" 하면 → 그건 클라우드에 남아도 돼. 벽이 진단 도구인 거야. B: 네 번째는 뭔데. 아까 "평생 비용"이라며. A: **lifetime cost / energy**. 이게 제일 안 보이는데 제일 세. 시소로 보자. ``` 클라우드 inference: 모델 한 번 호출 = 전기세 + GPU 임대료. 작아 보이지? 근데 ×(평생 호출 횟수) 보청기: 깨어있는 내내, 1초에 수십 번, 5년간 = 수십억 회 드론: 배터리 20분이 전부 → 클라우드 왕복은 통신 모뎀 켜는 데만 배터리 다 씀 ``` training은 한 번 크게 태우고 끝(자본적 지출, [[CapEX Vs OpEX\|capex]]). inference는 *평생 새는 수도꼭지*(운영비, [[CapEX Vs OpEX\|opex]]). 작은 누수도 평생 곱하면 댐을 비워. 그래서 와트당 연산이 좋은 저전력 엣지 칩이 총비용에서 이겨. 클라우드 [[GPU and Training Hardware - Fundamentals\|GPU]]는 한 번 추론 단가는 싸도 "항상 켜진 채 수십억 번 + 그때마다 통신"이면 깨져. B: 정리하면 네 벽 다 "엣지 가라"인데. 그럼 training은 왜 안 따라가? 똑같이 옮기면 되잖아. A: 정반대로 네 벽이 전부 training한텐 안 걸리거나 *반대로* 작용해. 같은 표 뒤집어서: ``` inference에서 training에서 latency 사람이 기다림 → 치명적 아무도 안 기다림 → 무관 privacy 원본이 현장에 있음 이미 모은 데이터셋 → 한곳 모음이 오히려 효율 bandwidth 영상 평생 흘려보냄 한 번 모으고 끝 (capex로 흡수) energy/HW 평생 ×수십억 → opex 폭발 한 번 ×수 주 → H100 수천 장 한곳에 모아야 가능 ``` training은 H100 수천 장을 *초고속으로 서로 연결*해서 한 덩어리처럼 굴려야 해 (gradient를 서로 주고받음). 이건 물리적으로 한 건물, 한 냉각시스템, 한 전력망 안에서만 됨. 엣지 칩 백만 개에 흩뿌리면 칩끼리 통신하느라 학습이 영원히 안 끝나. B: 아 그러니까 training은 latency가 *안 중요한* 대신, 칩끼리의 latency는 *극도로* 중요해서 오히려 한곳에 모아야 한다? A: 정확해. 거기서 한 끗만 더. training의 병목은 "사람 ↔ 클라우드" 거리가 아니라 "GPU ↔ GPU" 거리야. 그래서 모으는 방향이 맞아. inference의 병목은 "데이터 ↔ 계산" 거리라 흩는 방향이 맞고. 같은 "거리" 문제인데 어느 두 점 사이 거리냐가 정반대라 결론이 갈리는 거야. (왜 GPU끼리 거리가 병목이냐는 [[Bandwidth Not FLOPS Is the Multi-GPU Bottleneck (개소리)]]에서 더 깐다.) ![[inference-edge-cloud-2.png]] B: 그럼 결국 미래엔 클라우드 GPU 다 죽고 엣지만 남아? A: 아니. 둘 다 커져, 역할이 갈릴 뿐. 매듭으로 돌아가자. ``` 공장(클라우드): 교과서를 만든다 = training. 한곳에 모을수록 이김. 학생(엣지): 교과서로 현장에서 시험 푼다 = inference. 흩을수록 이김. ``` 교과서가 좋아질수록(모델이 똑똑해질수록) 시험 보는 학생 수도 폭발해. 그래서 클라우드 training 수요도 늘고 엣지 inference 수요도 같이 늘어. inference가 엣지로 가는 건 클라우드를 *죽이는* 게 아니라, 클라우드를 교과서 공장이라는 *제 역할*로 되돌리는 거야. 처음에 말한 "기본값은 데이터 생기는 곳에서 계산" — 그 기본값으로 돌아가는 중인 거지, 새 발명이 아니라. ## 관련 노트 - [[Bandwidth Not FLOPS Is the Multi-GPU Bottleneck (개소리)]] — training이 한곳에 모이는 이유(GPU↔GPU 병목)를 깊게 판 형제 개소리 - [[GPU and Training Hardware - Fundamentals]] — training 하드웨어가 왜 클라우드에 모이는지의 토대 - [[Latency]] — 첫 번째 벽: 왕복 지연이 자율주행을 엣지로 미는 메커니즘 - [[Bandwidth]] — 세 번째 벽: 굵은 데이터가 회선 비용으로 엣지를 강제 - [[CapEX Vs OpEX]] — 네 번째 벽: training=capex 1회 vs inference=opex 평생