LLM Engineer (Optimization)
Full-time
42dot
About The Team & Mission LLM Engineer (Optimization)는 대규모 언어 모델(LLM)의 추론 성능(Inference Performance)을 극대화하여 실제 서비스 환경에 최적화된 AI 시스템을 개발합니다. 서버(GPU Cluster)부터 Edge 및 On-device 환경까지 다양한 하드웨어에서 최고의 성능과 효율을 달성할 수 있도록 Inference Engine, Runtime, Compiler 및 Model Optimization 기술을 연구·개발합니다. 최신 LLM Serving 기술과 GPU/Accelerator 최적화를 활용하여 고성능·저지연·저비용 AI 서비스를 구현하는 핵심 역할을 수행합니다. Responsibilities
- LLM Inference Optimization
- 대규모 언어 모델(LLM)의 추론 성능(Latency, Throughput, Memory Efficiency)을 최적화합니다.
- 다양한 모델 구조 및 추론 환경에 맞는 최적화 기법을 연구하고 적용합니다.
- Long Context, Multi-turn Conversation 등 실제 서비스 환경에서의 성능을 개선합니다.
- Inference Engine 및 Runtime 개발
- GPU 및 Accelerator 기반 LLM Inference Engine을 개발하고 최적화합니다.
- vLLM, TensorRT-LLM, SGLang, llama.cpp, ONNX Runtime, MLX 등 최신 Inference Framework를 활용하거나 개선합니다.
- Speculative Decoding, Prefill-Decode Disaggregation 등 최신 Serving 기술을 적용합니다.
- Model Compression 및 Compiler Optimization
- Quantization(MXFP8, NVFP4, AWQ, GPTQ 등) Pruning, Distillation 등 모델 경량화 기법을 연구하고 적용합니다.
- CUDA, Triton, TensorRT, TVM, MLIR 등 Compiler 및 Kernel Optimization을 활용하여 추론 성능을 향상합니다.
- GPU Memory 및 Kernel 효율을 분석하고 최적화합니다.
- Edge AI 및 On-device Optimization
- Mobile, Embedded, Edge Device 환경에서 LLM을 효율적으로 실행하기 위한 최적화 기술을 개발합니다.
- CPU, GPU, NPU 등 다양한 하드웨어 아키텍처에 맞는 최적화 전략을 수립합니다.
- 제한된 리소스 환경에서도 높은 성능과 낮은 전력 소비를 달성할 수 있도록 최적화합니다.
- Performance Analysis 및 Benchmark
- 다양한 하드웨어 및 Inference Backend의 성능을 분석하고 Benchmark를 수행합니다.
- NVIDIA Nsight Systems, Nsight Compute, py-spy 등의 Profiling Tool을 활용하여 GPU 및 Runtime 병목을 분석하고 지속적으로 추론 성능을 개선합니다.
- 주어진 Prompt 및 서비스 요구사항에 맞춰 모델 품질, 추론 성능(Latency/Throughput), 비용 간의 Trade-off를 최적화하고, 이에 적합한 Serving Architecture를 설계합니다.
- ILLM, Machine Learning Infrastructure 또는 Inference Optimization 관련 경력 3년 이상
- LLM Inference Engine 또는 AI Runtime 개발 경험
- GPU Architecture, CUDA Programming 또는 병렬 컴퓨팅에 대한 이해
- Quantization, Model Compression, Compiler Optimization 등 모델 최적화 기술에 대한 이해
- PyTorch, ONNX, TensorRT 등 딥러닝 프레임워크 활용 경험
- Python 및 C/C++ 중 하나 이상의 언어에 능숙하며, 소프트웨어 엔지니어링 역량을 보유하신 분
- 성능 분석 및 문제 해결 능력과 협업 역량을 갖추신 분
- vLLM, TensorRT-LLM, SGLang, llama.cpp, MLX, ONNX Runtime 등 LLM Serving Framework 활용 또는 개발 경험
- CUDA, Triton Kernel 또는 Custom Operator 개발 경험
- Speculative Decoding, Prefill-Decode Disaggregation, KV Cache Compression, Expert Parallelism(MoE) 등 최신 LLM Inference Optimization 및 Serving 기술 경험
- NVIDIA GPU(H100, B200 등), AMD GPU 또는 다양한 AI Accelerator 최적화 경험
- Edge AI 및 On-device LLM 최적화 경험(Orin, Thor, Qualcomm, Apple Silicon 등)
- Kubernetes 기반 AI Serving 또는 대규모 GPU Cluster 운영 경험
- LLM Fine-tuning 및 Distributed Training에 대한 이해
- AI Systems, ML Systems 또는 LLM Infrastructure 관련 오픈소스 기여 경험
- AI/ML Systems 분야의 우수 학회(NeurIPS, ICML, ICLR, MLSys, OSDI, NSDI, ASPLOS 등) 논문 발표 또는 이에 준하는 연구 경험
Vacancy posted 5 hours ago
Similar jobs that could be interesting for youBased on the LLM Engineer (Optimization) in South Korea vacancy
- ...About The Team & Mission LLM Engineer(LLM Training)는 LLM학습 파이프라인을 설계하여 실서비스에서 활용 가능한 생성형 언어모델을 학습합니다. 지속적인 품질 향상을 위하여 끊임없이 새로운 방법론을 시도하여, 실사용자에게 꼭 필요한 서비스를 출시하고, LLM 스스로 품질을 개선할 수 있도록 가다듬는 일에 기여합니다. Responsibilities LLM학습 과정의 효율 향상 Pre-training 및 Post-training...SuggestedFull time
- ...About The Team & Mission LLM Engineer (Data Generation)는 Data-Centric AI 관점에서 모델 성능 향상에 필요한 학습 데이터를 설계·생성·평가·개선하는 역할을 수행합니다. 모델의... ...LLM Pre-training, Supervised Fine-tuning(SFT), Preference Optimization(DPO/RLHF/RLAIF) 등 LLM 대규모 학습 데이터 구축 경험 LLM Evaluation Framework...SuggestedFull time
- 주요 업무 (Responsibilities) 전력변환장치 (태양광 인버터 등) 및 관련 악세서리 장비의 국내 인증 대응 고객사 및 파트너사의 기술 문의 및 현장 기술지원 대응 고객사 및 설치 현장 방문을 통한 장비 점검, 설치 지원, 시운전, 유지보수 및 수리 작업 수행 현장에서 발생하는 제품 또는 시스템 이슈에 대한 원인 분석 및 해결 방안 제시 시험 성적서, 인증 문서, 기술 매뉴얼 등 기술 문서 작성 및 관리 사내 품질/서비스/인증 부서와 협...SuggestedFull time
Solplanet
South Korea2 days ago - ...About The Team & Mission Advanced Quality Engineer (신차 품질 보증)는 42dot SW 제품의 개발 품질 및 신차 품질을 확보하는 역할입니다. 개발 단계에서 고객 관점의 품질 활동(APQP)을 수행... ...하여 Root Cause Analysis 및 개선 활동을 수행합니다. AI 서비스 품질 관리 음성인식, LLM, Agent 기반 서비스의 품질 KPI 운영 및 품질 평가를 수행합니다. AI 응답 정확도, 응답시간, 성공률...SuggestedFull time
- ...About The Team & Mission 42dot의 Senior Computer Vision Engineer는 안전한 자율주행 기술들을 연구 개발합니다. 고도화된 컴퓨터비전과 기계학습 기술을 활용하여 자율주행차에서 취득되는 다양... ...Expertise in parallel programming (e.g., CUDA, OpenCL) and system optimization Demonstrated experience in SLAM, depth estimation, 3D...SuggestedFull time
- ...About The Team & Mission 42dot의 Computer Vision Engineer는 안전한 Autonomous Driving 기술 구현을 위한 핵심 Computer Vision 및 Machine Learning 기... ...parallel programming technologies such as CUDA or OpenCL and system optimization Experience developing VR/AR applications Publication...Full time
- ...About The Team & Mission 42dot의 Senior Android Build Engineer는 Android 빌드 시스템에 대한 깊은 이해를 갖춘 숙련된 빌드 전문가입니다. SDV(Software Defined Vehicle)의 핵심 시스템인 IVI(In-Vehicle Infotainment)용 Android Automotive 기반 빌드 및 최적화를 담당하게 됩니다. SW 개발팀과 긴밀히 협력하여 다양한 목적의 빌드 이미지 제작부터 궁극적으로는 안정적인...Full time
- ...About The Team & Mission 42dot의 Vehicle Service Engineer는 SDV 아키텍처 기반으로 다양한 차량 애플리케이션을 설계 및 개발합니다. 차량 제어, 사용자 인터페이스(UI), 사용자 관리, 원격 제어, 데이터 수집 및 분석 등 핵심 기능을 구현하며, 분산 메시지 프레임워크와 fault tolerance 구조를 활용해 안정적이고 확장 가능한 애플리케이션을 개발합니다. ~ Pleos 살펴보기 : Link Responsibilities...Full time
- ...Financial Services Korea] IT Intern -AI Engineering Posting Start Date: 10/23/26 Job Location... ...awaits you? Support the development, optimization, and troubleshooting of AI-powered... ...solutions using Large Language Models (LLMs). LLM 기반 AI 문서 처리 솔루션의 프롬프트 설계, 성능 개선 및 문제 해결을...Internship
- ...About The Team & Mission Gleo AI는 다양한 차량 환경에서도 사용자의 음성을 정확하게 이해하고, 이를 LLM 기반 AI Agent가 자연스럽게 활용할 수 있도록 연결하는 음성 AI 기술을 개발하고 있습니다. 우리는 단순히 음성을 텍스트로 변환하는 것을 넘어, 사용자의 의도와 맥락을 이해하고 다양한 타겟 디바이스에서 최적의 성능으로 동작하는 AI 기술을 연구합니다. 특히 기존 음성인식 기술이 해결하기 어려웠던 무한한 도메인과 다양한 사용자 표현을...Full time
- ...About The Team & Mission 42dot의 IVI OS Engineer (Camera System)는 Android 기반 차량용 카메라 시스템의 핵심 기능을 설계하고 최적화할 소프트웨어 엔지니어를 찾습니다. 카메라 하드웨어 인터페이스, 원격 비디오 스트리밍, 차량 내 카메라 기반 애플리케이션 개발 등을 담당하며, 자동차 환경에 특화된 안정적이고 혁신적인 카메라 서비스를 구현합니다. Responsibilities Camera HAL 및 EVS HAL...Full time
- ...About The Team & Mission 42dot의 Test Engineer는 42dot의 Autonomous vehicle의 주행 환경 분석을 통한 다양한 Test scenario 및 procedure를 개발하고, 이를 바탕으로 Autonomous vehicle에 대한 주행 평가를 수행 합니다. 또한 주행 평가 분석을 통하여 Autonomous vehicle의 성능 관리하고, 개발자들과 소통하여 Autonomous vehicle의 성능 육성 할 수 있도록 업무를 수...Full time
- ...자 경험(Developer Experience)을 설계하는 역할을 수행합니다. 개발자가 플랫폼을 처음 접하는 순간부터 SDK와 API를 활용한 개발, 테스트, 검증, 배포 및 운영까지 전체 개발자 여정을 설계하고, Product, Engineering 및 다양한 이해관계자와 협업하여 플랫폼 정책과 서비스 방향을 정의합니다. Responsibilities Developer Platform의 서비스 전략과 제품 방향을 수립합니다. Developer Portal, Console...Full time
- About The Team & Mission SDV 제어기 Diagnosis 기능 품질 검증 USD 기반(CAN/Eth) 진단서비스 및 DTC/강제구동/세션/보안 등 검증 체계 구축 Linux/RTOS 및 차량 네트워크에 대한 이해 기반 로그와 진단 데이터 분석 및 문제 원인 구조화 CI/CD 기반 지속적인 진단 검증 프로세스 구축 및 품질 지표 관리 등 SDV 환경에서 진단 품질의 표준화 및 내재화 Responsibilities 검증 계획 수립...Full time
- ...니터링 및 운영 최적화 전반에 기여하게 됩니다. At 42dot, our AI Infrastructure Engineer manages the high-performance AI infrastructure orchestrating thousands... ...will contribute to the scaling, monitoring, and operational optimization required to maintain a robust and world-class computing...Full time
42dot
South Korea24 days ago - ...자연스럽게 수행할 수 있는 AI Agent를 개발합니다. 우리는 LLM을 기반으로 사용자의 요청을 해석하고 적절한 기능과 데이터를 활용해 답변과... ...평가 및 서비스 적용까지 Agent 모델 개발의 전 과정을 함께할 AI Engineer를 찾습니다. Responsibilities Navigation... ...Tuning, Supervised Fine-Tuning, Preference Optimization 등 목적에 적합한 학습 방법 설계 및 적용) 사용자 발화와 이동 맥락...Full time
- ...About The Team & Mission Performance Engineering 팀은 Software Defined Vehicle(SDV) 플랫폼의 백엔드 시스템이 안정적이고 확장성 있게 운영될 수 있도록 성능을 설계하고 검증하는 역할을 수행합니다. 단순한 성능 테스트를 넘어 서비스 설계 단계부터 성능 목표를 정의하고, 아키텍처 개선과 자동화된 검증 체계를 구축하여 최고의 사용자 경험을 제공합니다. Gleo AI, App Market 등 42dot의 주요 플랫...Full time
- ...About The Team & Mission 42dot의 Media Framework Engineer는 Vehicle OS에서 Autonomous Driving/Parking, DMS/OMS, Data Collection, Dashcam 등 다양한 Media Service가 원활히 동작할 수 있도록 Media Framework와 Communicator의 Core Engine을 개발합니다. Media Framework는 GStreamer, VStreamer(in-house...Full time
- ...About The Team & Mission AD Framework Software Engineer는 Autonomous Driving System을 위한 핵심 Middleware Framework를 설계하고 개발합니다. 실시간 통신,... ...real-time communication and execution frameworks Develop and optimize distributed software running on Linux and RTOS platforms Design...Full time
- ...The Role: We are looking for a driven Sales Engineer to expand our footprint in the Korean market. You will act as the vital link between our China headquarters and local clients. The ideal candidate possesses exceptional trilingual communication skills and the mobility...Full timeLocal area
- ...About The Team & Mission 42dot의 Senior AI Engineer (Driving VLM/VLA)는 수백만 건의 실제 자율주행 데이터를 활용해 차세대 Driving Foundation Model을 개발합니다. Vision... ...자율주행 또는 robotics foundation model 개발 경험 VLM/LLM fine-tuning, instruction tuning, multimodal alignment 경험 VLA,...Full time
- ...About The Team & Mission Senior Physical AI Engineer는 차세대 자율주행을 위한 End-to-End(E2E) Planning Model과 모델의 학습·검증을 위한 Closed-loop Simulation... ...or robots and leading experiments Experience designing, optimizing, and operating large-scale simulation pipelines or platforms...Full time
- ...About The Team & Mission Security Engineer는 42dot의 핵심 제품인 SDV(Software Defined Vehicle)에 필요한 전반적인 보안 요소를 정의하고, SDV 엔지니어링 팀과의 긴밀한 협업을 통해 다양한 보안 기술을 개발하여 통합 보안 솔루션을 구현합니다. 또한 SDV의 보안 요구사항을 체계적으로 수립하고, 보안 설계에 대한 평가를 수행하며, 이에 따른 보안 기능의 개발과 검증까지 책임집니다. Responsibilities...Full time
- ...About The Team & Mission Gleo AI는 현대차 더 뉴 그랜저에 처음 적용된 LLM 기반 차량용 음성 AI 에이전트입니다. 사용자는 정해진 명령어를 외우지 않아도 차량과 자연스럽게 대화하며 내비게이션, 전화,... ...Gleo AI의 핵심 동작을 설계하고 고도화합니다. 우리는 실제 차량에 탑재되는 AI 제품을 함께 발전시킬 AI Engineer를 찾고 있습니다. 에이전트를 연구 수준의 데모가 아니라, 수많은 사용자가 매일 경험하는 안정적이고 유용한 서비스로...Full time
- ...Interactor 팀은 차량과 사용자를 자연스럽게 연결하는 AI Agent 기술을 개발합니다. 또한 사용자의 요청과 차량 상황을 이해하고, 차량의 다양한 기능과 앱을 적절하게 활용해 필요한 동작을 수행하며, 그 결과를 자연스럽게 전달하는 LLM 기반 인터랙션 시스템을 만들고 있습니다. 특히 차량에서는 LLM의 판단이 실제 차량 동작으로 이어질 수 있기 때문에, 일반적인 대화형 AI보다 높은 수준의 신뢰성이 요구됩니다. 차량의 상황과 제약을 정확하게 반영하고, 상황에 맞는 행...Full time
- ...About The Team & Mission Gleo AI는 현대차 더 뉴 그랜저에 처음 적용된 LLM 기반 차량용 음성 AI 에이전트입니다. 사용자는 정해진 명령어를 외우지 않아도 차량과 자연스럽게 대화하며 내비게이션, 전화,... ...Gleo AI의 핵심 동작을 설계하고 고도화합니다. 우리는 실제 차량에 탑재되는 AI 제품을 함께 발전시킬 AI Engineer를 찾고 있습니다. 에이전트를 연구 수준의 데모가 아니라, 수많은 사용자가 매일 경험하는 안정적이고 유용한 서비스로...Full time
- ...About The Team & Mission 42dot Software Update Engineer(Software Update Application) 는 SDV 차량의 소프트웨어를 안전하고 효율적으로 배포하기 위해 Vehicle Software Update 시스템을 설계·구현·운영합니다. 업데이트 패키지의 전달, 검증, 설치, 상태 관리 등 차량 소프트웨어 업데이트 전반의 흐름을 고려하여 안정적인 배포 환경을 구축하고, 다양한 차량 환경에서도 일관된 업데이트 경험을 제공...Full time
- ...ABOUT YOU We are looking for a Senior Full-Stack Engineer who is innovative, detail-oriented, and highly collaborative to join our Engineering... ..., troubleshoot complex system behaviors, and continuously optimize performance and resiliency will be key to your success in this...Full timeLocal area
- ...About The Team & Mission Open Platform Engineering 팀은 내부와 외부의 수많은 API의 입구를 책임지며, 보안과 유연성을 갖춘 인증·인가 체계부터 고가용성 플랫폼 운영, API 거버넌스까지 복합적인 기술 과제를 해결해 나갑니다. Responsibilities API Gateway, 서비스 간 연동 구조를 이해하고, 외부 트래픽 흐름에 맞춘 보안 정책 및 접근 제어 로직을 개발합니다. 안정성, 보안, 확장성을 고려한 백...Full time
- ...About The Team & Mission Physical AI Engineer는 차세대 자율주행을 위한 End-to-End(E2E) Planning Model을 설계·개발하고, 모델의 학습·검증을 위한 Closed-loop Simulation 환경과 파이프라인을 개발합니다. Trajectory Generation과 Decision-making을 수행하는 E2E Planning Model부터 Closed-loop Simulation까지, 주행 상황을 바탕으로 안전...Full time
Do you want to receive more vacancies?
Subscribe and receive similar vacancies to LLM Engineer (Optimization). Be the first to apply!
