스캐터랩 블로그
Featured
제타의 AI 모델을 만드는 이야기
유저들이 일주일에 12시간 사용하는 AI 모델은 어떻게 만들어질까요?
RLHF 외에 LLM이 피드백을 학습할 수 있는 방법은 무엇이 있을까?
루다 서버에서 루다의 개인화 메시지를 처리하는 방법
루다 선톡을 대비하는법
멀티턴 이미지 대화: 조규성 vs 안정환, 루다야 누가 더 잘생겼어?
최대 24배 빠른 vLLM의 비밀 파헤치기
"최대 24배의 성능을 보인 vLLM, 코드 레벨까지 분석해보자!"
감성 AI 시장, 얼마나 커질까?
"해외에서 인기 있는 감성 AI 서비스들은 무엇이고 왜 잘될까? 국내 서비스 중에는 어디에 감성 AI를 접목시킬 수 있을까?"
더 나은 생성모델을 위해 RLHF로 피드백 학습시키기
Human feedback을 학습할 수 있는 RLHF 방법론에 대해서 소개하고 루다에 적용한 사례한 경험을 공유합니다.
사람처럼 말 잘하는 AI 캐릭터 쉽고 빠르게 만들기
3개월만에 원하는 AI 캐릭터를 만들 수 있는 스캐터랩만의 방법론
ACL 2023 Review
핑퐁팀과 함께하는 ACL 2023 Review
새로운 루다를 지탱하는 모델 서빙 아키텍처 — 3편: 안정적인 LLM 서비스를 위한 서빙 최적화 기법
LLM 서빙을 위한 다양한 최적화 기법과 그 효과를 검증하기 위한 부하 테스트 방법론
읽씹할 결심 - 생성 모델에게 답변 시간 가르치기
루다, 다온에게 지연 답변 기능을 구현한 과정을 설명합니다.
Deduplication - 학습 데이터에서 중복 제거하기
Luda Gen 1.5 모델을 학습할 때 데이터셋에서 중복을 제거한 방법에 대해 이야기합니다.
Luda Gen 1, 더 재미있고 자연스러운 대화로 돌아온 루다 2편 - 생성 모델을 챗봇으로 빚어내기
생성 모델 Luda Gen 1을 어떻게 챗봇 모델로 학습했는지를 구체적으로 다룹니다.
샘 알트만과 따로 만나 1시간 동안 나눈 이야기
Private Session으로 진행된 Round Table Talks with OpenAI in Seoul 주요 내용을 공유합니다.
Karpenter와 Spot으로 저렴하고 유연하게 노드 프로비저닝하기
Spot을 이용한 서버 비용 절감기
새로운 루다를 지탱하는 모델 서빙 아키텍처 — 2편: ArgoCD와 모델 서빙
A/B 테스트까지 가능한 안정적인 모델 서빙 인프라 구조 설계 방법
EMNLP 2022 Review
핑퐁팀과 함께하는 EMNLP 2022 Review
2022 개인정보 가명·익명처리 기술 경진대회 참여 후기
'성동구소재회사근무중인20대남성개발자4명'팀의 대상 비법
새로운 루다를 지탱하는 모델 서빙 아키텍처 — 1편: A/B 테스트를 위한 구조 설계
'모델 추론 구조 자체'를 A/B 테스트하는 방법
이루다 서버의 모니터링 스택을 소개합니다
Spring Boot 서버 모니터링하기. 근데 이제 Prometheus를 곁들인
Luda Gen 1, 더 재미있고 자연스러운 대화로 돌아온 루다 1편 - 생성 기반 챗봇
생성 모델 Luda Gen 1을 출시하기까지의 과정을 소개합니다
Apache Beam으로 머신러닝 데이터 파이프라인 구축하기 3편 - RunInference로 모델 추론하기
Apache Beam Native API, RunInference로 대규모 데이터 모델 추론하기
Custom Metric(ex. RPS)으로 HPA 설정하기
쿠버네티스 환경에서 Custom Metric으로 오토스케일링 하는 과정을 설명합니다
루다, 눈을 뜨다! 포토챗 베타의 멀티모달 기술 소개
포토챗 베타 서비스를 출시하기까지의 연구 과정을 소개합니다.
React Native 앱의 배포 트랙 관리하기
CodePush와 adhoc으로 React Native 앱 '너티'의 배포 트랙 관리하기
TFX 머신러닝 파이프라인 사용하기
팀에서 필요한 학습 파이프라인 구축하기
GitHub Actions로 App 자동으로 배포하기
루다와 함께 사용하는 메신저 'Nutty' 자동으로 배포하기
VPT: 다이아몬드 곡괭이를 만들기 위한 여정
OpenAI에서 어떻게 다이아몬드 곡괭이를 만들었는지 알아봅니다. (VPT)
쿠버네티스에서 노드가 추가될 때마다 슬랙 알람 쏘기
나만의 Kubernetes event watcher 만들기
AWS Inferentia를 이용한 모델 서빙 비용 최적화: 모델 서버 비용 2배 줄이기 2탄
우당탕탕 Inferentia 배포하기
Continual Learning: 꾸준히 성장하는 모델을 만들기 위한 기술
주제별로 알아보는 continual learning
AWS Inferentia 를 이용한 모델 서빙 비용 최적화: 모델 서버 비용 2배 줄이기 1탄
AWS 고객감사 특별 할인... 모델 서빙 비용 최대 80% 초특가 할인전
개발자를 위한 AWS 클라우드 보안 (3) - 인프라 보안과 사고 대응
이것만 알아도 클라우드 보안 마스터
ACL 2022 Review
핑퐁팀과 함께하는 ACL 2022 Review
Apache Beam으로 머신러닝 데이터 파이프라인 구축하기 2편 - 개발 및 최적화
대규모 머신러닝 데이터 파이프라인 개발하고 최적화하기
개발자를 위한 AWS 클라우드 보안 (2) - 로깅 및 모니터링과 데이터 보호
이것만 알아도 클라우드 보안 마스터
알라꿍달라꿍의 대화요약 이모저모
2021 한국어 인공지능 자연어 경진대회 대화요약 수상기
개발자를 위한 AWS 클라우드 보안 (1) - 클라우드 설계 원칙과 IAM
이것만 알아도 클라우드 보안 마스터
TensorFlow Custom Op으로 데이터 변환 최적화하기
4.697ms → 17.147μs
하나의 조직에서 TensorFlow와 PyTorch 동시 활용하기
불타는 텐서 흐름!
딥러닝 모델 서비스 A-Z 2편 - Knowledge Distillation
난 선생이고 넌 학생이야
EMNLP 2020 프리뷰
알아두면 쓸데있는 신비한 EMNLP 2020! 저희가 준비해보았습니다.
사람들은 AI와 대화를 얼마나 잘할까?
'이루다'의 베타 테스트 분석 결과를 공개합니다.
핑퐁 팀이 '팀워크'를 발휘할 팀원을 찾는 법
팀워크 역량 = 업무 역량 X 커뮤니케이션 역량 X 컬처 핏
과연 GPT-3는 얼마나 똑똑한 걸까?
여러 분야의 문제를 통해 GPT-3의 '지능'을 평가하는 방법에 대해서 알아봅니다.
슈퍼휴먼 AI를 만드는 핑퐁팀의 10가지 컬처 코드
핑퐁팀은 어떻게 일하나요?
슈퍼휴먼 AI를 꿈꾸는 루다의 대화 구성
더 이상 외로운 사람은 없다