쉽게 살 수 있을까 ?

AI 모델 개발부터 배포, AIOps까지의 전체 라이프사이클을 지원하는 오픈소스 소프트웨어

 

나는 쓰고 있는데 빠졌거나 오류가 있다면  --> 여기에 <-- 신고해주세요.

(이 목록 자체도 Claude 3.7 Sonet과 Perplexity pro 두가지 AI가 만든 것을 합치고 일부 손으로 추가한 것임)

 

1. 오픈소스 LLM 모델

 

• LLaMA/LLaMA2/LLaMA3: Meta의 강력한 오픈소스 LLM
• Mistral/Mistral-7B/Mixtral: Mistral AI의 고성능 LLM
• Falcon: TII에서 개발한 다국어 LLM
• MPT: MosaicML의 LLM 시리즈
• BLOOM/BLOOMZ: BigScience의 다국어 LLM
• StableLM: Stability AI의 LLM
• Phi-1/Phi-2/Phi-3: Microsoft의 소형 LLM
• FLAN-T5/FLAN-UL2: Google의 지시 모델
• GLM/ChatGLM: 중국 Tsinghua의 LLM
• Dolly: Databricks의 LLaMA 기반 모델
• Pythia: EleutherAI의 연구용 LLM
• OpenLLaMA: LLaMA 아키텍처의 오픈 재구현
• RedPajama: Together의 LLaMA 대체 모델
• Baichuan/Baichuan2: 중국 Baichuan의 다국어 모델
• Yi/Yi-34B: 01.AI의 개방형 LLM
• OPT: Meta의 초기 오픈소스 LLM
• Qwen/Qwen2: Alibaba의 오픈소스 모델
• DeepSeek: DeepSeek의 고성능 LLM
• XGLM: Meta의 다국어 생성 모델
• TinyLlama: 작은 크기의 LLaMA 모델
• Gemma: Google의 오픈 웨이트 LLM
• HyperCLOVA X SEED: 네이버의 오픈 웨이트 LLM

• CodeLLaMA: Meta의 코드 생성 특화 LLM
• StarCoder/StarCoder2: Hugging Face의 코드 생성 모델
• CodeGemma: Google의 코드 특화 오픈웨이트 모델
• WizardCoder: 코딩에 최적화된 지시 조정 모델
• Llama-V-Next: Vision-Language 능력을 가진 LLaMA
• mPLUG-Owl: 시각 기능이 있는 다중 모달 모델
• Whisper: OpenAI의 오픈소스 음성 인식 모델
• SpeechT5: 다목적 음성 및 텍스트 모델
• Megatron-LM: NVIDIA의 대규모 변환기 구현
• Cerebras-GPT: 다양한 크기의 GPT 모델
• Olive: Microsoft의 최적화된 추론 모델
• OLMo: Allen Institute의 오픈 언어 모델

• Vicuna: UC Berkeley의 LLaMA 파인튜닝 모델
• Alpaca: Stanford의 LLaMA 파인튜닝 모델
• Koala: UC Berkeley의 대화형 모델
• Orca/Orca 2: Microsoft의 추론 향상 모델
• WizardLM: 복잡한 지시 처리 전문 모델
• SOLAR: Upstage의 고성능 SFT 모델
• Platypus: 다양한 데이터셋으로 조정된 LLaMA
• OpenChat: 지시 고도화 대화 모델
• Zephyr: Hugging Face의 지도 미세조정 모델
• Hermes: 다양한 기반 모델에 적용된 조정 방법
• Nous-Hermes: Nous Research의 조정 모델
• Yayi: 중국어에 특화된 파인튜닝 모델
• LLaVA: 다중 모달 지시 조정 모델
• RWKV: RNN과 Transformer 특성을 결합한 모델
• PEFT Models: 다양한 파라미터 효율적 튜닝 모델들

• DeepSpeed: Microsoft의 대규모 분산 학습 최적화
• Megatron-DeepSpeed: NVIDIA+Microsoft 대규모 학습
• FSDP (Fully Sharded Data Parallel): PyTorch 분산 학습
• Alpa: JAX 기반 자동 모델 병렬화
• ColossalAI: 대규모 AI 모델 병렬화 시스템
• BMTrain: OpenBMB의 효율적인 학습 도구킷
• Composer: MosaicML의 학습 라이브러리
• FairScale: 대규모 PyTorch 모델 학습
• Accelerate: Hugging Face의 분산 학습 유틸리티
• Hivemind: 분산 PyTorch 학습
• DeepSpeed-MII: 모델 추론 인터페이스
• HuggingFace TRL: 강화학습 기반 LLM 파인튜닝
• LMFlow: LLM 파인튜닝 툴킷
• LLM-Foundry: MosaicML의 LLM 학습 도구
• Flash Attention: 효율적인 어텐션 구현
• xFormers: 효율적인 Transformer 구현

• PEFT: Hugging Face의 파라미터 효율적 파인튜닝
• QLoRA: 양자화된 저랭크 어댑터 미세조정
• Lit-LLaMA: LLaMA 모델 경량 구현
• OpenPrompt: 프롬프트 학습 프레임워크
• SetFit: 소량 데이터 미세조정
• Ludwig: 코드 없는 딥러닝 툴박스
• FastChat: LLM 훈련 및 평가 플랫폼
• unsloth: 빠른 LLM 미세조정 라이브러리
• LlamaIndex: 커스텀 RAG 파인튜닝
• FLAML: 효율적인 AutoML 및 미세조정
• EasyLM: JAX 기반 LLM 학습
• Transformers Trainer: HuggingFace 학습 API
• LoraHub: LoRA 어댑터 공유 및 조합
• Axolotl: LLM 미세조정 래퍼
• mergekit: LLM 모델 병합 도구

• Tokenizers: Hugging Face의 빠른 토크나이저
• SentencePiece: 언어에 구애받지 않는 토크나이저
• BPE: 바이트 페어 인코딩 구현
• DataQuality: 데이터셋 품질 분석 도구
• Datasets: HuggingFace 데이터셋 라이브러리
• LMSYS Datasets: 대화형 LLM 데이터셋
• Alpaca-cleaned: 클린 지시 데이터셋
• RedPajama-Data: LLM 학습용 오픈 데이터셋
• OpenAssistant: 대화 어시스턴트 데이터셋
• LAION: 대규모 오픈 데이터셋
• Dolly-15k: 지시 따르기 데이터셋
• BigScience-Data: 다국어 데이터셋

• HELM: Stanford의 LLM 평가 프레임워크
• LM-Eval-Harness: EleutherAI의 LLM 평가 도구
• MT-Bench: LLM 멀티턴 질문 벤치마크
• OpenAI Evals: LLM 평가 프레임워크
• Hugging Face Evaluate: 모델 평가 라이브러리
• Giskard: LLM 테스트 프레임워크
• TruLens: LLM 애플리케이션 평가 도구
• LLM Judge: 모델 응답 평가 도구
• PandaLM: LLM 평가를 위한 LLM
• Ragas: RAG 시스템 평가 프레임워크
• Uptrain: LLM 평가 오픈소스 도구
• Promptfoo: 프롬프트 테스팅 도구

• MMLU: 다양한 과목 평가 벤치마크
• HumanEval: 코드 생성 벤치마크
• GSM8K: 수학 문제 해결 데이터셋
• BBH: Big-Bench Hard 벤치마크
• TruthfulQA: 사실성 평가 벤치마크
• MATH: 고난도 수학 문제 데이터셋
• HellaSwag: 상식 추론 벤치마크
• AlpacaEval: 지시 따르기 벤치마크
• DROP: 읽기 이해 데이터셋
• C-Eval: 중국어 평가 벤치마크
• GLUE/SuperGLUE: 자연어 이해 벤치마크
• FLORES: 다국어 번역 평가

• vLLM: 고성능 LLM 서빙 엔진
• TensorRT-LLM: NVIDIA 추론 최적화
• FasterTransformer: NVIDIA의 Transformer 추론
• TurboTransformers: 모바일/서버 추론 최적화
• Optimum: Hugging Face 모델 최적화
• TVM: 딥러닝 컴파일러
• ONNX Runtime: 모델 추론 가속화
• DeepSparse: 희소 모델 가속 엔진
• OpenVINO: 인텔 추론 최적화 도구킷
• CoreML: Apple 기기용 모델 변환
• MLC-LLM: 다양한 기기에서 LLM 실행
• HuggingFace text-generation-inference: 최적화 추론 서버
• HuggingFace Optimum-Intel: 인텔 하드웨어 최적화
• llama.cpp: C/C++로 구현된 LLM 추론

• GPTQ: GPT 모델 양자화
• AutoGPTQ: GPTQ 자동화
• LLM.int8(): 8비트 LLM 추론
• bitsandbytes: 8비트/4비트 최적화
• AWQ: 활성화 인식 가중치 양자화
• SmoothQuant: LLM 혼합 정밀도 양자화
• Quantization: PyTorch 양자화 라이브러리
• SPQR: 희소-양자화 표현
• OmniQuant: 다양한 양자화 방법 도구
• QLoRA: 양자화된 저랭크 파인튜닝

서빙 프레임워크

• Text Generation Inference: HF 추론 서버
• Ray Serve: Ray 기반 서빙 프레임워크
• Triton Inference Server: NVIDIA 서빙 플랫폼
• Nvidia AI Endpoints: LLM 추론 API
• Haystack: 생성형 AI 애플리케이션 프레임워크
• BentoML: 모델 서빙 플랫폼
• Gradio: UI 빠른 구축 도구
• FastAPI: API 개발 프레임워크
• Steamship: 생성형 AI 배포 플랫폼
• SkyPilot: 클라우드 컴퓨팅 관리
• HuggingFace Inference Endpoints: 관리형 추론
• Modal: 클라우드 실행 환경
• Banana: ML 모델 서빙 클라우드
• Replicate: 모델 호스팅 플랫폼

• Prometheus: 시계열 데이터 수집 및 저장을 위한 모니터링 시스템
• Grafana: 데이터 시각화 및 모니터링 도구
• Zabbix: 엔터프라이즈급 모니터링 솔루션으로, 네트워크와 서버를 모니터링
• Nagios: IT 인프라 모니터링 도구로, 시스템, 네트워크 및 애플리케이션을 모니터
  
  
• Grype: SCA(소프트웨어 컴포지션 분석) 도구로, 컨테이너 이미지와 파일 시스템의 취약점을 스캔
• OpenSSF: 소프트웨어 공급망 보안을 강화하기 위한 프레임워크
• KubeScape: 쿠버네티스 보안 및 CSPM(클라우드 보안 상태 관리) 도구
• Semgrep: SAST(정적 애플리케이션 보안 테스트) 도구로, 코드 수준의 보안 이슈를 탐지

• LangChain: LLM 애플리케이션 개발 프레임워크
• LangGraph: LangChain을 확장한 그래프 기반 아키텍처
• MCP: Model Context Protocol
• OpenAI Agents SDK: OpenAI에서 제공하는 에이전트 개발 SDK
• Microsoft 365 Agent SDK: Microsoft에서 제공하는 에이전트 개발 SDK
• AutoGPT: 자율 GPT-4 에이전트
• BabyAGI: 작업 관리 AI 에이전트
• LlamaIndex: LLM 지식/데이터 증강 프레임워크
• CrewAI: 협업 자율 에이전트
• AgentGPT: 브라우저에서 실행되는 자율 에이전트
• XAgent: 자율 에이전트 시스템
• Agent-LLM: 오픈소스 AI 어시스턴트
• Autogen: Microsoft의 다중 에이전트 시스템
• DSPy: LLM 프로그래밍 프레임워크
• TaskWeaver: Microsoft의 코드 중심 에이전트
• Haystack Agents: 재사용 가능 에이전트 시스템
• SuperAGI: 강력한 오픈소스 자율 AI 에이전트
• Marvin: 오픈소스 AI 엔지니어링 프레임워크
• LLM Agents: 전략 AI 에이전트 구축 라이브러리
• Smolagents: 경량화된 AI 에이전트 프레임워크
• SWE-Kit: 코딩 에이전트를 위한 오픈소스 헤드리스 IDE
• Composio: AI 통합 및 도구 플랫폼으로, 코드베이스 채팅, GitHub PR 자동화
• Aider: AI 페어 프로그래밍 도구
• Agentica: Typescript AI 프레임워크

• Chroma: 임베딩 벡터 데이터베이스
• FAISS: 효율적인 유사도 검색
• Weaviate: 벡터 검색 엔진
• Pinecone: 벡터 데이터베이스
• Milvus: 오픈소스 벡터 DB
• Qdrant: 벡터 유사도 검색 엔진
• Vespa: 검색 및 추천 엔진
• Elasticsearch Vector Search: 벡터 검색
• pgvector: PostgreSQL 벡터 검색 익스텐션
• Marqo: 텐서 검색 엔진
• MongoDB Atlas Vector Search: 벡터 검색
• Typesense: 빠른 검색 엔진
• LanceDB: 임베딩 벡터 데이터베이스
• txtai: AI 기반 검색 엔진
• OpenSearch: 검색 및 분석 엔진

• LangChain Memory: 지속적 대화 메모리
• MEMGPT: 장기 메모리 구현
• Zep: 긴 컨텍스트 저장소
• ChromaDB: 영구 벡터 저장소
• MemoryDB: 인메모리 데이터베이스
• LM Studio: 로컬 LLM 개발/실행 환경
• Neo4j Vector Index: 그래프 벡터 검색
• Ollama: 로컬 LLM 실행 도구
• GPTCache: LLM 응답 캐싱 라이브러리
• Semantic Kernel: Microsoft의 메모리 증강 프레임워크

• LangChain Tools: 내장 도구 모음
• LlamaHub: LlamaIndex 커넥터/도구
• ToolBench: 도구 활용 프레임워크
• ToolLLM: 도구 사용 LLM 학습
• JARVIS: 도구 중심 AI 시스템
• GPT4Tools: 시각적 도구 사용 향상
• Gorilla: LLM API 활용 프레임워크
• ModelScope: AI 모델/도구 플랫폼
• Outlines: 구조화된 텍스트 생성 라이브러리
• gpt-researcher: 연구 에이전트 프레임워크
• Guidance: 제어된 텍스트 생성 도구

• CLIP: OpenAI의 이미지-텍스트 인코더
• Florence: Microsoft의 비전 파운데이션 모델
• BLIP/BLIP-2: 이미지-텍스트 이해 모델
• ViLT: 경량 비전-언어 변환기
• LLaVA: 시각적 지시 조정 모델
• MiniGPT-4: 시각-언어 조정 모델
• CogVLM: 시각-언어 모델
• KOSMOS: Microsoft의 멀티모달 LLM
• mPLUG-Owl: 멀티모달 대화형 모델
• ImageBind: 멀티모달 임베딩
• BakLLaVA: 중국어 시각-언어 모델
• Qwen-VL: Alibaba의 멀티모달 모델
• Fuyu: Adept의 멀티모달 모델
• OpenFlamingo: Flamingo 아키텍처 구현

• Stable Diffusion: 이미지 생성 확산 모델
• Kandinsky: 오픈소스 이미지 생성 모델
• ControlNet: 컨디셔닝 제어 메커니즘
• Diffusers: 확산 모델 라이브러리
• DALL-E mini/craiyon: 이미지 생성 모델
• Imagen: Google의 텍스트-이미지 모델
• Wuerstchen: 효율적인 텍스트-이미지 모델
• Firefly: Adobe의 이미지 생성 모델
• ComfyUI: 안정적 확산 시각화 도구
• Dreamlike Diffusion: 고품질 이미지 생성
• Automatic1111: SD 웹 UI
• kohya_ss: 미세조정 도구
• SD.Next: 안정적 확산 구현

• Whisper: OpenAI의 음성 인식 모델
• AudioLDM: 오디오 생성 모델
• TTS: 텍스트-음성 변환
• Bark: 텍스트-오디오 생성 모델
• MusicGen: 음악 생성 모델
• VALL-E: 텍스트-음성 변환 모델
• SEA: 효율적인 오디오 생성
• Voicebox: 음성 생성 모델
• AudioCraft: 오디오 생성 프레임워크
• Amphion: 오디오 생성 툴킷
• Gen-1/Gen-2: 비디오 생성 모델
• Video-LDM: 비디오 확산 모델
• AnimateDiff: 이미지-비디오 생성
• Text2Video-Zero: 텍스트-비디오 변환

• TensorFlow: 구글에서 개발한 종합 ML 프레임워크, 연구와 프로덕션에 모두 사용
• PyTorch: 페이스북에서 개발한 연구 친화적 ML 프레임워크, 동적 계산 그래프 특징
• JAX: 구글에서 개발한 고성능 수치 계산 라이브러리, 자동 미분 지원
• Keras: 사용자 친화적인 고수준 신경망 API
• MXNet: 아마존이 지원하는 효율적인 분산 학습 프레임워크
• Chainer: 일본에서 개발된 동적 신경망 프레임워크
• Paddle Paddle: 바이두에서 개발한 산업용 딥러닝 플랫폼
• DeepSpeed: 마이크로소프트의 대규모 분산 학습 최적화 라이브러리
• Oneflow: 분산 딥러닝 프레임워크, 대규모 클러스터에 최적화
• MindSpore: 화웨이에서 개발한 전체 시나리오 AI 컴퓨팅 프레임워크
• Together AI: 협업 기반 오픈소스 AI 모델 개발 플랫폼

• Scikit-learn: 전통적인 ML 알고리즘 구현
• XGBoost/LightGBM/CatBoost: 그래디언트 부스팅 구현
• Vowpal Wabbit: 온라인 학습 및 대규모 데이터셋 처리
• RAPIDS: GPU 가속 데이터 과학
• OpenCV: 실시간 컴퓨터 비전을 위한 라이브러리
• MediaPipe: 구글의 크로스 플랫폼 ML 솔루션 프레임워크
• Dask-ML: 대규모 병렬 ML 계산
• MLpack: 빠른 ML 알고리즘 구현 C++ 라이브러리
• Surprise: 추천 시스템 특화 라이브러리
• PyCaret: 로우코드 ML 라이브러리
• Shogun: C++ 기반 ML 도구모음
• H2O: 분산 ML 플랫폼
• LIBSVM/LIBLINEAR: SVM 구현 라이브러리
• Prophet: 페이스북의 시계열 예측 라이브러리
• PyOD: 이상 탐지 파이썬 라이브러리
• DeepCTR: CTR 예측 모델 라이브러리

• Apache Airflow: 워크플로우 오케스트레이션 플랫폼
• Airbyte: 오픈소스 데이터 통합 플랫폼
• dbt: 데이터 변환 도구로, SQL을 사용하여 데이터 웨어하우스에서 변환
• Meltano: 데이터 파이프라인 프레임워크로, Singer를 포함한 여러 오픈소스 도구를 통합

• Apache Kafka: 분산 이벤트 스트리밍 플랫폼
• Apache Flink: 실시간 및 배치 데이터 처리를 위한 스트림 처리 프레임워크
• Apache Storm: 분산 실시간 계산 시스템

• Kubeflow: 쿠버네티스 기반 ML 워크플로우 플랫폼
• MLFlow: 머신러닝 라이프사이클 관리 플랫폼
• ZenML: ML 파이프라인 프레임워크

• OLMoE (Allen AI): iOS 앱을 을 위한 프라이버시와 보안이 강화된 모델
• TensorFlow Lite: 모바일 및 엣지 디바이스용으로 최적화된 TensorFlow 
• EVE-OS: 분산 엣지 컴퓨팅을 위한 오픈 리눅스 기반 운영 체제
• EdgeX Foundry: 엣지 디바이스와 센서에서 엔터프라이즈 또는 클라우드 애플리케이션
• Robot Operating System (ROS): 로봇 애플리케이션 개발을 위한 오픈소스 프레임워크