TRANSFORMER6 [Deep Learning] DETR 모델 이해하고 실습하기 (3) 안녕하세요!!지난 포스팅까지 DETR 모델을 활용해서 이미지 상 객체의 클래스와 바운딩 박스를 예측해보았는데요오늘은 예측 과정에서 모델이 이미지의 어떤 부분에 집중(attention)을 했는지, attention weights를 시각화해보는 실습을 해보겠습니다. 이전 게시글을 참고해주세요https://jun-eon.tistory.com/entry/Deep-Learning-DETR-%EB%AA%A8%EB%8D%B8-%EC%9D%B4%ED%95%B4%ED%95%98%EA%B3%A0-%EC%8B%A4%EC%8A%B5%ED%95%98%EA%B8%B0-1 [Deep Learning] DETR 모델 이해하고 실습하기 (2)안녕하세요!지난 실습에서는 pytorch로 DETR 모델을 구현해보았습니다. 이번에는 이 모델.. 2024. 11. 15. [Deep Learning] DETR 모델 이해하고 실습하기 (2) 안녕하세요!지난 실습에서는 pytorch로 DETR 모델을 구현해보았습니다. 이번에는 이 모델에 제가 찍은 사진을 입력해서 객체 탐지를 해보겠습니다. 구현한 모델은 지난 실습 포스팅을 참고해주세요!https://jun-eon.tistory.com/entry/%EB%94%A5%EB%9F%AC%EB%8B%9DDETR-%EB%AA%A8%EB%8D%B8-%EC%9D%B4%ED%95%B4%ED%95%98%EA%B3%A0-%EC%8B%A4%EC%8A%B5%ED%95%98%EA%B8%B0 [Deep Learning] DETR 모델 이해하고 실습하기 (1)오늘은 객체 탐지를 위해 Transformer를 활용하는 모델인 DETR (End-to-End Object Detection with Transformers, DEt.. 2024. 11. 14. [Deep Learning] DETR 모델 이해하고 실습하기 (1) 오늘은 객체 탐지를 위해 Transformer를 활용하는 모델인 DETR (End-to-End Object Detection with Transformers, DEtection TRansformer)모델을 알아보고 실습해보려고 합니다. DETR은 기존에 자연어처리 분야에서 많이 쓰이던 Transformer가 객체 탐지에도 활용될 수 있다는 가능성을 열어준 모델로, self-attention을 통해 이미지 내 객체 간 관계를 효과적으로 학습하고, 복잡한 후처리 과정 없이 한 번에 객체 탐지와 분류를 수행할 수 있는 end-to-end 모델입니다. from torch import nnclass DETR(nn.Module): def __init__(self, num_classes, hidden_dim=2.. 2024. 11. 13. 검색증강생성 (RAG) 검색증강생성 (Retrieval-Augmented Generation, RAG)자연어처리에서 정보 검색과 생성 모델을 결합하여 질의에 대한 더 정확하고 정보에 기반한 응답을 제공하는 기술구조문서 또는 데이터 가공임베딩 모델언어 모델벡터 데이터 베이스프롬프트주요 개념정보검색 (Retrieval)RAG는 대규모 문서 집합에서 관련 문서를 검색하는 검색 모델을 사용이 검색 모델을 쿼리에 맞는 문서를 찾아내는 역할을 함생성 (Generation)검색된 문서를 기반으로 응답을 생성하는 생성 모델Transformer 같은 딥러닝 모델을 사용하여 검색된 문서의 내용을 바탕으로 자연스럽고 정보에 맞는 응답을 생성통합 (Combination)RAG는 검색고 생성을 결합하여 작동사용자의 질문에 대해 검색 모델이 관련 문서.. 2024. 7. 29. [LangChain] 2. 초거대언어모델 (LLM) (youtube 모두의AI 님의 영상을 보며 공부한 내용을 정리) LLM (Large Language Model)LLM의 발전 양상Closed Source장점: 뛰어난 성능, API 방식의 편리한 사용성단점: 보장할 수 없는 보안, API 호출 비용ex) GPT 시리즈, PALM, BardOpen Source장점: Closed source 못지 않은 성능, 높은 보안성, 낮은 비용단점: 개발 난이도 높음, 사용을 위한 GPU 서버 필요ex) Llama 계열의 LLM (Meta 사의 오픈소스 모델Transformer구조 (인코더와 디코더)인코더 (Encoder)문장을 받는 역할언어모델에 특정 문장을 줬을 때 해당 문장을 이해하는 부분디코더 (Decoder)문장을 출력하는 역할현재 NLP 모델의 대부분은 T.. 2024. 7. 16. [LangChain] 1. LangChain에 대해서 (youtube 모두의AI 님의 영상을 보며 공부한 내용을 정리) 전체 학습 목표: LLM의 구동 원리를 이해하고, LangChain을 통해 실무 활용 가능한 챗봇 구축하기배경 지식LLM (Large Language Model)초거대 언어모델특징대규모 데이터 학습딥러닝 기술트랜스포머: 셀프 어텐션 메커니즘을 사용하여 문맥을 이해하고, 병렬 처리 능력이 뛰어나 대규모 데이터를 효과적으로 학습할 수 있음주로 트랜스포머(Transformer) 구조를 기반으로 구축Transformer“Attention is All You Need”특징병렬 처리순차적 계산에 의존하지 않기 때문에 병렬 처리가 가능하여 훈련 속도가 빠름기존 순환신경망(RNN) 및 LSTM(Long Short-Term Memory) 보다 효율적셀프 .. 2024. 7. 16. 이전 1 다음
