일상의 끄적거림...

Python 에는 파일을 컨트롤하는 다양한 라이브러리가 있습니다. Langchain 에서 제공하는 CSVLoader 에 대해서 간단히 정리하고Python & java 버전의 구현샘플을 소개합니다. 물론, 오픈소스 라이브러리를 이용한 개인적인 구현이므로, 제가 소개하는 것외에 다른 방식도 얼마든지 있습니다.    샘플 코드 소개를 위해 먼제 예시가 되는 CSV 파일과 샘플 코드 출력 결과를 소개합니다.아래와 같이 키&값 의 셋으로 구성되는 형태로 CSV 의 내용을 맵핑하게됩니다.  [CSV]question, answer오늘의 날씨는, 나도 몰라요당신은 누구세요, 글쎄요  [output]question: 오늘의 날씨는answer: 나도 몰라요question: 당신은 누구세요answer: 글쎄요   Pytho..

안녕하세요. 오랜만에 글을 쓰는것 같네요. 요새 핫한 Llama3 모델에 대한 간단한 Prompt 구조에 대한 설명을 남깁니다. 저같은 경우 이것저것 모델을 테스트할때 Mistral 을 이용한 프롬프트를 만든적이 있습니다.그런데 이 Pormpt가 그대로 Llama3에 적용이 되지는 않더군요.. 그리고 찾아보니 기본적인 Special Tokens 에 대한 정의가 필요한것을 확인했습니다. 이 Special Tokens는 각 모델마다 차이가 있을수 있으며 (Mistral 의 경우 .... )어떻게 사용하느냐에 따라 답변의 품질이 차이가 많습니다. 예를들어 부정화한 답변 또는 반복되는 답변 등, 이제부터 간단한 샘플로 소개합니다.  아래는 전체 Special Token에 대한 샘플입니다.각각의 요소에 대한 역..