일상의 끄적거림...

안녕하세요. 오랜만에 글을 쓰는것 같네요. 요새 핫한 Llama3 모델에 대한 간단한 Prompt 구조에 대한 설명을 남깁니다. 저같은 경우 이것저것 모델을 테스트할때 Mistral 을 이용한 프롬프트를 만든적이 있습니다.그런데 이 Pormpt가 그대로 Llama3에 적용이 되지는 않더군요.. 그리고 찾아보니 기본적인 Special Tokens 에 대한 정의가 필요한것을 확인했습니다. 이 Special Tokens는 각 모델마다 차이가 있을수 있으며 (Mistral 의 경우 .... )어떻게 사용하느냐에 따라 답변의 품질이 차이가 많습니다. 예를들어 부정화한 답변 또는 반복되는 답변 등, 이제부터 간단한 샘플로 소개합니다.  아래는 전체 Special Token에 대한 샘플입니다.각각의 요소에 대한 역..

안녕하세요 오늘은 개인적으로 간단하게 테스트했던 코드를 공유합니다. 요즘에 핫한 LLM (ChatGPT, Gemini) 를 활용한 RAG 어플리케이션 개발시 중요한 부분중에 하나인 Vector database 샘플 코드 입니다. 간단히 Chroma 에 저장하고 이를 다시 로드하는 코드 입니다. from langchain.embeddings.openai import OpenAIEmbeddings from langchain.vectorstores import Chroma from langchain_community.document_loaders import CSVLoader def init_db(): embedding_function = OpenAIEmbeddings() if os.path.exists("c..

다음의 에러 메세지는 LLM, Chroma, Langchain 관련 Python 어플리케이션 개발중에 발생한 케이스 입니다. 저와 같이 Python3.11 & Linux 환경에서 테스트하는 경우 발생하는 것 같습니다. 동일한 조건으로 Windows 환경에서 진행시 관련 에러는 발생하지는 않더군요 관련 에러가 발생하신 분은 참고하세요. [에러 메세지] RuntimeError: Your system has an unsupported version of sqlite3. Chroma requires sqlite3 >= 3.35.0 [환경] Rocky LInux 9 Python 3.11 [에러 설명] 에러 메시지는 시스템에 설치된 SQLite3 버전이 Chroma 라이브러리가 요구하는 최소 버전인 3.35.0보다..

안녕하세요 언제부터인가 급격하게 생성형 AI에 대한 관심은 크게 증가했습니다. 그리고 쉽게 테스트하기 위한 다양한 서비스들이 많이 제공되고 있습니다. 하지만, 학생 또는 다양한 비즈니스 참여자(개발자 및 기획자) 들은 간단한 서비스 구현의 테스트를 위해 많은 고민과 함께 비용에 대해 고민하게 됩니다. 현재는 이런 부분을 지원하는 다양한 무료 서비스들이 존재합니다. 오늘 소개할 내용은 이런 무료 서비스를 통한 서비스 테스트 방법에 대한 소개 입니다. 오늘은 OpenAI의 ChatGPT 서비스를 API 형태로 제공하는 어플리케이션을 작성합니다. API 형태로 제공하기 위해서 Python FastAPI를 이용하여 API 서버를 구축하게 됩니다. 작성된 프로그램은 Github와 연동되며, "무료 서버" 에서 구..

오늘은 웹 개발에서 자주 사용되는 datepicker에 대해 소개합니다. 일반적인 Datepicker 는 달력 하나를 표시합니다. 그리고 달력에서 날짜를 선택하죠 그러나 가끔 기간을 설정하기 위한 datepicker 가 필요한 경우가 있습니다. 이때 사용할수있는 javascript 샘플을 소개해 드립니다. 우선 실행 화면 부터 공유합니다. https://sensortower.github.io/daterangepicker/docs daterangepicker Documentation Documentation Installation You can download daterangepicker using bower: bower install daterangepicker --save Or you can alway..

안녕하세요 개발 쪽 또는 학습을 목적으로할때 누구나 한번쯤은 필요한 사이트에 대한 소개입니다. 해당 사이트는 소개목적으로 올릴뿐 저와 아무런 상관이 없습니다. 많은 경우 CSV 파일을 json 으로 변환 또는 이와 반대의 경우를 필요로 하는 경우가 있습니다. 아래 소개하는 사이트는 이에 대한 다양한 옵션을 온라인 UI 로 제공합니다. 즉, 간단히 웹페이지 가서 테스트 또는 원하는 출력 결과를 받아볼 수 있습니다. 제가 가장 많이 사용하는것중에 하나는 csv to json 이라 제목에 그렇게 적었습니다. https://www.convertcsv.com/ ConvertCSV.com - Convert CSV To JSON, XML, SQL, ... Convert to/from HTML, JSON, XML Te..

안녕하세요 오늘도 watsonx.ai 에 대해서 다룹니다. watson.ai 는 이전 포스트에도 이야기 했지만 openai 와 같은 생성형 AI 기반 서비스를 제공합니다. 좀더 쉽게 이야기하자면 ChatGPT 와 같은 서비스를 제공할 수 있습니다. (물론 개발이 좀 필요합니다.) 우선 간단히 개발 준비 그리고 사용 가능한 모델 확인 마지막으로 질문&답변 3가지로 정리했습니다. 1. 개발 준비 가장먼저 개발을 준비하기 위해 watsonx.ai 를 사용하기 위한 패키지 설치가 필요합니다. 저는 python 기반 개발이므로 이에 대해서 패키지를 설치합니다. (python virtual env 설정 등 기초적인 내용은 넘어가도록 하겠습니다. ) $ pip install ibm-watson-machine-lear..

안녕하세요. 오늘의 컨텐츠는 프롬프트 엔지니어링 입니다. 생성형 AI & LLM 등 나오면서 프롬프트와 프롬프트 엔지니어링에 대한 내용이 많이 이야기 됩니다. 오늘은 프롬프트 작성과 프롬프트 엔지니어링에 대해서 간단히 정리해 보겠습니다. [프롬프트] 프롬프트는 대규모 언어 모델이라고 불리는 LLM 에서 응답을 생성하거나 작업을 완료하기 위한 가이드 입니다. 이 프롬프트를 작성하는 방식에 따라 모델이 반환하는 답변의 정확성과 형식이 변화 합니다. 즉, "프롬프트 엔지니어링"은 인공 지능(AI) 모델에게 원하는 결과를 얻기 위해 프롬프트를 효과적으로 작성하고 조정하는 과정을 말합니다. 그리고 프롬프트 작성을 위해서는 아래와 같은 기본적인 사항이 있습니다. 프롬프트 작성...... - 원하는 답변을 제공가능한..

안녕하세요. 오늘은 huggingface 에 대해서 간단한 내용 하나 올립니다. Huggingface는 누구나 손쉽게 생성형 AI (LLM) 모델을 가지고 테스트 해볼 수 있는 사이트 입니다. 이곳을 통해서 사용자들은 누구나 손쉽게 몇번의 클릭과 설정만으로 LLM 모델을 만들기도 하고 테스트해보기도 할수 있습니다. Huggingface는 현재까지도 지속적으로 사용자들의 다양한 모델들이 등록되고 활용되고 있습니다. 당신이 LLM에 대해서 관심이 있다면 한번쯤 더욱 자세한 내용을 다루는 사이트 또는 직접 찾아가서 사용해 보길 바랍니다. 아래부터 본격적인 내용입니다. Hello. Today, I'm going to post a brief story about the Huggingface. Huggingface..

IBM 에서는 Watson 이라는 브랜드 이름으로 다양한 솔루션과 서비스를 제공 하고 있습니다. 그중에서 Watsonx Assistant 는 "챗봇" 서비스를 위한 솔루션 입니다. 예전에는 watson assistant 였다가 브랜드 이름이 바뀌었습니다. 이제는 watsonx assistant 입니다. 이 솔루션은 기본적인 챗봇 서비스를 위한 "의도 분석" 과 "대화 흐름" 제어 기능을 제공합니다. 챗봇 서비스를 제공하는 다양한 솔루션들 중에 하나로 생각하면 됩니다. 그러면 WA(Watson Assistant)의 장점은 무얼까요? 개인적으로는 대화 흐림에 대한 "개발의 편의성" 과 "실시간 학습" 기능인것 같습니다. 특히 실시간 학습 기능은 "의도" 인식을 위한 예시 문장을 입력하면 입력하는 실시간으로 ..