Ollama로 로컬 문서 검색·Q&A하기: 설치부터 활용까지

최근 AI 기술이 발전하면서 많은 사람들이 온라인 기반의 AI 서비스를 사용하고 있습니다. 하지만 이 과정에서 개인 정보나 민감한 데이터가 외부 서버로 전송되는 것에 대한 우려가 커지고 있습니다. 내 정보가 외부로 유출될 수 있다는 걱정 때문에, AI를 로컬 환경에서 직접 구동하여 자신의 PC에 저장된 파일을 안전하게 탐색하고 소통하려는 수요가 증가하고 있습니다.

이 글에서는 로컬 PC에 있는 문서들을 빠르게 검색하고, 필요한 파일만 읽어 Q&A까지 이어가는 방법을 소개합니다. 준비물은 두 가지예요:

Ollama(로컬 LLM 런타임) + 사용할 모델
Odin(데스크톱 앱)

아래 순서대로 진행하면 바로 쓸 수 있습니다.

---

1) Ollama 설치 + 모델 받기

• 다운로드: https://ollama.com/download (Windows용 설치 파일)
• 설치 후, Windows “명령 프롬프트(cmd)”를 열고 다음 명령을 실행:
• ollama pull llama3:8b

Tip

ollama list에서 모델 목록이 비어 있으면 ollama pull로 모델을 내려받으세요.
예시 모델은 llama3:8b입니다. 다른 모델을 쓰면 Odin 옵션에서 바꿀 수 있어요.

2) Odin 설치

• Odin은 제가 만든 어플리케이션입니다.
• 다운로드 링크: https://github.com/DreamURL/Odin
• 화면 우측에 release 의 Odin setup 0.1.0.exe 파일을 다운 받으시면 됩니다.
• Odin 설치 프로그램을 실행해 설치합니다.
• 처음 실행 시 방화벽/네트워크 허용 팝업이 나오면 “허용”하세요. (로컬에서만 통신합니다)

GitHub - DreamURL/Odin: 로컬 LLM(Ollama) 기반 데스크탑 파일 찾기 및 자연어 소통

3) 모델 연동

1. 앱 실행 → 상단 “옵션” 탭으로 이동
2. “Ollama 모델” 섹션에서 모델 목록을 확인
3. 목록이 비어 있으면 1단계의 ollama pull을 먼저 수행
4. 원하는 모델을 선택하고 “이 모델 사용” 버튼을 클릭
5. 앱 실행 초기에는 백그라운드로 python이 실행되기까지 딜레이가 있어, 모델 찾기까지 오래 걸릴 수 있습니다.

Tip

모델 목록은 자동으로 갱신됩니다. 필요하면 앱을 재시작하거나 잠시 기다려 보세요.

4) 경로 등록 + 인덱싱

1. “경로 & 인덱싱” 섹션
2. “찾아보기”로 검색할 루트 폴더를 선택 (예: D:\Docs)
3. “인덱싱” 버튼 클릭
4. 인덱싱이 끝나면 다음이 표시됩니다.
   • 발견된 확장자 목록
   • “인덱스 파일 위치” 경로 + “폴더 열기” 버튼
   • 인덱스 CSV가 실제로 저장된 위치입니다. 필요 시 탐색기로 바로 열어 확인할 수 있어요.

중요: 파일이 변경될 때마다 “인덱싱”을 다시 눌러 주세요.

Odin은 “증분 업데이트”를 지원해 변경된 부분만 빠르게 갱신합니다.
누락 없이 정확한 검색/추천을 받으려면 변경 후 반드시 인덱싱을 다시 수행해야 합니다.

5) 확장자 관리(선택)

• “확장자 On/Off”에서 AI가 읽을 확장자를 고를 수 있어요.
• 기본으로 “AI가 읽을 수 있는 확장자 On” 토글을 제공하며, HWP는 기본 제외됩니다. (필요 시 수동으로 켤 수 있어요)

6) 대화(검색) 시작하기

1. 상단 “대화” 탭으로 이동
2. 입력창에 키워드를 적고 Enter
   • 권장: 한국어 기준 핵심 키워드 2~5개, 명사 위주로 간결하게
   • 예) “연차 규정”, “상반기 매출 보고”, “ESG 지속가능경영”
3. 키워드 입력 후, 화면에 “총 N개의 데이터가 확인되었습니다” 같은 안내와 함께 버튼이 나타납니다:
   • 상세 검색: 결과를 더 세밀한 키워드로 좁힙니다.
   • 파일 읽기: 실제로 필요한 파일만 선택해 본문 텍스트를 로드(메모리)합니다.
   • 새로운 대화: 초기 상태로 리셋합니다.

7) 상세 검색(선택)

• “상세 검색”을 누르면, 보조 키워드를 입력하라는 안내가 나옵니다.
• 기존 결과에서 키워드 OR 방식으로 범위를 좁혀 더 관련성 높은 파일만 남깁니다.

8) 파일 읽기(중요: Q&A 준비 단계)

• 검색 결과 표(오른쪽)에서:
  • 파일 행을 클릭해 필요한 파일을 “선택”하세요. (여러 개 가능)
  • 폴더 아이콘(📁) 버튼으로 해당 파일의 탐색기 위치를 열 수 있습니다.
• 선택 후 “파일 읽기” 버튼 클릭

읽기 결과 안내

• 성공: “다음 파일을 읽었습니다: ("파일1.ext"), ("파일2.ext") … 이제 파일 기반 Q&A가 가능합니다.”
  • 파일이 많을 땐 일부만 목록으로 보여주고 나머지는 “외 N개”로 요약합니다.
• 실패(예: 이미지 기반 PDF 등 텍스트 추출 불가):
  • “"보고서.pdf"은 텍스트를 읽을 수 없습니다.” 라고 파일별로 안내됩니다.
  • 이런 파일은 Q&A 컨텍스트에 포함되지 않습니다.

Tip

“파일 읽기”는 누적되지 않고 “현재 선택된 파일들로 교체”됩니다. (선택 → 읽기 → Q&A 흐름)

9) Q&A

• 파일을 읽은 뒤에는 질문을 입력하면, 읽어 둔 파일들만 근거로 답을 생성합니다.
• 답변은 한국어 기준 간결하게 나오며, 관련 파일명을 함께 언급할 수 있습니다.

핵심 포인트

• Q&A는 “읽어 둔 파일”이 컨텍스트입니다. 더 많은 파일을 포함하고 싶으면 결과 목록에서 추가로 선택해 “파일 읽기”를 다시 실행하세요.

10) 키워드 팁

• 짧고 명확한 명사 위주
• 불필요한 기호, 지나치게 긴 문장은 피하기
• 필요하면 “상세 검색” 단계에서 더 구체적인 토픽으로 좁히기
• 연도나 기간이 있다면 함께 적기 (예: “2023 매출”, “올해 인사평가”)

---

자주 묻는 질문(FAQ)

Q. 모델 목록이 비어요.
A. ollama pull llama3:8b처럼 모델을 먼저 내려받은 뒤 다시 확인하세요. ollama list로 설치 여부를 점검할 수 있습니다.

Q. 인덱싱을 눌렀는데 카운트가 안 바뀌어요.
A. 파일을 추가/수정/삭제한 경우, 인덱싱을 다시 눌러야 갱신됩니다. UI에 표시되는 “인덱스 파일 위치”에서 CSV가 갱신되는지 확인해 보세요.

Q. PDF가 있는데도 Q&A에 안 들어가요.
A. 이미지 기반 PDF 등 텍스트 추출이 불가능한 파일은 “읽을 수 없습니다”로 안내되며 Q&A 컨텍스트에 포함되지 않습니다. (OCR이 필요한 경우가 많습니다)

Q. 확장자를 조절하고 싶어요.
A. “확장자 On/Off”에서 토글하세요. 기본 AI 확장자 목록을 한 번에 On하는 옵션도 있습니다.

---

마무리

• 설치: Ollama → 모델 pull → Odin 설치
• 연결: 옵션 탭에서 모델 선택
• 준비: 경로 등록 → 인덱싱(변경 시마다 다시)
• 검색: 키워드 입력 → 상세 검색(선택)
• Q&A: 필요한 파일 선택 → 파일 읽기 → 질문

이 흐름만 익히면, 로컬 문서에서 원하는 정보를 훨씬 빠르게 찾고 답을 받을 수 있습니다. 사용 중 궁금한 점이나 개선 요청이 있으면 댓글로 알려주세요.