🍱

CrewMeal 검색 콘텐츠 강화

GitHub ↗

Microsoft · 오픈소스 PoC

Copilot을 위한 멀티포맷 콘텐츠를 더 맛있게 차려냅니다.

CrewMeal은 SharePoint의 PPTX·PDF·HWP 문서를 페이지 이미지로 렌더링하고 GPT-5.6 Luna로 분석해, 구조화된 검색 메타데이터로 강화합니다. 원본은 그대로 두고 Copilot 커넥터에 추가 색인만 얹어 검색 품질을 끌어올립니다.

GitHub에서 보기 강화 전후 결과 보기

🗂️
4+
지원 문서 포맷
PPTX · PDF · HWP 지원 · DOCX · XLSX 확장 예정
📉
-39.65%
Luna 운영 비용
동일 169장 기준 GPT-5.2 대비 추정 토큰 비용 절감
🎛️
On · Off
관리자 토글
포맷별 기능과 복호화(MIP 등)를 관리 포털에서 즉시 켜고 끄기

✈️🍱

Copilot에 주는 양질의 콘텐츠 → 부조종사(co-pilot)의 기내식 → Crew Meal

이름에 담긴 뜻: Copilot이 잘 일하도록 먹여주는 잘 차려진 한 끼.

운영 비전 모델

실제 문서로 검증한 GPT-5.6 Luna

대표 업무 프레젠테이션 10개, 총 227장을 동일한 프롬프트와 스키마로 비교했습니다. Luna는 전 문서를 완료했고, 품질 차이는 대부분 표현 방식이었으며 실제 의미 있는 차이 사례는 Luna가 더 정확했습니다.

✓

10 / 10 완료

Luna는 227장을 모두 처리했습니다. 같은 실행에서 GPT-5.2는 8개 문서를 완료하고 2개에서 장기 타임아웃이 발생했습니다.

↓

비용 39.65% 절감

두 모델이 모두 완료한 169장에서 Luna 추정 비용은 $2.7805, GPT-5.2는 $4.6074였습니다. 실패 호출 비용은 제외된 보수적 비교입니다.

⚡

중앙 지연 76.92% 단축

요청 중앙값은 10.18초 대 44.08초, p95는 58.48초 대 174.48초였습니다. 비교 슬라이드의 98.82%에서 Luna가 더 빨랐습니다.

듀얼 인덱스 그라운딩

원본은 그대로, 강화 사본으로 Copilot을 그라운딩

CrewMeal은 문서를 좌표 정확 HTML로 강화해 Microsoft Graph 커넥터에 별도 색인합니다. 같은 문서가 SharePoint 원본과 외부 인덱스에 함께 있으면, Copilot은 정확도가 높은 외부(강화) 사본을 우선 근거로 답변합니다.

Dual-index grounding architecture: source, enhancement worker, processing, publish, consumption — 전체 데이터 흐름 — 소스 · Microsoft 365 → 향상 워커 → 처리 파이프라인(좌표 기준값) → 게시(ACL) → 듀얼 인덱스에서 외부 사본 우선 소비. (고객 제안 자료)

문제

Copilot은 문서를 추출 텍스트로만 인식합니다. 표의 값, 도형의 관계, 다이어그램 구조를 놓치거나 잘못 해석(할루시네이션)해 답변 신뢰도가 떨어집니다.

✓

해결

슬라이드의 정확한 좌표(OOXML 지오메트리)를 기준값으로 삼아 고품질 HTML로 변환하고, Microsoft Graph 커넥터로 외부 인덱스에 별도 색인합니다.

★

효과

강화 사본을 우선 근거로 사용해 답변 정확도가 올라갑니다. 원본 권한(ACL)은 그대로 유지되고, 변경분은 자동으로 동기화됩니다.

사용 방법

사용자는 이렇게 인덱스를 강화합니다

운영자가 SharePoint에서 문서를 고르고 명령 한 번으로 강화를 시작합니다. 나머지는 워커가 비동기로 처리합니다. 아래는 실제 구동 화면입니다.

Copilot memory: prioritize External over SharePoint native — **Copilot 메모리 각인**“SharePoint와 External이 함께 검색되면 External(강화 사본)을 우선 근거로 답하라”고 한 번 각인해 인덱스 이중화 충돌을 피합니다.

Select a document in SharePoint and run the enhance command — **문서 선택 → 「코파일럿을 위해 검색강화」**SharePoint 문서 라이브러리에서 대상 문서를 고르고 컨텍스트 메뉴의 검색강화 명령을 실행합니다.

SharePoint library shows the enhancement status in the document's column — **SharePoint 컬럼에 상태 · 링크 표시**명령을 실행하면 문서 행의 검색강화 컬럼에 진행 상태가 표시되고, 상태 링크를 통해 진행 상황 페이지로 들어갑니다.

Status page: stage-by-stage progress timeline with re-run and remove actions — **링크 클릭 → 진행 확인 · 재실행 · 삭제**링크를 클릭하면 단계별 진행 상황을 실시간으로 확인하고, 필요하면 강화를 다시 실행하거나 결과를 삭제할 수 있습니다.

결과

강화 전후, Copilot의 답변이 달라집니다

실제 고객 제안 POC에서 캡처한 화면입니다. 표·도형·이미지로 표현된 정보는 강화 전에는 답변하지 못하지만, 강화 후에는 정확한 근거와 출처로 답변합니다. 이미지를 클릭하면 크게 볼 수 있습니다.

간트 차트

표와 막대로 그려진 일정

W1~W12 막대와 마일스톤(Kick-Off · To-Be 확정 · OPEN · 완료보고)이 도형으로 배치된 슬라이드. 막대 위치가 곧 일정입니다.

Source Gantt slide with W1-W12 bars and milestones — 원본 슬라이드 「4. 프로젝트 구축일정」

Before: Copilot cannot determine the week range — **답변 실패**“통합 테스트는 언제인가?” — 작업이 있다는 것은 알지만 막대가 텍스트로 추출되지 않아 정확한 주차(W)를 확인할 수 없다고 답합니다.

After: Copilot answers the exact W12 / end-of-April timing — **정확 답변**“완료보고 시점은?” — W12 종료 시점(4월 말, 안정화·인수인계 완료 후)까지 근거·출처와 함께 정확히 답합니다.

이미지 프로세스도

통째로 이미지로 붙은 스윔레인

사업부 · 회계/자금팀 · 자금팀 시스템 · VAN/은행 레인의 외화 펌뱅킹 프로세스 흐름도. 슬라이드에 한 장의 이미지로 삽입돼 텍스트가 전혀 없습니다.

Source slide: a swim-lane process diagram pasted as one image — 원본 슬라이드 「외화 펌뱅킹 프로세스 정의」

Before: Copilot cannot read the image-only process — **답변 실패**이미지 안의 텍스트와 흐름이 인덱스에 없어 프로세스 단계를 답변하지 못합니다.

After: Copilot answers the process flow — **정확 답변**비전 분석으로 이미지 속 레인·단계를 복원해 프로세스 흐름을 정확히 답변합니다.

핵심 기능

한 번의 파이프라인, 여러 포맷

모든 포맷은 동일한 SharePoint 인제스트 경로로 흐릅니다. 새 포맷을 켜면 인제스트·재조정·시연에 자동 편입됩니다.

🗂️

멀티포맷 문서 지원

PPTX·PDF·HWP를 페이지 이미지로 렌더링해 동일한 분석 스키마로 처리합니다. DOCX·XLSX는 구조가 준비되어 있습니다.

PPTX · PDF · HWP 구현

🔁

교체 가능한 분석 모델

프리미엄 비전 모델은 30페이지 발표자료 한 건에 토큰 비용만 1만 원이 넘습니다. 관리 포털에서 provider·배포·엔드포인트를 교체해 자사/오픈 호환 모델로 비용을 낮춥니다.

관리자 교체 UI

🔐

암호화 문서 복호화

MIP(Microsoft Purview) 및 기타 암호화 솔루션을 위한 복호화 파이프라인 훅. 관리자 토글로 on/off 하며, 활성화 후 실제 복호화 연동은 배포 환경에 맞춰 확장합니다.

구조 준비 · 토글 제공

📥

SharePoint 인제스트

SPFx 명령이 강화·삭제 요청을 큐에 적재하면 워커가 claim/lease로 자동 처리합니다. 원본 문서는 수정하지 않습니다.

opt-in 워크플로

🎛️

관리자 포털

대시보드·문서 상태·포맷 토글·모델 교체·복호화 설정·시연 업로드를 한 곳에서. 누적 토큰 비용도 실시간 추정합니다.

비용 가시성

💬

피드백 루프

상태 페이지의 튜닝 코멘트가 프롬프트에 주입되어 재작업되고, 피드백 코퍼스로 축적되어 JSONL로 내보낼 수 있습니다.

JSONL 내보내기

지원 포맷

포맷별 지원 현황

각 포맷은 관리 포털에서 개별로 켜고 끌 수 있습니다. 구현된 포맷은 기본 활성, 스켈레톤 포맷은 잠금 상태입니다.

포맷	확장자	처리 방식	상태
PowerPoint	.pptx	LibreOffice → PDF → 렌더 · 간트 geometry 근거	구현됨
PDF	.pdf	PyMuPDF 직접 렌더 · 페이지 텍스트 근거	구현됨
한글 (HWP)	.hwp · .hwpx	LibreOffice Writer 필터 → PDF → 렌더	구현됨
Word	.docx	핸들러 등록 · 추출 로직 예정	구현 예정
Excel	.xlsx	핸들러 등록 · 셀/표 추출 예정	구현 예정

파이프라인

문서 한 건이 강화되기까지

포맷 감지부터 색인까지, 모든 포맷이 같은 단계를 통과합니다.

감지 · 검증

확장자·매직·크기로 핸들러를 고릅니다.

복호화 훅

활성화 시 암호화 문서를 복호화합니다.

렌더링

페이지를 이미지로 변환합니다.

분석

GPT-5.6 Luna가 strict JSON으로 분석.

HTML 생성

허용 태그 HTML로 렌더링.

색인

Copilot 커넥터에 externalItem 게시.