Microsoft · 오픈소스 PoC

Copilot이 못 읽던 한국 문서,
다섯 포맷 모두 차려냅니다.

표·도형·다이어그램으로 가득한 PPT, 닫힌 포맷 HWP, 그리고 Word·Excel·PDF까지 다섯 포맷을 읽어 검색 가능한 콘텐츠로 바꿉니다. 관리자는 SharePoint 검색 컬럼의 Markdown 또는 Copilot Connector의 HTML 중 게시 경로를 선택합니다.

GitHub에서 보기 설치 · 테스트 가이드 처리 방식 살펴보기

Copilot에 주는 양질의 콘텐츠 부조종사(co-pilot)의 기내식 Crew Meal

CrewMeal이 차려내는 것 한 접시씩

.pptx PowerPoint · PDF발표자료 · 제안서 → Vision AI

.hwp HWP · HWPX한글 문서 → rhwp

.docx Word · Excel보고서 · 견적서 · 대장 → OOXML

Markdown 또는 HTML로 선택한 검색 경로에

그동안의 아쉬움

Copilot·WorkIQ가 한국 문서를 놓치던 이유

한국 고객사의 실제 문서는 텍스트만으로 설명되지 않습니다. 색인 앞에는 세 가지 벽이 있었습니다.

.pptx · .docx

표·도형·다이어그램

일정은 막대의 위치로, 프로세스는 이미지 한 장으로 표현됩니다. 보고서의 조직도와 흐름도도 마찬가지입니다. 텍스트 추출만으로는 값과 관계가 사라집니다.

Copilot은 텍스트만 인식 → 값·관계 유실, 때론 할루시네이션

.hwp · .hwpx

닫힌 한글 포맷

공공·기업 문서의 사실상 표준이지만 포맷이 닫혀 있어, 일반 인덱싱 파이프라인은 본문을 열지 못합니다.

Copilot은 본문 접근 불가 → 검색에서 사실상 비어 있음

.xlsx · .xlsm

의미 없이 색인된 표

셀 텍스트는 이미 색인되지만, 수만 행이 그대로 나열된다고 답이 되지는 않습니다. 게다가 한 파일 안에 견적서 양식과 자재 원장이 함께 들어 있어도 검색은 둘을 구분하지 못합니다.

Copilot은 셀만 나열 → 무엇에 대한 표인지 알 수 없음

핵심 · 보는 것과 읽는 것

어떤 문서는 보고, 어떤 문서는 읽습니다

포맷마다 가장 잘 맞는 방식으로. 그림이 곧 내용인 문서는 눈으로 보고, 구조가 파일 안에 남아 있는 문서는 구조를 그대로 읽습니다. Word와 Excel은 한 문서 안에서 두 방식을 섞습니다.

PPT · PDF → Vision AI

슬라이드를 봅니다

sees the page

페이지를 이미지로 렌더링해 GPT-5.6 Luna가 사람처럼 봅니다. 표의 값, 도형의 위치, 이미지 속 흐름까지 구조화된 JSON으로 읽어냅니다.

간트 막대의 위치를 실제 일정으로 복원
이미지로 붙은 프로세스도 단계까지 해석
OOXML 지오메트리를 근거로 삼아 환각 억제
HWP·Word에서 그림만 있는 페이지도 같은 경로로 처리

−39.65%GPT-5.2 대비 토큰 비용 · 동일 169장 10 / 10대표 업무 PPT 완료

HWP · HWPX → rhwp

포맷을 읽습니다

reads the format

닫힌 HWP를 네이티브로 파싱합니다. rhwp는 Rust+WebAssembly 기반 오픈소스 한글 엔진으로, LibreOffice 변환 없이 문단·표·수식·이미지 구조를 그대로 가져옵니다.

HWP 5.0(OLE2) · HWPX · HML 네이티브 파싱
표·수식·도형 구조를 무손실로 보존
오픈소스 · MIT · npm @rhwp/core

edwardkim/rhwp 모두의 한글알(R) — All HWP, open for everyone

그리고 Word·Excel은 둘을 섞습니다

.docx · .docm 구조로 읽고, 필요한 페이지만 봅니다

문단·표·머리글은 OOXML에서 그대로 읽습니다. LibreOffice PDF는 페이지를 나누는 데만 쓰고, 도형·차트가 있거나 평탄화 손실이 생기는 복잡한 표가 놓인 페이지만 이미지로 렌더링해 비전으로 교차 확인합니다.

기본 · 구조 우선 예외 · 해당 페이지만 비전

.xlsx · .xlsm 전사가 아니라 요약이 목표입니다

워크북이 아니라 시트 단위로 성격을 판별합니다. 견적서·정산서 같은 문서형 시트만 렌더링해 분석하고, 대장·원장 같은 데이터형 시트는 렌더링 없이 열 스키마와 대표 행만 요약합니다. 셀 텍스트는 SharePoint가 이미 색인하고 있기 때문입니다.

문서형 → 렌더 + 비전 데이터형 → 요약만

선택한 검색 경로 Markdown · HTML

결과 · 강화 전후

강화 전후, Copilot의 답변이 달라집니다

실제 고객 제안 PoC에서 캡처한 화면입니다. 표·도형·이미지로 표현된 정보는 강화 전에는 답하지 못하지만, 강화 후에는 근거·출처와 함께 답합니다. 이미지를 클릭하면 크게 볼 수 있습니다.

간트 차트 · PPT

표와 막대로 그려진 일정

W1~W12 막대와 마일스톤이 도형으로 배치된 슬라이드. 막대의 위치가 곧 일정입니다.

Source Gantt slide with W1-W12 bars and milestones — 원본 슬라이드 「4. 프로젝트 구축일정」

Before: Copilot cannot determine the week range — **답변 실패**“통합 테스트는 언제인가?” — 막대가 텍스트로 추출되지 않아 정확한 주차(W)를 확인할 수 없다고 답합니다.

After: Copilot answers the exact W12 / end-of-April timing — **정확 답변**“완료보고 시점은?” — W12 종료(4월 말, 안정화·인수인계 후)까지 근거·출처와 함께 정확히 답합니다.

이미지 프로세스도 · PPT

통째로 이미지로 붙은 스윔레인

사업부·회계/자금팀·시스템·VAN/은행 레인의 외화 펌뱅킹 흐름도. 한 장의 이미지로 삽입돼 텍스트가 전혀 없습니다.

Source slide: a swim-lane process diagram pasted as one image — 원본 슬라이드 「외화 펌뱅킹 프로세스 정의」

Before: Copilot cannot read the image-only process — **답변 실패**이미지 안의 텍스트와 흐름이 인덱스에 없어 프로세스 단계를 답변하지 못합니다.

After: Copilot answers the process flow — **정확 답변**비전 분석으로 이미지 속 레인·단계를 복원해 프로세스 흐름을 정확히 답변합니다.

선택형 게시

환경에 맞는 검색 경로를 관리자가 선택

원본 파일 본문은 바꾸지 않습니다. 같은 의미 모델을 SharePoint 컬럼에는 Markdown으로, Copilot Connector에는 허용 태그 HTML로 게시합니다. 대상을 바꿀 때는 새 경로를 먼저 채우고 검증한 뒤 이전 경로만 정리합니다.

SharePoint 검색 컬럼

CrewmealSearchContent에 구조를 보존한 plain-text Markdown을 최대 63,999 UTF-16 단위로 저장합니다. 원본 ACL과 메타데이터를 그대로 사용하며, 최초 수동 재색인과 라이브러리 범위 Copilot 검증이 필요합니다.

Copilot Connector

허용 태그 HTML을 별도 externalItem으로 색인하고 원본 ACL을 복제합니다. 원본 라이브러리는 그대로 유지하면서 독립된 검색 스키마와 전체 콘텐츠를 사용합니다.

검증 후 안전 전환

관리자 포털에서 대상을 바꾸면 모든 문서를 새 경로로 다시 게시합니다. 검색 준비 상태를 확인하기 전에는 기존 게시물을 지우지 않으며, 실패한 작업만 재시도합니다.

지원 범위

한 파이프라인, 여러 포맷

다섯 포맷 모두 같은 인제스트 경로로 흐릅니다. 포맷별 지원과 복호화는 관리 포털 토글로 켜고 끄며, 형식마다 어떤 방식으로 읽는지도 포털에서 그대로 보여줍니다.

포맷별 지원 현황

포맷	처리 엔진	상태
PowerPoint .pptx	Vision AI	구현됨
PDF .pdf	Vision AI · PyMuPDF	구현됨
한글 (HWP) .hwp · .hwpx	rhwp	구현됨
Word .docx · .docm	OOXML · 필요한 페이지만 비전	구현됨
Excel .xlsx · .xlsm	OOXML · 시트별 자동 분기	구현됨
MIP 민감도 레이블 암호화 문서	MIP File SDK 연동	구현됨
서드파티 DRM 암호화 문서	복호화 연동	구현 예정

문서 한 건이 강화되기까지

감지 · 검증

확장자·매직·크기로 포맷 핸들러를 고릅니다.

복호화 훅 (선택)

활성화 시 RMS 슈퍼유저 권한으로 MIP 암호화 문서를 복호화하며, 포털이 테넌트 준비 상태를 먼저 점검합니다.

읽기

포맷에 맞는 엔진으로 내용을 엽니다.

PPT·PDF → 페이지 이미지HWP → rhwp 파싱Word·Excel → 구조 + 선택 렌더

분석 · 구조화

strict JSON 스키마로 표·도형·흐름을 구조화합니다.

대상별 렌더링 · 게시

컬럼에는 Markdown, Connector에는 HTML로 게시합니다.

Copilot이 못 읽던 한국 문서,다섯 포맷 모두 차려냅니다.