마이크로소프트에서 만든 markitdown이라는 파이썬 라이브러리가 있는데 pdf, 엑셀, 파워포인트, csv 등등 여러 파일들을 마크다운으로 변환해주는 라이브러리다. 근데 좀 큰 엑셀 파일을 집어넣으면 서버가 터져나가는 문제가 있어서 조사해봤더니 markitdown이 이런 식으로 동작을 하고 있었음...
- 일단 pandas로 엑셀 파일을 읽음. pandas에
read_excel함수가 있는데 내부적으로 openpyxl을 사용함. - 이걸
to_html로 HTML 테이블로 변환함 (???) - 그리고 이 HTML을 다시 markdown으로 변환하고 있음... (구현)
좀 큰 엑셀파일 (60메가 가량, 1500만개 셀) 넣고 돌려보니 몇분동안 돌면서 램을 막 5~6기가씩 쳐먹고있음... 라이브러리 전체를 바이브코딩으로 만든게 아닌가 의심이 들정도임...