머신러닝 5

머신러닝 기반 데이터 탐색 : 순열 중요도 (Permutation Importance)

Feature Importance(변수중요도)가 해당 변수를 통해서 측정값 분류가 얼마나 잘 이뤄지는지를 확인하는 방식이라면, Permutation Importance(순열 중요도)는 변수의 값을 무작위로 변경하여 모델성능을 평가하여, 해당 변수가 모델의 성능에 미치는 영향을 측정하는 방식이다. 예를 들면 예측 모델이 있다면 예측 성능(예: 정확도, 평균 제곱 오차 등)이 특정 변수를 무작위로 섞었을 때 얼마나 감소하는지를 측정하여 피처의 중요도를 평가한다. 이를 통해서 모델이 해당 변수에 얼마나 의지하고 있는지 직접적으로 볼 수 있다. 장점은 Feature Importance가 분류기반 모델에서만 가능한 반면, Permutation Importance는 모델의 구조에 의존하지 않고 어떤 모델에도 적용할..

2-3. 디지털 전환을 위한 개념들 : 어떻게 하면 그 변화를 만들 수 있을까

뭔가 변화시키고 싶은 것이 정해졌다면 이제 어떻게 실현시킬지 고민할 차례다. 인간은 많은 발전을 이루면서 많은 문제들을 해결해 왔고, 해결하는 과정은 반드시 의사결정을 거치게 된다. 영화에서 보면 과거에 왕이 무속인의 점괘에 따라 나라일을 결정했던 것이 지금 와서 돌아보면 비논리적이고 우스워보일 수도 있지만, 그 당시에는 왕도 무릎을 꿇고 경청할 만큼 빅데이터만큼이나 의지가 되는 의사결정 방법이었을 것이다.   반대로 옛날에 이미 일종의 데이터 기반 의사결정을 내리는 경우도 볼 수 있다. 조선 시대 세종대왕은 천문학자들의 의견을 경청하며 나라의 중요한 결정을 내렸다. 이는 천문학자들이 별의 움직임을 보고 미래를 예측했는데 일종의 데이터 기반 의사결정이라고 볼 수 있다.  여기서는 다양한 의사결정 방법들 ..

2-2. 디지털 전환을 위한 개념들 : 무엇을 바꾸고 싶은가

이렇게 되면 좋겠다 우리는 이것을 낭만적으로는 '꿈'이라고 하고 현실적으로는 '비즈니스'라고 한다. 경제적인 측면에서 보는 비즈니스는 이윤추구를 위한 행위로 정의하지만, 결국 내가 만든 물건을 사람들이 모르는 현실, 알면서도 사지 않는 당장의 현실을 바꾸는 과정이기에, 현실을 자신이 바라는 모습으로 변화시키고 싶다는 본질은 동일하다. 또는 비즈니스라는 의미가 우리의 일상과 동떨어진 돈을 벌기 위한 미션이 아닌 현실에서 무엇을 어떻게 바꾸고 싶은지 근본적인 문제로 인식하면 문제를 풀어나가기가 더 수월해진다. 반대로 이런 근본적인 문제인식에서 비즈니스가 시작되지 않으면 모든 사고와 액션이 돈을 벌기 위한 수단으로 귀결돼서 사회에 새로운 가치를 만들어 성과를 내기보다는 혼란한 경쟁시장에서 남들과 같이 정신없이..

2-1. 디지털 전환을 위한 개념들 : 비즈니스 정의

요즘 연애사업은 어떻게 돼가? 디지털전환에 대해서 이야기하고 있는데 뜬금없이 왜 연애얘기인가 싶지만, 연애만큼 대부분이 마주하고 있는 고민거리인 주제는 없을 듯해서 우리가 이제부터 비즈니스 정의에 대해 이야기를 시작하는데 있어 최적의 예시인 것 같다. 미혼이라면 친구들과 얘기할 때 연애 이야기는 매우 비중이 큰 주제이기 마련이다. 그러면 마음에 드는 이성을 만나서 행복해지고 싶은 이 미션(?)을 우리는 어떻게 진행하고 있을까. 우리는 우선 마음에 드는 이성이 있으면 뭘 좋아하는지 관찰하게 된다. 유저 리서치 관점에서 보면 관찰법에 해당한다. 상대가 노란색을 좋아하고, 커피를 마시면 하루 종일 잠을 못 자서 차 종류를 마시는 등, 상대를 관찰하여 데이터를 수집하게 된다. 충분히 정보를 수집했다고 생각되면 ..

1-2. 우리는 왜 데이터 효과가 없을까

빅데이터를 소재로 한 많은 성공신화들이 만연하다. 아마존이나 쿠팡처럼 디지털화를 통해서 흑자전환에 성공한 사례들이나 챗 GPT를 시장에 내놓은 Open AI의 급성장 스토리들은 데이터 산업에 종사하지 않는 사람들도 데이터에 대해 관심을 가지게 하기 충분하다. 그런 광고효과 덕분에 실제 거의 모든 분야에 데이터, AI, 머신러닝이라는 단어가 붙기 시작했다. 심지어 YG 엔터테인먼트 같은 데이터와 상관이 없을 것 같은 분야까지 데이터를 활용하고자 하고 있다. 그러한 시도는 흔히 데이터 관련 학과를 나온 인력을 고용해서 데이터를 수집/처리해서 분석을 하거나 모델을 만드는 팀이나 인력을 별도로 구성하는 방식으로 진행된다. 그럼에도 큰 변화나 혁신이 이뤄지지 않는 경우가 여전히 많다. 오히려 오랜 시간이 흐른 뒤..

반응형