Почему F-мерой является среднее гармоническое и не среднее арифметическое мер по Точности и полноте?
Когда мы вычисляем F-меру, рассматривая обе Точности и полноты, мы берем среднее гармоническое двух мер вместо простого среднего арифметического.
Какова интуитивная причина позади взятия среднего гармонического и не простого среднего числа?
5 ответов
Здесь у нас уже есть некоторые тщательно продуманные ответы, но я думал, что еще некоторая информация об этом будет полезна для некоторых парней, которые хотят пахать глубже (особенно, почему F имеют размеры).
Согласно теории измерения составная мера должна удовлетворить следующие 6 определений:
- Связность (две пары могут быть заказаны), и транзитивность (если e1> = e2 и e2> = e3 затем e1> = e3)
- Независимость: два компонента вносят свои эффекты независимо в эффективность.
- условие Thomsen: Учитывая, что в постоянном отзыве (точность) мы находим различие в эффективности для двух значений точности (отзыв) затем, это различие не может быть удалено или инвертировано путем изменения постоянной величины.
- Ограниченная разрешимость.
- Каждая составляющая является важной: Вариация в той при отъезде другой константы дает вариацию в эффективности.
- свойство Archimedean для каждого компонента. Это просто гарантирует, что интервалы на компоненте сопоставимы.
Мы можем затем происходить и добираться функция эффективности: 
И обычно мы не используем эффективность, но очень жеманничаем счет F потому что :
Теперь, когда у нас есть общая формула меры по F:
, куда мы можем поместить больше emphesis в отзыв или точность путем установки беты, потому что бета определяется следующим образом:
, Если мы взвешиваем отзыв, более важный, чем точность (все релевантные выбраны) мы можем установить бету как 2, и мы получаем меру по F2. И если мы делаем реверс и точность веса выше, чем отзыв (так же, выбранные элементы релевантны как возможные, например, в некоторых сценариях коррекции ошибок грамматики как CoNLL), мы просто устанавливаем бету как 0,5 и получаем меру по F0.5. И очевидно мы можем установить бету как 1 для получения главным образом используемой меры по F1 (среднее гармоническое точности и полноты).
я думаю в некоторой степени, что я уже ответил, почему мы не используем среднее арифметическое.
Ссылки:
1. https://en.wikipedia.org/wiki/F1_score
2. истина F-меры
3. информация retrival
Для объяснения рассмотрите, например, каково среднее число 30 миль в час и 40 миль в час? если Вы управляете в течение 1 часа на каждой скорости, средняя скорость за эти 2 часа является действительно средним арифметическим, 35 миль в час.
Однако, если Вы управляете для того же расстояния на каждой скорости - скажем 10 миль - затем средняя скорость, более чем 20 миль являются средним гармоническим 30 и 40, приблизительно 34.3 мили в час.
причина состоит в том, что, чтобы среднее число было допустимо, Вам действительно нужны значения, чтобы быть в тех же масштабированных единицах. Мили в час должны быть сравнены по тому же числу часов; для сравнения по тому же числу миль, необходимо насчитать часы на милю вместо этого, которая является точно, что делает среднее гармоническое.
Точность и полнота и имейте истинные положительные стороны в числителе и различные знаменатели. Для усреднения их, действительно только имеет смысл составлять в среднем их обратные величины, таким образом среднее гармоническое.
Поскольку это наказывает экстремумы больше.
Рассматривают тривиальный метод (например, всегда возврат класса A). Существуют бесконечные элементы данных класса B и единственный элемент класса A:
Precision: 0.0
Recall: 1.0
При взятии среднего арифметического, это имело бы 50% корректными. Несмотря на то, чтобы быть худший возможный результат! Со средним гармоническим F1-мера 0.
Arithmetic mean: 0.5
Harmonic mean: 0.0
, Другими словами, чтобы иметь высокий F1, Вам нужно к и , имеют высокую точность и отзыв.
Среднее гармоническое является эквивалентом среднего арифметического для обратных величин количеств, которые должны быть усреднены средним арифметическим. Более точно, со средним гармоническим, Вы преобразовываете все свои числа к "averageable" форме (путем взятия обратной величины), Вы берете их среднее арифметическое и затем преобразовываете результат назад к исходному представлению (путем взятия обратной величины снова).
Точность и отзыв являются "естественно" обратными величинами, потому что их числитель является тем же, и их знаменатели отличаются. Части более разумны к среднему числу средним арифметическим, когда у них есть тот же знаменатель.
Для большей интуиции, предположите, что мы сохраняем количество истинных положительных объектов постоянным. Затем путем взятия среднего гармонического точности и отзыва, Вы неявно берете среднее арифметическое ложных положительных сторон и ложных отрицательных сторон. Это в основном означает, что ложные положительные стороны и ложные отрицательные стороны одинаково важны для Вас, когда истинные положительные стороны остаются такими же. Если алгоритм имеет более ложные положительные объекты N, но менее ложные отрицательные стороны N (при наличии тех же истинных положительных сторон), F-мера остается такой же.
, Другими словами, F-мера подходит когда:
- ошибки одинаково плохи, являются ли они ложными положительными сторонами или ложными отрицательными сторонами
- , количество ошибок измеряется относительно количества истинных положительных сторон
- , истинные отрицательные стороны неинтересные
, Точка 1 может или не может быть верной, существуют взвешенные варианты F-меры, которая может использоваться, если это предположение не верно. Точка 2 является довольно естественной, так как мы можем ожидать, что результаты масштабируются, если мы просто классифицируем все больше точек. Относительные числа должны остаться такими же.
Момент 3 довольно интересен. Во многих приложениях отрицательные стороны являются естественным значением по умолчанию, и это может даже быть твердо или не иметь смысла указать то, что действительно рассчитывает как истинное отрицание. Например, пожарная сигнализация имеет истинное отрицательное событие каждую секунду, каждую наносекунду, каждый раз, когда время Planck передало И т.д. Даже часть скалы, имеет эти истинные отрицательные события обнаружения пожара все время.
Или в случае обнаружения поверхности, большую часть времени Вы" правильно не возвращаетесь " миллиарды возможных областей в изображении, но это не интересно. Интересные случаи - когда Вы делаете , возвращают предложенное обнаружение или когда Вы должны возврат оно.
, В отличие от этого, точность классификации заботится одинаково об истинных положительных сторонах и истинных отрицательных сторонах и более подходит, если общее количество образцов (события классификации) является четко определенным и довольно маленьким.
Вышеупомянутые ответы хорошо объяснены. Это просто, чтобы справочник понял природу среднего арифметического и среднего гармонического с графиками. Как Вы видите из графика, рассмотрите ось X и ось Y как точность и полнота и ось Z как Счет F1. Так, из графика среднего гармонического оба точность и полнота должна способствовать равномерно, чтобы счет F1 повысился в отличие от Среднего арифметического.
Это для среднего арифметического.
Это для Среднего гармонического.
